ChatGPT与行空板融合, AI 文生图,文生文应用

2024-02-282万
精华项目
AI 快速预览详细 收起
本文介绍了如何通过讯飞语音识别和SoruxGPT API,实现行空板与ChatGPT的文生文、文生图互动。首先,需要注册SoruxGPT账号获取API密钥,然后加载图形库。接着,使用讯飞语音识别输入语音命令,将其转换为文字并通过SoruxGPT API与ChatGPT通信,实现文生文和文生图功能。项目过程包括在线注册、加载图形库、程序思路等步骤。最终效果可以生成各种创意文本和图像,适用于STEM教育和AI启蒙玩具。


【项目背景】
ChatGPT是OpenAI 研发的一款聊天机器人程序 ,于2022年11月30日发布 。它使用深度学习技术来模拟人类的语言生成和理解能力,可以用于自然语言处理、对话系统等多种应用,它能够基于在预训练阶段所见的模式和统计规律,来生成回答,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流。目前已有GPT-1、GPT-2、GPT-3,GPT-4,其中GPT-4还具备更高水平的识图能力,且能够生成歌词、创意文本,实现风格变化。国内用户应用ChatGPT4还存在一定技术障碍,本文旨在应用行空板与ChatGPT融合,以SoruxGPT的 API接口,实现文生文在线聊天,文生图的AI绘画。

【项目设计】
应用SoruxGPT实现与ChatGPT 文生文,文生图互动。

【项目内容】
1.    应用讯飞语音识别,设置文生文,文生图的内容。
2.     SoruxGPT api 与行空板与ChatGPT通信全连接过程。

项目过程:
(一)  文生文。
1、 在线注册SoruxGPT账号,获取API密匙。

复制密匙:
ChatGPT与行空板融合, AI 文生图,文生文应用图1

2、 加载图形库
为方便大家使用,笔者制作了图形库:https://gitee.com/eadd/sorus-gpt/

在用户库里添加
ChatGPT与行空板融合, AI 文生图,文生文应用图2
    3.程序思路
(1) 应用讯飞语音识别输入的语音命令。
(2) 将语音识别成文字,通过SoruxGPT-api接口与chatgpt通信。

在讯飞开放平台注册账号:https://www.xfyun.cn/,在控制台语音识别中,记下接品appid信息,在mind+中加载讯飞开放平台的库。


ChatGPT与行空板融合, AI 文生图,文生文应用图3
ChatGPT与行空板融合, AI 文生图,文生文应用图4
ChatGPT与行空板融合, AI 文生图,文生文应用图5
简单演示文生文:

     ChatGPT与行空板融合, AI 文生图,文生文应用图6

(一)  文生图,SoruxGPT Ai绘画。与前文语音输入一样,将图形块换成文生图即可。
ChatGPT与行空板融合, AI 文生图,文生文应用图7

ChatGPT与行空板融合, AI 文生图,文生文应用图8
程序效果:



ChatGPT与行空板融合, AI 文生图,文生文应用图9
河边,沙滩,水鸟
ChatGPT与行空板融合, AI 文生图,文生文应用图10

大漠孤烟直,长河落日圆
细化主体描述的方式为:[主体,主体描述] + [细节, 修饰词, 氛围] + [艺术风格, 质感, 视角, 渲染器] + [MJ 参数]ChatGPT与行空板融合, AI 文生图,文生文应用图11


ChatGPT与行空板融合, AI 文生图,文生文应用图12


chatgpt api接口又进行 了升级,文生图API地址发生变化,大家需重新加载:https://gitee.com/eadd/sorus-gpt   文件

new文生图.zip

1.22 MB, 下载次数: 29641

修复了bug

new文生文.zip

1.22 MB, 下载次数: 29834

修复了bug

文生文翻页.zip

1.22 MB, 下载次数: 29865

可按B键翻页

语音合成模块.zip

1.22 MB, 下载次数: 29745

要加设备

创作许可协议

本项目采用 None(不开放任何权利,保留所有权利) 进行许可。

评论(10)
认真学开心玩
SoruxGPT 买哪个套餐有文生图功能? 这个套餐太多了,免费那个能用不?想体验下
学生909
为什么调用不了Gpt
学生909
为什么我们每次语音识别完成以后,无法返回生成的内容
河马
搞清楚是什么原因出错了,原来是我自己的网络问题,终于跑通了,谢谢老师
lt1996
这个接口是需要花钱买的是吧,因为我登不进去
southwest
非常感谢廖老师,热心的帮我这个初学者解决了问题,非常感谢!
国斌
Traceback (most recent call last): File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 205, in SoruxGPT_wst("local_image.jpg",240,320) File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 159, in SoruxGPT_wst image_url=json_data2['data'][0]['url'] KeyError: 'data'
兆
兆
作者
回复国斌
修复完成了,重新下载附件文件即可。
蜡烛
DFH1ucsLEaa
亲,你这问题咋解决的?
蜡烛
蜡烛回复兆
搜嘎,但不接也是报错啊
共11条回复,已加载2条,点击查看更多共11条回复,已加载全部
驴友花雕
这也行,真棒!向廖老师学习!
木子哦
好久没看到廖老师更新了,终于!!
兆
兆
作者
回复hxq612
转换语音有两个思路;一个是用 中英文语音合成模块V2.0 ,但文字列表就要每行修改为7个字, https://www.dfrobot.com.cn/goods-3014.html 程序见附件 。思路2:是用讯飞的文字转语音的库,翻译后再由行空板输出,得用行空板蓝牙连接蓝牙音箱才行。
兆
兆
作者
回复hxq612

思路是将获取到的文本,重新截成字符串,符合行空板显示的 字数,然后读取列表,用B键进行翻页,只能向下翻。附件我重新上传个翻页的
共9条回复,已加载2条,点击查看更多共9条回复,已加载全部
- 没有更多了 -