ChatGPT与行空板融合, AI 文生图,文生文应用

2024-02-282万
精华项目
AI 快速预览详细 收起
本文介绍了如何通过讯飞语音识别和SoruxGPT API,实现行空板与ChatGPT的文生文、文生图互动。首先,需要注册SoruxGPT账号获取API密钥,然后加载图形库。接着,使用讯飞语音识别输入语音命令,将其转换为文字并通过SoruxGPT API与ChatGPT通信,实现文生文和文生图功能。项目过程包括在线注册、加载图形库、程序思路等步骤。最终效果可以生成各种创意文本和图像,适用于STEM教育和AI启蒙玩具。


【项目背景】
ChatGPT是OpenAI 研发的一款聊天机器人程序 ,于2022年11月30日发布 。它使用深度学习技术来模拟人类的语言生成和理解能力,可以用于自然语言处理、对话系统等多种应用,它能够基于在预训练阶段所见的模式和统计规律,来生成回答,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流。目前已有GPT-1、GPT-2、GPT-3,GPT-4,其中GPT-4还具备更高水平的识图能力,且能够生成歌词、创意文本,实现风格变化。国内用户应用ChatGPT4还存在一定技术障碍,本文旨在应用行空板与ChatGPT融合,以SoruxGPT的 API接口,实现文生文在线聊天,文生图的AI绘画。

【项目设计】
应用SoruxGPT实现与ChatGPT 文生文,文生图互动。

【项目内容】
1.    应用讯飞语音识别,设置文生文,文生图的内容。
2.     SoruxGPT api 与行空板与ChatGPT通信全连接过程。

项目过程:
(一)  文生文。
1、 在线注册SoruxGPT账号,获取API密匙。

复制密匙:
ChatGPT与行空板融合, AI 文生图,文生文应用图1

2、 加载图形库
为方便大家使用,笔者制作了图形库:https://gitee.com/eadd/sorus-gpt/

在用户库里添加
ChatGPT与行空板融合, AI 文生图,文生文应用图2
    3.程序思路
(1) 应用讯飞语音识别输入的语音命令。
(2) 将语音识别成文字,通过SoruxGPT-api接口与chatgpt通信。

在讯飞开放平台注册账号:https://www.xfyun.cn/,在控制台语音识别中,记下接品appid信息,在mind+中加载讯飞开放平台的库。


ChatGPT与行空板融合, AI 文生图,文生文应用图3
ChatGPT与行空板融合, AI 文生图,文生文应用图4
ChatGPT与行空板融合, AI 文生图,文生文应用图5
简单演示文生文:

     ChatGPT与行空板融合, AI 文生图,文生文应用图6

(一)  文生图,SoruxGPT Ai绘画。与前文语音输入一样,将图形块换成文生图即可。
ChatGPT与行空板融合, AI 文生图,文生文应用图7

ChatGPT与行空板融合, AI 文生图,文生文应用图8
程序效果:



ChatGPT与行空板融合, AI 文生图,文生文应用图9
河边,沙滩,水鸟
ChatGPT与行空板融合, AI 文生图,文生文应用图10

大漠孤烟直,长河落日圆
细化主体描述的方式为:[主体,主体描述] + [细节, 修饰词, 氛围] + [艺术风格, 质感, 视角, 渲染器] + [MJ 参数]ChatGPT与行空板融合, AI 文生图,文生文应用图11


ChatGPT与行空板融合, AI 文生图,文生文应用图12


chatgpt api接口又进行 了升级,文生图API地址发生变化,大家需重新加载:https://gitee.com/eadd/sorus-gpt   文件

new文生图.zip

1.22 MB, 下载次数: 29641

修复了bug

new文生文.zip

1.22 MB, 下载次数: 29834

修复了bug

文生文翻页.zip

1.22 MB, 下载次数: 29865

可按B键翻页

语音合成模块.zip

1.22 MB, 下载次数: 29745

要加设备

创作许可协议

本项目采用 None(不开放任何权利,保留所有权利) 进行许可。

评论(10)
认真学开心玩
认真学开心玩
SoruxGPT 买哪个套餐有文生图功能? 这个套餐太多了,免费那个能用不?想体验下
学生909
学生909
为什么调用不了Gpt
学生909
学生909
为什么我们每次语音识别完成以后,无法返回生成的内容
河马
河马
搞清楚是什么原因出错了,原来是我自己的网络问题,终于跑通了,谢谢老师
lt1996
lt1996
这个接口是需要花钱买的是吧,因为我登不进去
southwest
southwest
非常感谢廖老师,热心的帮我这个初学者解决了问题,非常感谢!
国斌
国斌
Traceback (most recent call last): File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 205, in SoruxGPT_wst("local_image.jpg",240,320) File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 159, in SoruxGPT_wst image_url=json_data2['data'][0]['url'] KeyError: 'data'
兆
作者
回复国斌
修复完成了,重新下载附件文件即可。
蜡烛
蜡烛
DFH1ucsLEaa
DFH1ucsLEaa回复蜡烛
亲,你这问题咋解决的?
蜡烛
蜡烛回复
搜嘎,但不接也是报错啊
共11条回复,已加载2条,点击查看更多共11条回复,已加载全部
驴友花雕
驴友花雕
这也行,真棒!向廖老师学习!
木子哦
木子哦
好久没看到廖老师更新了,终于!!
兆
作者
回复hxq612
转换语音有两个思路;一个是用 中英文语音合成模块V2.0 ,但文字列表就要每行修改为7个字, https://www.dfrobot.com.cn/goods-3014.html 程序见附件 。思路2:是用讯飞的文字转语音的库,翻译后再由行空板输出,得用行空板蓝牙连接蓝牙音箱才行。
兆
作者
回复hxq612

思路是将获取到的文本,重新截成字符串,符合行空板显示的 字数,然后读取列表,用B键进行翻页,只能向下翻。附件我重新上传个翻页的
共9条回复,已加载2条,点击查看更多共9条回复,已加载全部
- 没有更多了 -