2024-2-28 16:31:13 [显示全部楼层]
1315浏览
查看: 1315|回复: 25

[进阶] ChatGPT与行空板融合, AI 文生图,文生文应用

[复制链接]
本帖最后由 兆 于 2024-4-5 11:58 编辑

【项目背景】
ChatGPT是OpenAI 研发的一款聊天机器人程序 ,于2022年11月30日发布 。它使用深度学习技术来模拟人类的语言生成和理解能力,可以用于自然语言处理、对话系统等多种应用,它能够基于在预训练阶段所见的模式和统计规律,来生成回答,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流。目前已有GPT-1、GPT-2、GPT-3,GPT-4,其中GPT-4还具备更高水平的识图能力,且能够生成歌词、创意文本,实现风格变化。国内用户应用ChatGPT4还存在一定技术障碍,本文旨在应用行空板与ChatGPT融合,以SoruxGPT的 API接口,实现文生文在线聊天,文生图的AI绘画。

【项目设计】
应用SoruxGPT实现与ChatGPT 文生文,文生图互动。

【项目内容】
1.    应用讯飞语音识别,设置文生文,文生图的内容。
2.     SoruxGPT api 与行空板与ChatGPT通信全连接过程。

项目过程:
(一)  文生文。
1、 在线注册SoruxGPT账号,获取API密匙。

复制密匙:
ChatGPT与行空板融合, AI 文生图,文生文应用图1

2、 加载图形库
为方便大家使用,笔者制作了图形库:https://gitee.com/eadd/sorus-gpt/

在用户库里添加
ChatGPT与行空板融合, AI 文生图,文生文应用图2
    3.程序思路
(1) 应用讯飞语音识别输入的语音命令。
(2) 将语音识别成文字,通过SoruxGPT-api接口与chatgpt通信。

在讯飞开放平台注册账号:https://www.xfyun.cn/,在控制台语音识别中,记下接品appid信息,在mind+中加载讯飞开放平台的库。


ChatGPT与行空板融合, AI 文生图,文生文应用图3
ChatGPT与行空板融合, AI 文生图,文生文应用图4
ChatGPT与行空板融合, AI 文生图,文生文应用图5
简单演示文生文:

     ChatGPT与行空板融合, AI 文生图,文生文应用图6

(一)  文生图,SoruxGPT Ai绘画。与前文语音输入一样,将图形块换成文生图即可。
ChatGPT与行空板融合, AI 文生图,文生文应用图7

ChatGPT与行空板融合, AI 文生图,文生文应用图8
程序效果:



ChatGPT与行空板融合, AI 文生图,文生文应用图9
河边,沙滩,水鸟
ChatGPT与行空板融合, AI 文生图,文生文应用图10

大漠孤烟直,长河落日圆
细化主体描述的方式为:[主体,主体描述] + [细节, 修饰词, 氛围] + [艺术风格, 质感, 视角, 渲染器] + [MJ 参数]ChatGPT与行空板融合, AI 文生图,文生文应用图11


ChatGPT与行空板融合, AI 文生图,文生文应用图12


chatgpt api接口又进行 了升级,文生图API地址发生变化,大家需重新加载:https://gitee.com/eadd/sorus-gpt   文件

new文生图.zip

1.22 MB, 下载次数: 47

修复了bug

new文生文.zip

1.22 MB, 下载次数: 41

修复了bug

文生文翻页.zip

1.22 MB, 下载次数: 26

可按B键翻页

语音合成模块.zip

1.22 MB, 下载次数: 25

要加设备

蜡烛  学徒

发表于 2024-3-13 13:48:59

蜡烛 发表于 2024-3-13 13:43
还是不行,每次都是在行空板报错之前在mind+先报的错,所以,我怀疑是不是语音识别出了问题,我外接了一 ...

这个样子                                                                                                                                                                                   
_cgi-bin_mmwebwx-bin_webwxgetmsgimg__&MsgID=8193256795689929415&skey=@crypt_8332.jpg
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-13 16:49:34

蜡烛 发表于 2024-3-13 05:48
这个样子                                                                                           ...

用行空板自带的语音录制呀!不要外接
回复

使用道具 举报

国斌  见习技师

发表于 2024-3-24 16:55:16

Traceback (most recent call last):   File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 205, in <module>     SoruxGPT_wst("local_image.jpg",240,320)   File "/root/mindplus/cache/new文生图.mp/.cache-file.py", line 159, in SoruxGPT_wst     image_url=json_data2['data'][0]['url'] KeyError: 'data'
回复

使用道具 举报

木子呢  管理员

发表于 2024-2-28 16:46:22

好久没看到廖老师更新了,终于!!
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-2-28 16:57:41

木子呢 发表于 2024-2-28 08:46
好久没看到廖老师更新了,终于!!

主要是在闭关学习人工智能应用,教育部在我们市设了个人工智能教育基地,我这边在考虑用行空板做一系列人工智能的教程,好让学生学习。
回复

使用道具 举报

hxq612  见习技师

发表于 2024-3-1 10:08:44

本帖最后由 hxq612 于 2024-3-1 14:24 编辑
兆 发表于 2024-2-28 16:57
主要是在闭关学习人工智能应用,教育部在我们市设了个人工智能教育基地,我这边在考虑用行空板做一系列人 ...

请教寥老师,有两个问题,一是文生文的内容一屏放不下时,怎么显示看到全部内容?二是文生文内容怎么通过USB喇叭播放出来?
ChatGPT与行空板融合, AI 文生图,文生文应用图1
C:\Users\Administrator\Desktop\微信图片_20240301100237.jpg

回复

使用道具 举报

hxq612  见习技师

发表于 2024-3-1 10:11:34

本帖最后由 hxq612 于 2024-3-1 10:13 编辑
兆 发表于 2024-2-28 16:57
主要是在闭关学习人工智能应用,教育部在我们市设了个人工智能教育基地,我这边在考虑用行空板做一系列人 ...

C:\Users\Administrator\Desktop\微信图片_20240301100237.jpg
出现以上结果有什么问题?
微信图片_20240301100237.jpg
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-1 10:18:40

hxq612 发表于 2024-3-1 02:11
出现以上结果有什么问题?

讯飞翻译的问题,fjxliaomm  微信
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-1 10:21:26

兆 发表于 2024-3-1 02:18
讯飞翻译的问题,fjxliaomm  微信

ChatGPT与行空板融合, AI 文生图,文生文应用图1你用这段代码试下,绕过讯飞翻译
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-1 12:06:22

本帖最后由 兆 于 2024-3-1 04:07 编辑
兆 发表于 2024-3-1 02:18
讯飞翻译的问题,fjxliaomm  微信

讯飞转换语音后,要变成文本,修复了bug,你重新下载附件文件。
回复

使用道具 举报

hxq612  见习技师

发表于 2024-3-1 14:29:42

兆 发表于 2024-3-1 12:06
讯飞转换语音后,要变成文本,修复了bug,你重新下载附件文件。

上午是有这个问题的,修复后已经可以了。
还有请教寥老师,有两个问题,一是文生文的内容一屏放不下时,怎么显示看到全部内容?二是文生文内容怎么通过USB喇叭播放出来?
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-1 16:50:43

hxq612 发表于 2024-3-1 06:29
上午是有这个问题的,修复后已经可以了。
还有请教寥老师,有两个问题,一是文生文的内容一屏放不下时, ...

ChatGPT与行空板融合, AI 文生图,文生文应用图1
思路是将获取到的文本,重新截成字符串,符合行空板显示的 字数,然后读取列表,用B键进行翻页,只能向下翻。附件我重新上传个翻页的
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-1 17:04:12

hxq612 发表于 2024-3-1 02:08
请教寥老师,有两个问题,一是文生文的内容一屏放不下时,怎么显示看到全部内容?二是文生文内容怎么通过U ...

转换语音有两个思路;一个是用  中英文语音合成模块V2.0 ,但文字列表就要每行修改为7个字,  https://www.dfrobot.com.cn/goods-3014.html   程序见附件 。思路2:是用讯飞的文字转语音的库,翻译后再由行空板输出,得用行空板蓝牙连接蓝牙音箱才行。
回复

使用道具 举报

驴友花雕  中级技神

发表于 2024-3-4 08:41:08

这也行,真棒!向廖老师学习!
回复

使用道具 举报

蜡烛  学徒

发表于 2024-3-6 15:28:54

本帖最后由 蜡烛 于 2024-3-6 15:31 编辑

咋回事啊?

咋回事啊?
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-7 15:44:42


你买了chatgpt的SX币没,用chatgpt的接口openai是要收取费用的
回复

使用道具 举报

蜡烛  学徒

发表于 2024-3-11 13:01:16

兆 发表于 2024-3-7 15:44
你买了chatgpt的SX币没,用chatgpt的接口openai是要收取费用的

ChatGPT与行空板融合, AI 文生图,文生文应用图1
这个吗?

回复

使用道具 举报

蜡烛  学徒

发表于 2024-3-11 13:02:57


500个,这图片压缩了                 
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-12 10:25:39

蜡烛 发表于 2024-3-11 05:02
500个,这图片压缩了

你把代码f截个图,或上传附件发我看下,或加我wei


回复

使用道具 举报

蜡烛  学徒

发表于 2024-3-12 13:05:53

兆 发表于 2024-3-12 10:25
你把代码f截个图,或上传附件发我看下,或加我wei

这个                                 
屏幕截图 2024-03-12 130412.png
回复

使用道具 举报

 中级技师
 楼主|

发表于 2024-3-12 14:46:23


你下我论坛的附件跑下看看
,我测试了的没问题
回复

使用道具 举报

蜡烛  学徒

发表于 2024-3-13 13:43:08

兆 发表于 2024-3-12 14:46
你下我论坛的附件跑下看看
,我测试了的没问题

还是不行,每次都是在行空板报错之前在mind+先报的错,所以,我怀疑是不是语音识别出了问题,我外接了一个语音识别助手,但是也没用,而且PWR那的红灯一直亮
回复

使用道具 举报

12下一页
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail