rzyzzxw 发表于 2023-2-26 15:13:46

听"话"的掌控仰望小车

本帖最后由 rzyzzxw 于 2023-2-27 13:00 编辑




【演示】
演示用的是简化后的程序-3。
https://www.bilibili.com/video/BV1T54y1w7FN/?spm_id_from=444.41.list.card_archive.click&vd_source=72149e0bfdf8cadd8539f2d7819e5750

【背景】
DF的AI三剑客在创客教育圈里成名很久了,论坛里很多精彩的项目,我却是刚刚配齐他们。
所以下面的记录均为学习笔记,全是水份。
拿到后当然是先连接掌控板测试一下,当然也是熟悉下用法。

语音识别:
DFR0715 Voice Recognition 语音识别模块(Gravity I2C接口) 产品资料 使用教程 (dfrobot.com.cn)

语音合成:
DFROBOT DFR0760 Gravity:中英文语音合成模块V2.0产品资料和使用教程

【测试】
语音识别模块   1
语音合成模块   1
百灵鸽扩展板   1      链接资料:1. 百灵鸽 — nplus-docs 文档
掌控板             1
接线:





语音识别
语音识别模块接掌控扩展板IIC

语音识别测试一把过了,语音合成却是没有成功。
仔细读文档,搞明白了,我拿到的是V2.0版本(DF商城下单),在mind+中只能用有V2的积木块(因为V1和V2所用的语音合成芯片不同)。
mind+1.7.3




IIC
语音合成模块接掌控扩展板IIC,模块上开关拨到IIC。

长句子可以使用flash存储积木。


串口
语音合成模块接掌控扩展板串口(根据线色自定义引脚),模块上开关拨到UART。

长句子可以使用flash存储积木。


混合测试


【百灵鸽语音遥控器】
遥控和小车间用无线广播通信



遥控端程序-1


上面程序的唤醒词是假装的,直接命令也行,这样会导致环境语音误触发。
优化一下,加上唤醒状态变量,你好小迪。
遥控程序-2


这段程序语音遥控小车效果不好,因为语音合成占用时间,交互性有了,时效性差了,遥控起来就撞车啦。遥控程序2测试:
https://www.bilibili.com/video/BV1VM411j7TP/?vd_source=72149e0bfdf8cadd8539f2d7819e5750
仰望小车撞哭了,要优化程序啊。

简化程序后:

遥控程序-3


再测试,因为程序不啰嗦了,操控性就好了些。

【仰望小车】


软件:mPython 0.7.6



【小结】

这是一个水帖(实验),经历了不成功到还可以,得到了一些新的经验。

1、不用联网的语音识别和语音合成可以方便小朋友在课堂和赛场上使用。
2、加上唤醒状态变量后可以有效减少错误识别,但是会增加遥控时长,时效更差。
3、简化程序可以增加控制时效。
4、本帖子中用来控制小车纯属实验作秀,实验结论:对于时效要求高的操作还是不要用语音控制(所以车机中绝对不会用语音来换档刹车)。




rzyzzxw 发表于 2023-2-26 21:11:38

本帖最后由 rzyzzxw 于 2024-2-1 19:57 编辑

这是续集14:
正剧:
志童道合 | 仰望--帅气的掌控“新能源”小车
https://mc.dfrobot.com.cn/thread-314836-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集一:
志童道合 | 给仰望小车做个方向盘式的遥控器
https://mc.dfrobot.com.cn/thread-315004-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集二:
志童道合 | 升级仰望小车的动力系统
https://mc.dfrobot.com.cn/thread-315012-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集3:
志童道合 | 升级了遥控器,仰望实现无级变速
https://mc.dfrobot.com.cn/thread-315039-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集4:
志童道合 | 遥控再升级,增加刹车功能,仰望终极形态将...
https://mc.dfrobot.com.cn/thread-315051-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集5:
志童道合 | 用L298N直流电机驱动模块DF-MD V1.3 改造仰望小车2号
https://mc.dfrobot.com.cn/thread-315074-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集6:
L298N直流电机驱动模块DF-MD V1.3+百灵鸽,仰望2号跑起来
https://mc.dfrobot.com.cn/thread-315084-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集7:
L298N直流电机驱动模块DF-MD V1.3+掌控宝的仰望2号组合
https://mc.dfrobot.com.cn/thread-315093-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集8:
用掌控板+DF掌控micro:bit两用扩展板+TT电机+舵机...
https://mc.dfrobot.com.cn/thread-315100-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集9:
L298N_红色直流电机驱动模块+掌控板的应用:仰望3动力升级
https://mc.dfrobot.com.cn/thread-315101-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集10:
发现秘密:L298N_红色直流电机驱动模块扩展库+掌控板在仰....
https://mc.dfrobot.com.cn/thread-315103-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦
续集11:
秘法再用:L298N直流电机驱动模块DF-MD V1.3 mind+扩展库在仰.....
https://mc.dfrobot.com.cn/thread-315107-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集12:
L298N_红色直流电机驱动模块+掌控板在mPython中的编程应用:...
https://mc.dfrobot.com.cn/thread-315112-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
续集13:
仰望小车2-盘古斧版:向小伙伴们致敬
https://mc.dfrobot.com.cn/thread-315125-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)



rzyzzxw 发表于 2023-2-26 21:14:53

本帖最后由 rzyzzxw 于 2024-2-1 19:57 编辑

改进思路1:
将语音合成模块放到仰望小车上,语音合成功能的实现不影响遥控端程序运行效率,就可以有互动效果了。

新的想法2:
通过观看帖子中的视频,发现仰望小车的转弯半径挺小的,而且车速也快,所以我想用它结合二哈进行视觉寻线。

rzyzzxw 发表于 2023-2-26 22:20:02

本帖最后由 rzyzzxw 于 2023-2-28 22:19 编辑

2.26
改进思路3:
不改动硬件,双板无线互动,小车接收消息执行相应动作后回复特定消息,遥控端收到消息后发声。
2.27
先行尝试的是这个思路。
没有达到预期,原因有2,语音识别和合成模块放在一起,合成的声音会影响到识别,还有个原因我猜测的,无线发送可能是发了一串消息,所以接收这边会合成一串语音出来,这就不好玩了。
暂时没有想到解决办法。

DF学习小天后 发表于 2023-12-10 20:58:10

良心博主

DFBkVIT8jZp 发表于 2023-12-24 20:08:15

车是怎么驱动的?能否列出所有材料清单?

rzyzzxw 发表于 2024-1-8 19:42:31

DFBkVIT8jZp 发表于 2023-12-24 20:08
车是怎么驱动的?能否列出所有材料清单?

器材:
百灵鸽扩展板 掌控板 电位器(角度传感器)摇杆
乐动掌控 乐动舵机 乐高电机
乐高积木

rzyzzxw 发表于 2024-1-8 19:45:07

rzyzzxw 发表于 2024-1-8 19:42
器材:
百灵鸽扩展板 掌控板 电位器(角度传感器)摇杆
乐动掌控 乐动舵机 乐高电机


志童道合 | 升级仰望小车的动力系统
https://mc.dfrobot.com.cn/thread-315012-1-1.html?fromuid=727937
(出处: DF创客社区 - 分享创造的喜悦)
页: [1]
查看完整版本: 听"话"的掌控仰望小车