2019-8-2 11:00:58 [显示全部楼层]
27103浏览
查看: 27103|回复: 16

[掌控板入门] 【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类

[复制链接]
项目五(下) AI助力垃圾分类


随着垃圾分类立法进程在全国不断推动,2019年7月,上海作为第一站,正式开始实施垃圾分类最严政策《上海市生活垃圾管理条例》,「你是什么垃圾?」也成了很多上海人每天不得不面对的灵魂拷问。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图1【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图2

可能有人会想:“总共才四个分类,看上去也不难啊。”虽说只分成了四大类,可是每个大类里面还有许多小类,每个小类还会有具体的划分。面对各种各样的垃圾到底属于哪一类,还真让居民们犯难!

为此,很多人工智能技术在垃圾分类中的应用应运而生。比如支付宝推出的“垃圾分类指南”小程序,输入垃圾名字后即可一键检索种类,还可以通过AI摄像头,智能识别垃圾。另外一些手机厂商也纷纷推出垃圾分类的语音助手。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图3

在这个项目中,我们就将应用AI技术助力垃圾分类利用Mind+中自带的“语音识别”模块,做一个垃圾分类语音助手,帮助居民更好的完成垃圾分类。

核心知识点


人工智能
人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图4

人工智能技术应用的细分领域:深度学习、计算机视觉、智能机器人、虚拟个人助理、语音识别、实时语音翻译、情境感知计算、手势控制、视觉内容自动识别、推荐引擎等。

垃圾分类
目前各地实行的垃圾分类法则略有不同,上海市主要将生活垃圾分为4类,可参考下图。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图5

功能实现

功能1:语音识别
在Mind+实时模式下,提供了语音识别功能,通过向电脑的麦克风说出内容,利用“语音识别”模块可以将语音转换为文字。

软件设置:使用语音识别功能需要在Mind+的实时模式下,打开“扩展”,在“功能模块”下点击加载“语音识别”

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图6

接下来将以一个简单的应用为例,说明语音识别的应用方法。程序功能:录入语音,掌控板显示语音转换成的文字。

* 编程时,需在“扩展”中,选择“掌控板”为主控板。

“实时模式”下,新建任一角色,输入下面程序:
【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图7

下面的程序图与上面一样,旨在说明程序中语音识别相关指令的作用。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图8

运行结果:连接设备,运行程序。按下A键,当舞台出现声波图时,等待波形图开始抖动对着电脑麦克风说话,停止说话后,声波图消失,掌控板屏幕显示语音转换成的文字。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图9

* Mind+中共有两个语音识别服务器,服务器1为实时识别语音,逐字翻译成文字 ;服务器2为录音一段时间后,将一句话翻译成文字。建议默认使用服务器1,如果服务器1不稳定,可切换成服务器2。

功能2:垃圾分类语音助手
垃圾分类语音助手的作用是人们在说出垃圾名字后,就能知道垃圾是哪一类,想一想,如何用程序实现呢?

在功能1程序中,我们知道,语音可以转换为文字,你可能会想,如果对文字做出判断,比如听到“香蕉皮”时,在程序中判断“香蕉皮”为“湿垃圾”,然后输出“香蕉皮是湿垃圾”的结果,是不是就满足需求了呢?

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图10

其实这样是可以的,但是由于有各种各样的垃圾,如果都要一一判断,程序会非常冗长,这显然是不合理的。

那么试想一下,能不能按照垃圾的分类建立多个“垃圾库”,比如所有的湿垃圾都属于同一个“湿垃圾库”,当外部输入一个垃圾名字时,判断“湿垃圾库”中是否包含这个名字,如果有则说明这个垃圾是湿垃圾。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图11

如何建立这样的“垃圾库”呢?其实可以通过列表来实现。
可将角色造型替换为垃圾桶图片。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图12

程序如下:

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图13
程序接下一页。


【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图14

运行结果:按下A键,进行语音输入。根据语音转换结果,对应显示垃圾种类。
舞台界面:

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图15

试想一下,如果将语音助手垃圾桶结合起来,是否可以做一个更加智能的语音识别垃圾桶呢?比如有“湿垃圾桶””、”干垃圾桶“,根据语音识别结果,打开对应垃圾桶的盖子。

但是目前语音识别模块需要在实时模式下使用,但是扩展板需要在上传模式下使用,如何将这二者结合呢?

能否用物联网去解决问题呢?大家不妨动手试一试。


评价与
反思
与人分享快乐,能产生更多快乐,尝试与身边的人一起来体验你的垃圾分类语音助手!你还可以在DF创客社区中分享作品,听听更多人的建议!
社区网址:www.dfrobot.com.cn

问卷调查
尝试让体验过你作品的人做下面的问卷表,看看在别人眼中这个作品的闪光点与不足。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图16


自我反思
梳理自己设计项目的思维逻辑、项目在执行层面的问题和经验等等,可以帮助我们形成学习的闭环,加深在项目进行的过程中对知识点和内容的理解,找到可以改进和提高的地方。

【Gravity】Mind+掌控板进阶教程-项目五(下) AI助力垃圾分类图17

JeffSHI  学徒

发表于 2019-8-9 21:37:36

您好,我按照您的指导自己做了一下但是没有成功
1,没有显示声波
2,语音没有识别和反馈
请您指导下
回复

使用道具 举报

EVE  高级技匠
 楼主|

发表于 2019-8-12 09:39:50

JeffSHI 发表于 2019-8-9 21:37
您好,我按照您的指导自己做了一下但是没有成功
1,没有显示声波
2,语音没有识别和反馈

服务器1、2都试过吗?
回复

使用道具 举报

JeffSHI  学徒

发表于 2019-8-12 20:04:57

EVE 发表于 2019-8-12 09:39
服务器1、2都试过吗?

试过了,好像是A键的问题
回复

使用道具 举报

AB  见习技师

发表于 2019-9-5 16:08:42

请问为什么总是无法识别,明明把识别的文字显示出来是对的呀
回复

使用道具 举报

EVE  高级技匠
 楼主|

发表于 2019-9-6 09:25:35

AB 发表于 2019-9-5 16:08
请问为什么总是无法识别,明明把识别的文字显示出来是对的呀

使用的百度服务器吗?它有个句号
回复

使用道具 举报

gada888  版主

发表于 2019-10-16 21:03:16

厉害了
回复

使用道具 举报

南湖希望小学-沈老师  学徒

发表于 2019-11-19 10:29:57

真棒
回复

使用道具 举报

南湖希望小学-沈老师  学徒

发表于 2019-11-19 10:31:04

对啊,最后怎么实现物联网  方式。这个有点难
回复

使用道具 举报

EVE  高级技匠
 楼主|

发表于 2019-11-19 11:30:17

南湖希望小学-沈老师 发表于 2019-11-19 10:31
对啊,最后怎么实现物联网  方式。这个有点难

嗯啊,可以试试。一种思路是:在实时模式下,将语音识别结果转换下上传到IOT中;另外准备一块掌控板,在上传模式下编写程序,当IOT中接收到指定信息,掌控板控制舵机或电机转动
回复

使用道具 举报

gray6666  初级技神

发表于 2020-1-9 10:32:29

请问楼主的板子是1.0还是2.0?
回复

使用道具 举报

EVE  高级技匠
 楼主|

发表于 2020-1-10 09:56:49

gray6666 发表于 2020-1-9 10:32
请问楼主的板子是1.0还是2.0?

写帖子的时候还没有2.0呐
回复

使用道具 举报

Sev7nKarat克拉  中级技师

发表于 2020-4-28 16:49:21

Up主,百度语音识别是不是有次数限制?一开始好好的正确识别,后面乱七八糟
回复

使用道具 举报

Sev7nKarat克拉  中级技师

发表于 2020-4-28 16:53:39

Sev7nKarat克拉 发表于 2020-4-28 16:49
Up主,百度语音识别是不是有次数限制?一开始好好的正确识别,后面乱七八糟 ...

另外,识别后列表匹配是如何进行的?我这里匹配一次要15-25秒。有办法加快吗?
回复

使用道具 举报

EVE  高级技匠
 楼主|

发表于 2020-4-29 09:28:16

Sev7nKarat克拉 发表于 2020-4-28 16:53
另外,识别后列表匹配是如何进行的?我这里匹配一次要15-25秒。有办法加快吗? ...

识别不稳定可能是网络不稳定?匹配时间长的话,就更像网络不稳定了。。
回复

使用道具 举报

44107900  初级技师

发表于 2020-5-5 22:42:35

正常,2.0版本测试
回复

使用道具 举报

8881  学徒

发表于 2021-4-29 09:38:15

EVE 发表于 2019-8-12 09:39
服务器1、2都试过吗?

你好,你的问题解决了吗,我的问题跟你的一样
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail