查看: 39597|回复: 2

【比赛优秀作品】澳门的语音交互打卡和建筑模型识别一...

本帖最后由 JIAJIA 于 2023-4-25 17:21 编辑

澳门的语音交互打卡和建筑模型识别一体化导游器

参赛学生：鏡平學校（中學部）周昕曈曾浚銘
指导老师：蔡鏢
作品来源：第五届全国青少年人工智能挑战赛-开源硬件创意智造专项赛优秀作品

项目概述

澳门是一个多元文化、中西合璧的城市。作为世界旅游悠闲中心，澳门不仅有有各色美食享有世界美食之都之美誉，有着许多世遗景点，更是一个购物天堂。但是游客往往很容易在澳门弯弯绕绕到大街小巷迷路；也很难找到所谓地道的食店；不懂澳门的一些特别的法律；除此之外，我们也考虑了来自不同地方游客水土不服等问题。

针对以上种种问题，于是，我们运用了Arduino硬件编程配合了亚克力切割技术设计了一款实现了语音交互的打卡导游器，来更加地道地、多元地介绍澳门，最后便完成了我们这一套语音交互打卡导游和建筑模型识别一体化的产品。

项目简介

1.多元融合：有着两种不同的模式——导游模式和模型模式，考虑了不同的使用者的不同需求。该产品实现了为不熟悉澳门的旅客做到一个路线规划选择和提供一些相关讯息，可以减轻不熟悉澳门的旅客的负担，而我们也考虑到有些人无法来到澳门，于是便设计了模型功能，没有来过澳门的人也可以通过我们的产品来获取澳门建筑的简介、历史和外观特点，实现“云旅游”。

2.便于安装：可以通过扭扭带或魔术贴固定在背包肩带上。选择多样。

3.容易上手操作：只需要配合语音要求，按按遥控器，或者通过语音控制，便可以使用我们的产品。

制作过程

步骤一结构设计

外形是通过Adobe Illustrator设计而成，并在上面雕刻不同孔洞来固定我们的传感器和主板，后面的悬挂固定处是可拆卸替换设计，我们制作了扭扭带、魔术贴、两种种形式，让使用者可以随自己喜好来进行选择。并且在上面还有着澳门风景以及澳门特殊鸟群——黑面琵鹭的雕刻作为装饰。

设计图

步骤二电路接线

arduino接线

micro bit接线

两块主板之间软串口

步骤三代码编写

在我们的装置中使用两块的主板，并把装置分为输出系统以及处理系统。Arduino UNO放在处理系统，同时语音识别模块，按钮，人工智能视觉传感器，红外接收模块，NFC模块，LED灯，LCD显示屏，温湿度传感器也接在Arduino UNO主板。

而micro : bit主板主要作为输出系统及储存内容，在主板上只有OLED显示屏、语音合成模块以及模拟角度传感器，所有的介绍内容包括语音介绍和文本显示内容都存放在micro:bit主板中，摸拟角度传感器则用作调节语音音量大小。

两块主板设采用软串口方式通过两条联邦线作连接，当arduino UNO需要输出一段语音播报或显示文字时，需要在软串口发送相应字符串，micro:bit在接收到arduino的信息后，通过「如果、否则」的判断语句，来决定下一步动作。

程序的主程序，主要为需要使用的模块初始化，同时通过发出语音和屏幕提示装置的使用方法

在提示语音后，装置会进入模式选择模式阶段，通过遥按器1和2选择模式

按1跳转到导游模式，按2则跳转为模型模式。

导游模式

在转到导游模式时，用户需要使用遥按器来选择游玩的路线，每条路线都有不同的景点可供游览。当使用者在到逹景点，需要单击黄色按钮或使用二哈识图模块来进行一个「打卡」的动作。在打卡后装置便会发出当前景点的介绍。在简单的介绍后，还可以通过遥控器或通过语音对话的方式来获得附近食物、交通和天气的信息。在完成第一个景点的游览后便可以根据语音提示前往下一个景点，以此类推直至游览完当前路线。

模型模式

当切换为模型模式时，用户要把装置拍到一些澳门特色建筑物的模型上，装置上的NFC模块能识别模型上的标签，然后可以通过遥控器或说话方式来选择有关景点的不同信息，包括（景点简介，景点历史以及外观特色）

micro:bit的程序需要手动加入代码

二哈识图设定：

我们先把二哈识图切换成「物体分类」模式，然后从网上寻找有关景点不同角度的图片，然后长按按钮令二哈识图多次学习。学习成功后模块会把刚学习的图像标记为IDXX，我们便可通过不同ID号来对应不同景点。

语音合成模块：

通过I2C接口连接，提前把文本内容输入到程序中，当接收到某一指令时，便会说出对应的内容。同时我们也加入一个模拟角度传感器用于调节语音播报的音量。

oled展幕：

除了通过语音播报作声音交互外，我们也加入了一块oled屏用来显示中文。

步骤四组装

材料清单

1✖	Arduino UNO
1✖	IO传感器扩展板
1✖	语音合成模块
1✖	人工智能视觉传感器
1✖	语音识别模块
1✖	NFC近场通讯模块
2✖	NFC标签
1✖	红外接收模块
1✖	红外遥控器
1✖	模拟角度传感器
1✖	数字大按钮模块
1✖	I2C级联扩展器
1✖	WS2812RGB全彩灯带（7灯珠）
1✖	LCD1602液晶显示屏
1✖	OLED显示屏
1✖	Micro：bit
1✖	Micro：bit I/O扩展板
1✖	温湿度传感器

项目展示

佩戴图

总结与展望

该产品实现了为不熟悉澳门的人们做到一个简单的路线规划，和相关讯息的反馈，在一定程度上可以减轻不熟悉澳门的旅客的负担，同时增加的打卡功能，也增加了旅客在游玩澳门的过程中的乐趣。而我们也考虑有些人无法来到澳门，于是便设计了模型功能，没有来过澳门的人也可以通过产品来获取澳门建筑的简介、历史和外观特点，实现“云旅游”，进一步了解澳门。我们的产品在模型部分，未来可以考虑和澳门不同的文创品牌合作，不管是建筑模型、钥匙扣、胸针抑或是杯垫等产品，都可以内置NFC标签，和我们的产品进行一个联动，这样我们的产品便不局限于自用，甚至可以作为礼品或者手信送给亲朋好友；而在打卡器部分，可能会制作一个专属网站，提供更多的澳门信息，例如活动时间表等，并转换成二维码在我们产品的oled屏幕显示，进一步完善我们的产品，实现一体化一条龙服务。