【比赛优秀作品】基于物联网的智能儿童音乐工作站
本帖最后由 虚怀若谷 于 2024-4-29 13:56 编辑## 【比赛优秀作品】基于物联网的智能儿童音乐工作站
### 作品来源：第五届全国青少年人工智能创新挑战赛——开源硬件创意智造专项赛
### 参赛学生：
* 刘先恩 沈阳市苏家屯区城郊九年一贯制学校
* 代一含 沈阳市苏家屯区城郊九年一贯制学校
### 原文链接：
https://contest.dfrobot.com.cn/tcwl2022/project/312643?p=dfrobot2022sh
## 1 创意灵感
我们通过观察发现：学龄段儿童对音乐类玩具很感兴趣，例如卡拉OK麦克风这一玩具在淘宝上的销量就很高，通过播放儿童歌曲，帮助学龄段儿童学习音乐，提高音乐感知能力，但现有的卡拉OK麦克风玩具的问题是：
* 功能单一
* 无法录音
* 缺少亲子互动
所以我们决定利用物联网技术、人工智能技术对卡拉OK麦克风进行升级，从而制作一个包含儿歌与绘本、内置录音、且能够实现远程亲子互动功能的智能儿童音乐工作站，不仅为学龄段儿童提供娱乐性和趣味性，还能促进音乐和语言发展，增强自信心和表达能力，更能促进亲子互动与交流。
## 2 演示视频
https://www.bilibili.com/video/BV12M4y1L7SV/
## 3 功能简介
本作品为基于物联网的智能儿童音乐工作站，由三个部分组成，具体功能如下：
### 1.卡拉OK玩偶
通过行空板的板载麦克风，实现录制音频功能；
通过行空板与蓝牙音箱，点击屏幕能够播放儿童歌曲《花园里种花》《小兔子乖乖》、绘本《安徒生童话》、录制的音频；
通过模拟声音传感器制作一个模拟话筒，以便对儿童唱歌时的声音强度进行检测，将结果实时显示在行空板屏幕上；
通过按钮与彩色LED灯带，实现儿童与玩具的互动：按下黄色按钮后，麋鹿帽子上的灯带会有呼吸灯的效果，同时播放声音：“宝宝唱的真好”；
按下行空板A键时，屏幕显示歌曲剩余播放时间。
### 2.旋转音乐盒
通过舵机与按钮，握住麋鹿玩偶的左手，音乐盒上的圣诞老人会旋转，增加儿童玩具的趣味性。
### 3.亲子远程互动平台
通过EASYLOT物联网平台，家长可使用手机小程序远程查看儿童播放歌曲、绘本的时间及频率，随时随地掌握儿童的动态；
通过发送消息模块，家长可使用手机远程与儿童互动，促进亲子交流：
（1）输入play指令时，音箱播放“宝宝快来和小麋鹿一起玩呀”
（2）输入sleep指令时，音箱播放“宝宝该睡觉了”
## 4 作品功能分析与设计
### 步骤1 作品功能分析与设计
首先围绕着智能玩具主题进行讨论，归纳学龄段儿童玩具的种类，经过分析选择制作的智能玩具种类为音乐类；
接着提出现有的音乐类玩具存在的问题，根据问题确定解决方案，设计作品的功能。
### 步骤2 绘制结构草图与选择器材
在外观上，选择麋鹿玩偶做卡拉OK机的主要的外形，搭配音乐盒丰富作品功能；
根据产品清单，选择需要的硬件。
### 步骤3 设置物联网与连接蓝牙
登录EASYLOT物联网平台iot.dfrobot.com.cn，新建设备并命名：音乐工作站
由于学校的喇叭模块被借走，因此使用蓝牙音箱代替，使用MoBaxterm软件，依次输入以下指令进行连接：
* ssh root@10.1.2.3
* password:dfrobot
* bluetoothctl
* default-agent
* power on
* scan on
* trust ( 蓝牙音箱MAC地址)
* pair( 蓝牙音箱MAC地址)
* connect( 蓝牙音箱MAC地址)
### 步骤4 收集音频素材与编程环境部署
#### 1.收集素材
在网站中下载儿童歌曲与绘本的mp3音频文件（http://www.goodkejian.com/erge.htm）
使用Text To Speech 网站（https://www.text-to-speech.cn/），制作互动语音，如：宝宝唱的真好等
使用在线转换音频文件 （https://www.aconvert.com/cn/audio/）网站，转换音频格式为wav格式
下载麋鹿图片作为行空板屏幕背景和logo图标
#### 2.编程环境部署
添加行空板、MQTT、舵机等扩展库，连接远程终端
### 步骤5
#### 连接硬件与编写程序
##### 1.连接硬件
将灯带、按钮、声音传感器等硬件与行空板相连接，将舵机、按钮与Arduino Nano主控板相连接，并记录对应的引脚；
通过焊接和接线，将2.54mm杜邦头 转换为PH2.0接口，同时增加线的长度。
##### 2.编写程序
程序分为2部分，第一部分为卡拉OK玩偶，使用的是行空板、按钮、灯带、声音传感器，在Mind+软件python模式下使用图形化模块编写，第二部分为音乐盒，使用的是Arduino Nano主控板、按钮、舵机，在Mind+软件上传模式下使用图形化模块编写
### 步骤6
#### 组装音乐工作站与调试系统
##### 1.组装音乐工作站
将行空板通过螺丝与圆形木板、方形木板固定，通过魔术贴将木板粘贴到玩偶上，布置灯带位置
##### 2.调试系统
运行程序，通过远程桌面查看行空板的屏幕显示，测试程序功能，通过物联网平台测试远程互动功能
## 硬件清单
* 1x [行空板](http://www.unihiker.com/)
* 2x [按钮-黄色](https://wiki.dfrobot.com.cn/_SKU ... 6%A8%A1%E5%9D%97_V2)
* 1x [彩色LED灯带](https://wiki.dfrobot.com.cn/_SKU ... D%E7%81%AF%E5%B8%A6)
* 1x (https://wiki.dfrobot.com.cn/_SKU ... D%E7%81%AF%E5%B8%A6)
* 1x [模拟声音传感器](https://wiki.dfrobot.com.cn/_SKU ... 6%84%9F%E5%99%A8_V2)
* 1x [三线黄色积木舵机](https://kittenbot.readthedocs.io/electronics/Geekservo.html)
* 1x [蓝牙音箱（小度智能音箱）](https://baike.baidu.com/item/%E5 ... 3%E7%AE%B1/22651039)
* 1x (https://www.taobao.com/list/item/628565752316.htm)
* 1x [金属9g舵机](https://wiki.dfrobot.com.cn/9g%E ... E%E8%88%B5%E6%9C%BA)
* 2x 两头PH2.0-4P白色硅胶绞线26AWG线长20CM
* 3x 杜邦线
## 五、软件源代码
### 1.图形化编程源程序文件（音乐盒部分）
### 2.python代码（卡拉OK玩偶部分）
注：由于图形化编程源文件为150M无法上传，故用python代码展示，图形化编程可见步骤5中的截图（具体代码也可在原文中下载）
```
#-*- coding: UTF-8 -*-
# MindPlus
# Python
from pinpong.extension.unihiker import *
from pinpong.board import Board,Pin
from unihiker import Audio
from unihiker import GUI
import siot
import time
# 事件回调函数
def on_message_callback(client, userdata, msg):
# 订阅到音乐工作站
if (msg.topic == "PwgwpquVR"):
print("dingyueok")
if (msg.payload.decode() == "sleep"):
# 播放宝宝该睡觉了
u_audio.start_play("sleep.wav")
print("sleep")
if (msg.payload.decode() == "play"):
# 播放快来和小麋鹿一起玩呀
u_audio.start_play("playgame.wav")
print("playgame")
def button_click5():
global BoFangBiaoZhi
if (BoFangBiaoZhi == 1):
u_audio.stop_play()
thread5=u_gui.start_thread(u_thread5_function)
def u_thread5_function():
global BoFangBiaoZhi
bofang.config(image="zanting2.png")
song.config(text="正在播放：安徒生童话")
u_audio.start_play("4安徒生童话.wav")
siot.publish(topic="PwgwpquVR", data="你的孩子播放了绘本：安徒生童话")
BoFangBiaoZhi = 1
u_audio.record("record.wav",30)
u_audio.stop_play()
BoFangBiaoZhi = 0
# 绘本播放结束，
# 图片⏸变为▶
bofang.config(image="kaishi2.png")
def button_click2():
global BoFangBiaoZhi
if (BoFangBiaoZhi == 1):
u_audio.stop_play()
thread2=u_gui.start_thread(u_thread2_function)
def u_thread2_function():
global BoFangBiaoZhi
bofang.config(image="zanting2.png")
song.config(text="正在播放：花园里种花")
u_audio.start_play("5花园里种花.wav")
# 向物联网平台的音乐工作站模块发送消息
siot.publish(topic="PwgwpquVR", data="你的孩子播放了儿歌：花园里种花")
BoFangBiaoZhi = 1
u_audio.record("record.wav",30)
u_audio.stop_play()
BoFangBiaoZhi = 0
bofang.config(image="kaishi2.png")
def button_click1():
global BoFangBiaoZhi
if (BoFangBiaoZhi == 1):
u_audio.stop_play()
thread1=u_gui.start_thread(u_thread1_function)
def u_thread1_function():
global BoFangBiaoZhi
bofang.config(image="zanting2.png")
song.config(text="正在播放：小兔子乖乖")
u_audio.start_play("1小兔子乖乖.wav")
siot.publish(topic="PwgwpquVR", data="你的孩子播放了儿歌：小兔子乖乖")
BoFangBiaoZhi = 1
u_audio.record("record.wav",30)
u_audio.stop_play()
BoFangBiaoZhi = 0
bofang.config(image="kaishi2.png")
def button_click3():
global BoFangBiaoZhi
BoFangBiaoZhi = 1
u_audio.start_play("record.wav")
bofang.config(image="zanting2.png")
def button_click4():
global BoFangBiaoZhi
BoFangBiaoZhi = 0
u_audio.pause_play()
bofang.config(image="kaishi2.png")
def on_buttona_click_callback():
# 按下A键时，显示歌曲/绘本剩余播放时间
tip.config(text=(str((str("剩余时间：") + str(round((u_audio.play_time_remain() / 60),2)))) + str("分钟")))
u_audio = Audio()
siot.init(client_id="",server="iot.dfrobot.com.cn",port=1883,user="QnpUu1-4R",password="w7pUXJ-VRz")
u_gui=GUI()
Board().begin()
siot.set_callback(on_message_callback)
siot.connect()
siot.loop()
p_p22_analog=Pin(Pin.P22, Pin.ANALOG)
p_p24_in=Pin(Pin.P24, Pin.IN)
p_p23_pwm=Pin(Pin.P23, Pin.PWM)
u_gui.on_a_click(on_buttona_click_callback)
# 连接EASY LOT物联网平台
siot.getsubscribe(topic="PwgwpquVR")
siot.publish(topic="PwgwpquVR", data="连接成功")
BoFangBiaoZhi = 0
# 设置行空板屏幕显示：文字、图片、下划线等
bg=u_gui.draw_image(image="lu.png",x=123,y=110)
yinliang=u_gui.draw_text(text=" ",x=160,y=10,font_size=11, color="#663300")
icon=u_gui.draw_image(image="lulogo.png",x=8,y=5)
icon.config(w=20)
text=u_gui.draw_text(text="菜单",x=30,y=5,font_size=14, color="#CC0000")
l1=u_gui.draw_line(x0=2,y0=66,x1=239,y1=66,width=1,color="#663300")
l2=u_gui.draw_line(x0=2,y0=102,x1=239,y1=102,width=1,color="#663300")
l3=u_gui.draw_line(x0=2,y0=138,x1=239,y1=138,width=1,color="#663300")
huiben1=u_gui.draw_text(text="绘本：安徒生童话",x=3,y=40,font_size=14, color="#663300")
huiben1.config(onclick=button_click5)
music1=u_gui.draw_text(text="儿歌：小兔子乖乖",x=3,y=75,font_size=14, color="#663300")
music1.config(onclick=button_click1)
music2=u_gui.draw_text(text="儿歌：花园里种花",x=3,y=107,font_size=14, color="#663300")
music2.config(onclick=button_click2)
song=u_gui.draw_text(text="",x=75,y=170,font_size=10, color="#990000")
song.config(origin="center")
tip=u_gui.draw_text(text="快和小麋鹿一起玩耍吧",x=50,y=300,font_size=11, color="#990000")
bofang=u_gui.draw_image(image="kaishi2.png",x=45,y=180)
bofang.config(w=70)
PLAY=u_gui.add_button(text="播放",x=30,y=260,w=60,h=30,onclick=button_click3)
PAUSE=u_gui.add_button(text="暂停",x=150,y=260,w=60,h=30,onclick=button_click4)
while True:
# 读取声音传感器音量
yinliang.config(text=(str("音量：") + str(p_p22_analog.read_analog())))
# 按下按钮
if (p_p24_in.read_digital()==True):
while not ((not (p_p24_in.read_digital()==True))):
pass
# 实现呼吸灯效果
print("按下")
Deng = 0
while not ((Deng >= 255)):
Deng = (Deng + 1)
p_p23_pwm.write_analog(Deng)
time.sleep(0.01)
while not ((Deng <= 0)):
Deng = (Deng - 1)
p_p23_pwm.write_analog(Deng)
time.sleep(0.01)
# 播放：宝宝唱的真好
u_audio.play("good.wav")
```
## 6 作品图片
## 往期推荐
- [[比赛优秀作品] AI打鼓小能手——儿童趣味音乐鼓](https://mc.dfrobot.com.cn/thread-318185-1-1.html)
- [[比赛优秀作品]声光提醒军棋智能裁判](https://mc.dfrobot.com.cn/thread-318220-1-1.html#pid568301)
- [[比赛优秀作品]坠落的小球](https://mc.dfrobot.com.cn/thread-318189-1-1.html#pid567990)
- [[比赛优秀作品] 激光移动标靶](https://mc.dfrobot.com.cn/thread-318288-1-1.html#pid568997)
- [[比赛优秀作品]电子三叶草](https://mc.dfrobot.com.cn/thread-318235-1-1.html#pid568464)
- [[比赛优秀作品] 电子足球](https://mc.dfrobot.com.cn/thread-318345-1-1.html#pid569415)
- [[比赛优秀作品] 一种基于人工智能的模拟射击玩具](https://mc.dfrobot.com.cn/thread-318505-1-1.html)
- [[比赛优秀作品]失语儿童玩具](https://mc.dfrobot.com.cn/thread-318545-1-1.html#pid570973)
- [[比赛优秀作品]趣识历史科技名人——智能拼图游戏](https://mc.dfrobot.com.cn/thread-318559-1-1.html#pid571021)
- [[比赛优秀作品]基础数学四则运算练习机](https://mc.dfrobot.com.cn/thread-318617-1-1.html#pid571464)
- [[比赛优秀作品]数量认知教学天平](https://mc.dfrobot.com.cn/thread-318729-1-1.html#pid571721)
- [[比赛优秀作品]AI智慧树益智玩具](https://mc.dfrobot.com.cn/thread-318845-1-1.html#pid572150)
- [[比赛优秀作品]儿童理财学习机](https://mc.dfrobot.com.cn/thread-318928-1-1.html#pid572312)
- [[比赛优秀作品]儿童智能学习机](https://mc.dfrobot.com.cn/thread-318931-1-1.html#pid572334)
页:
[1]