设为首页收藏本站
首页 > 论坛 > 行空板

[M10项目]行空板之物联网对-讲-机

云天 | 初级技神 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2024-10-6 20:34:36 [显示全部楼层]
155浏览
1回复
1收藏
查看: 155|回复: 1

[M10项目] 行空板之物联网对-讲-机

[复制链接]
【项目背景】
        在当今的创客文化和教育环境中，培养学生的创新思维和实践能力成为了教育的重要目标。创客社团作为学校或社区中推广创客文化和项目的重要平台，一直在寻找能够激发学生兴趣、增强实践技能并促进团队合作的教学案例。物联网（IoT）作为一个充满创新潜力的领域，为创客社团提供了丰富的学习资源和项目实施机会。
        本项目旨在为创客社团提供一个基于物联网技术的对-讲-机功能的实践案例。通过这个项目，学生将有机会了解和掌握物联网的基本概念、音频处理技术和无线通信原理，同时提高他们的编程能力和问题解决能力。

        项目的核心是使用两个行空板，通过物联网技术实现对-讲-机功能。行空板作为一种多功能的开源硬件平台，非常适合用于教育和创新项目。它集成了麦克风和扬声器，可以通过编程实现音频的录制和播放，非常适合用来构建语音通信设备。
【项目目标】

  • 物联网技术理解：学生将学习物联网的基础知识，包括传感器、通信协议和云平台。

  • 编程实践：通过使用Mind+编程软件和Python语言，学生将练习编程技巧，实现音频数据的采集、处理和传输。

  • 音频处理技术：学生将了解音频信号的数字化过程，包括录音、文件格式转换和音频播放。

  • 无线通信原理：学生将探索蓝牙和物联网通信技术，了解它们在无线通信中的应用。

  • 团队合作与交流：项目需要学生分组合作，共同设计、编程和测试对-讲-机系统，培养团队协作和沟通能力。

  • 创新思维：鼓励学生在项目实施过程中发挥创意，探索物联网技术在其他领域的潜在应用。


【知识学习】
        成员们分组进行物联网和音频处理技术的基础知识学习，包括了解行空板的功能、Mind+编程软件的使用、Python语言基础、物联网通信协议以及音频信号的数字化处理。
【硬件准备】
       社团准备所需的硬件设备，包括两个行空板、两个蓝牙音箱、两个充电宝、必要的连接线和电脑设备。




行空板之物联网对-讲-机图1


行空板之物联网对-讲-机图2


行空板之物联网对-讲-机图3





【编程实践】
        1.在老师的指导下，成员们开始编写代码。他们使用Mind+编程软件中的Python编程环境，利用unihiker库的Audio模块来控制行空板上的麦克风进行声音采集，并通过wave库将声音文件转换为十六进制格式。成员们注册并配置物联网平台Easy IOT，创建设备ID和相应的话题，用于音频数据的传输。
  1. 

  2. import wave,os

  3. import json

  4. import time

  5. from unihiker import GUI

  6. from unihiker import Audio

  7. import siot

  8. bs=1

  9. 

  10. def send_wave(FILE_PATH):

  11. with wave.open(FILE_PATH, 'rb') as wav_file:

  12.    # 获取文件大小

  13.    file_size = os.path.getsize(FILE_PATH)

  14.    

  15.    

  16.    # 读取数据并发送

  17.    frame_count = 0

  18.    siot.publish(topic="z4ksqL6Ig", data="start")

  19.    while True:

  20.        frame = wav_file.readframes(1024)  # 读取1024字节

  21.        if not frame:

  22.            break

  23.        siot.publish(topic="z4ksqL6Ig", data=frame.hex())

  24.        frame_count += 1

  25.        显示.config(text="发送："+str(frame_count)+"frame")

  26.    siot.publish(topic="z4ksqL6Ig", data="stop")

  27. 

  28. # 事件回调函数

  29. def on_buttona_click_callback():

  30.    global bs

  31.    wave_path="record.wav"

  32.    if bs==1:

  33.       bs=0

  34.       显示.config(text="开始讲话")

  35.       u_audio.play("ding.wav")

  36.      

  37.       u_audio.start_record("record.wav")

  38.    else:

  39.       bs=1

  40.       显示.config(text="讲话结束")

  41.       u_audio.stop_record()

  42.       send_wave(wave_path)

  43.       u_audio.play("ding.wav")

  44.    

  45. u_gui=GUI()

  46. u_audio = Audio()

  47. u_gui.on_a_click(on_buttona_click_callback)

  48. 显示=u_gui.draw_text(text="行空板",x=0,y=0,font_size=20, color="#0000FF")

  49. 

  50. siot.init(client_id="14603802900222362",server="iot.dfrobot.com.cn",port=1883,user="AVNLqL6SR",password="04HYqY6IRz")

  51. siot.connect()

  52. siot.loop()

  53. siot.getsubscribe(topic="z4ksqL6Ig")

  54. 

  55. 

  56. 

  57. 

  58. while True:

  59.    pass

  60. 

复制代码

    2.编写代码，实现音频数据的接收。成员们测试音频数据是否能够成功通过物联网平台接收。
  1. 

  2. import wave

  3. from unihiker import GUI

  4. import siot

  5. from unihiker import Audio

  6. # 接收到的消息存储在这里

  7. received_frames = []

  8. frame_count=0

  9. # 事件回调函数

  10. def on_message_callback(client, userdata, msg):

  11.    global bs2,received_frames,frame_count

  12.    re_msg=msg.payload.decode()

  13.    

  14.    if re_msg=="stop":

  15.       bs2=2

  16.    if bs2==1:

  17.       frame_data = bytes.fromhex(re_msg)

  18.       received_frames.append(frame_data)

  19.       frame_count+=1

  20.       显示.config(text="接收到："+str(frame_count)+"frame")

  21.    if re_msg=="start":

  22.        bs2=1

  23.        received_frames = []  # 重置接收缓冲区

  24.        frame_count=0

  25.        u_audio.play("ding.wav")

  26. u_gui=GUI()

  27. 显示=u_gui.draw_text(text="行空板",x=0,y=0,font_size=20, color="#0000FF")

  28. siot.init(client_id="506958351015395",server="iot.dfrobot.com.cn",port=1883,user="AVNLqL6SR",password="04HYqY6IRz")

  29. u_audio = Audio()

  30. siot.connect()

  31. siot.loop()

  32. siot.set_callback(on_message_callback)

  33. siot.getsubscribe(topic="z4ksqL6Ig")

  34. bs2=0

  35. while True:

  36.    

  37.    if bs2==2:

  38.        js=0

  39.        bs2=0

  40.        # 重新组装WAV文件

  41.        FILE_NAME = "received.wav"

  42.        with wave.open(FILE_NAME, 'wb') as out_file:

  43.            out_file.setnchannels(1)  # 单声道

  44.            out_file.setsampwidth(2)  # 采样宽度2字节

  45.            out_file.setframerate(16000)  # 采样率44100Hz

  46.            for frame in received_frames:

  47.                out_file.writeframes(frame)

  48.                js+=1

  49.                print(js)

  50.        

  51.        u_audio.play(FILE_NAME)

  52.        print(f"Reassembly complete, saved to {FILE_NAME}")

  53. 

  54. 

  55. 

复制代码
【蓝牙音箱连接】
        成员们学习如何通过蓝牙将行空板与音箱连接，并将接收到的音频数据播放出来。
  1. 

  2. import subprocess

  3. import sys

  4. sys.path.append("/root/mindplus/.lib/thirdExtension/nick-pyttsx3-thirdex")

  5. import pyttsx3

  6. 

  7. 

  8. 

  9. engine = pyttsx3.init()

  10. 

  11. # 搜索附近的蓝牙设备

  12. def connect_bluetooth(address):

  13.    result = subprocess.run(['bluetoothctl', 'default-agent'], stdout=subprocess.PIPE)

  14.    result = subprocess.run(['bluetoothctl', 'power', 'on'], stdout=subprocess.PIPE)

  15.    result = subprocess.run(['bluetoothctl', 'pair', address], stdout=subprocess.PIPE)

  16.    result=subprocess.run(['bluetoothctl', 'connect', address], stdout=subprocess.PIPE)

  17.    print(result)

  18.    engine.say("蓝牙连接已完成")

  19.    engine.runAndWait()

  20. def is_connected(device_mac):

  21.    # 获取已配对的设备列表

  22.    result = subprocess.run(['bluetoothctl', 'paired-devices'], stdout=subprocess.PIPE)

  23.    paired_devices = result.stdout.decode().strip().split('\n')[1:]  # 跳过标题行

  24. 

  25.    # 遍历已配对的设备，检查MAC地址

  26.    for device in paired_devices:

  27.        if device_mac in device:

  28.            # 如果设备已配对，检查是否已连接

  29.            result = subprocess.run(['bluetoothctl', 'info', device_mac], stdout=subprocess.PIPE)

  30.            info = result.stdout.decode().strip().split('\n')

  31.            for line in info:

  32.                if "Connected: yes" in line:

  33.                    return True

  34.    return False

  35. # 你的蓝牙音箱的MAC地址

  36. #speaker_mac = "08:D0:03:96:70:8D"#收音机音箱

  37. #speaker_mac ="41:42:BE:4A:B6:C1"#海螺音箱

  38. speaker_mac ="5A:5A:5A:A7:01:CA"#话筒音箱

  39. if not(is_connected(speaker_mac)):

  40.    connect_bluetooth(speaker_mac)

  41. else:

  42.    engine.say("蓝牙已连接")

  43.    engine.runAndWait()

  44. while True:

  45.    pass

  46. #先用手机搜索蓝牙音箱，查看蓝牙音箱名称。如X8

  47. #使用 PowerShell：

  48. #打开 PowerShell。可以在开始菜单中搜索 “PowerShell”，然后右键选择 “以管理员身份运行”。

  49. #输入以下命令：Get-PnpDevice -Class Bluetooth | Select-Object FriendlyName,InstanceId,Status,DeviceID。这个命令会列出系统中检测到的蓝牙设备的相关信息，包括设备名称、实例 ID、状态和设备 ID 等，你可以根据设备名称等信息来确定你想要获取 MAC 地址的蓝牙设备。

  50. #X8 Avrcp 传输                          BTHENUM\{0000110C-0000-1000-8000-00805F9B34FB}_LOCALMFG&0002\7&4000742&0&4142BE4AB6C1_C00000000

  51. #X8                                     BTHENUM\DEV_4142BE4AB6C1\7&4000742&0&BLUETOOTHDEVICE_4142BE4AB6C1

  52. #4142BE4AB6C1，这个就是蓝牙音箱的MAC地址。

复制代码
【系统集成】
        所有功能模块的代码集成到一个系统中，进行系统的全面测试，确保音频从采集到播放的整个流程顺畅无误。提示：两个行空板程序，物联网发送和接收主题要互相交换。
  1. 

  2. import wave,os

  3. import json

  4. import time

  5. from unihiker import GUI

  6. from unihiker import Audio

  7. import siot

  8. import subprocess

  9. import sys

  10. sys.path.append("/root/mindplus/.lib/thirdExtension/nick-pyttsx3-thirdex")

  11. import pyttsx3

  12. 

  13. 

  14. 

  15. engine = pyttsx3.init()

  16. 

  17. # 搜索附近的蓝牙设备

  18. def connect_bluetooth(address):

  19.    result = subprocess.run(['bluetoothctl', 'default-agent'], stdout=subprocess.PIPE)

  20.    result = subprocess.run(['bluetoothctl', 'power', 'on'], stdout=subprocess.PIPE)

  21.    result = subprocess.run(['bluetoothctl', 'pair', address], stdout=subprocess.PIPE)

  22.    result=subprocess.run(['bluetoothctl', 'connect', address], stdout=subprocess.PIPE)

  23.    print(result)

  24.    engine.say("蓝牙连接已完成")

  25.    engine.runAndWait()

  26. def is_connected(device_mac):

  27.    # 获取已配对的设备列表

  28.    result = subprocess.run(['bluetoothctl', 'paired-devices'], stdout=subprocess.PIPE)

  29.    paired_devices = result.stdout.decode().strip().split('\n')[1:]  # 跳过标题行

  30. 

  31.    # 遍历已配对的设备，检查MAC地址

  32.    for device in paired_devices:

  33.        if device_mac in device:

  34.            # 如果设备已配对，检查是否已连接

  35.            result = subprocess.run(['bluetoothctl', 'info', device_mac], stdout=subprocess.PIPE)

  36.            info = result.stdout.decode().strip().split('\n')

  37.            for line in info:

  38.                if "Connected: yes" in line:

  39.                    return True

  40.    return False

  41. # 你的蓝牙音箱的MAC地址

  42. speaker_mac = "08:D0:03:96:70:8D"#收音机音箱

  43. #speaker_mac ="41:42:BE:4A:B6:C1"#海螺音箱

  44. if not(is_connected(speaker_mac)):

  45.    connect_bluetooth(speaker_mac)

  46. else:

  47.    engine.say("蓝牙已连接")

  48.    engine.runAndWait()

  49. bs=1

  50. # 接收到的消息存储在这里

  51. received_frames = []

  52. frame_count=0

  53. # 事件回调函数

  54. def on_message_callback(client, userdata, msg):

  55.    global bs2,received_frames,frame_count

  56.    re_msg=msg.payload.decode()

  57.    

  58.    if re_msg=="stop":

  59.       bs2=2

  60.      

  61.    if bs2==1:

  62.       frame_data = bytes.fromhex(re_msg)

  63.       received_frames.append(frame_data)

  64.       frame_count+=1

  65.       显示.config(text="接收中："+str(frame_count)+"frame")

  66.    if re_msg=="start":

  67.        bs2=1

  68.        received_frames = []  # 重置接收缓冲区

  69.        frame_count=0

  70.        

  71.        

  72. def send_wave(FILE_PATH):

  73. with wave.open(FILE_PATH, 'rb') as wav_file:

  74.    # 获取文件大小

  75.    

  76.    file_size = os.path.getsize(FILE_PATH)

  77.    

  78.    

  79.    # 读取数据并发送

  80.    frame_count = 0

  81.    siot.publish(topic="z4ksqL6Ig", data="start")

  82.    while True:

  83.        frame = wav_file.readframes(1024)  # 读取1024字节

  84.        if not frame:

  85.            break

  86.        siot.publish(topic="z4ksqL6Ig", data=frame.hex())

  87.        frame_count += 1

  88.        显示.config(text="正在发送："+str(frame_count)+"frame")

  89.    siot.publish(topic="z28640zNg", data="stop")

  90. 

  91. # 事件回调函数

  92. def on_buttona_click_callback():

  93.    global bs

  94.    wave_path="record.wav"

  95.    if bs==1:

  96.       bs=0

  97.       显示.config(text="开始讲话")

  98.       u_audio1.play("ding.wav")

  99.      

  100.       u_audio1.start_record("record.wav")

  101.    else:

  102.       bs=1

  103.       显示.config(text="讲话结束")

  104.       u_audio1.stop_record()

  105.       send_wave(wave_path)

  106.       u_audio1.play("ding.wav")

  107.    

  108. u_gui=GUI()

  109. u_audio1 = Audio()

  110. u_audio2 = Audio()

  111. u_gui.on_a_click(on_buttona_click_callback)

  112. 显示=u_gui.draw_text(text="行空板语音对讲",x=10,y=60,font_size=30, color="#0000FF")

  113. 

  114. siot.init(client_id="14603802900222362",server="iot.dfrobot.com.cn",port=1883,user="AVNLqL6SR",password="04HYqY6IRz")

  115. siot.connect()

  116. siot.loop()

  117. siot.set_callback(on_message_callback)

  118. siot.getsubscribe(topic="z4ksqL6Ig")

  119. bs2=0

  120. while True:

  121.    

  122.    if bs2==2:

  123.        js=0

  124.        bs2=0

  125.        # 重新组装WAV文件

  126.        u_audio2.play("ding.wav")

  127.        显示.config(text="输出中……")

  128.        FILE_NAME = "received.wav"

  129.        with wave.open(FILE_NAME, 'wb') as out_file:

  130.            out_file.setnchannels(1)  # 单声道

  131.            out_file.setsampwidth(2)  # 采样宽度2字节

  132.            out_file.setframerate(16000)  # 采样率44100Hz

  133.            for frame in received_frames:

  134.                out_file.writeframes(frame)

  135.                js+=1

  136.                print(js)

  137.        

  138.        u_audio2.play(FILE_NAME)

  139.        显示.config(text="行空板语音对讲")

复制代码
【调试优化】
        在测试过程中，成员们可能会遇到各种问题，如音频质量不佳、传输延迟等，他们需要不断调试和优化代码，以提高系统的性能。
【项目展示】
        项目完成后，社团将组织一个展示活动，让成员们向同学、老师和其他社团展示他们的成果，分享他们在项目中学到的知识和经验。

        通过本项目的学习和实践，学生不仅能够获得宝贵的技术知识和实践经验，还能够体验到从零到一创造一个工作系统的过程，从而激发他们对科技和创新的热情。此外，项目的成功实施也将为创客社团增添一个展示其创新成果的亮点，吸引更多的学生参与到创客活动中来。

回复

使用道具 举报

精彩评论(1)

罗罗罗  中级技师

发表于 2024-10-10 22:38:18

厉害
回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主
勋章墙
活跃会员 宣传大使 创客造 编辑选择奖 志“童”道合 编辑选择奖 编辑选择奖

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail