设为首页收藏本站
首页 > 论坛 > ESP32

[Micropython]玩转DFRobot ESP32-P4开发板，用Micropython仿制小智 精华

PY学习笔记 | 中级技师 | 创造力： | 帖子： | 发消息 | 串个门 | 加好友 | 打招呼
2025-8-25 16:29:50 [显示全部楼层]
34浏览
0回复
0收藏
查看: 34|回复: 0

[Micropython] 玩转DFRobot ESP32-P4开发板，用Micropython仿制小智

[复制链接]
本帖最后由 PY学习笔记 于 2025-8-25 17:07 编辑

近期，DFRobot 推出了全新开发板 FireBeetle 2 ESP32-P4。这块开发板搭载了 ESP32-P4 主控，虽未集成 Wi-Fi 与蓝牙，但凭借强劲性能，依然令人眼前一亮。很荣幸能抢先体验这块开发板！
1.开发板介绍
FireBeetle 2 ESP32-P4有很多种外设:
  • Type-C USB CDC：Type-C USB烧录、调试接口
  • IO3/LED：板载LED引脚
  • Power LED：主板电源指示灯
  • RST：复位按键
  • IO35/BOOT：IO引脚/BOOT按键
  • MIC: MEMS PDM麦克风
  • HIGH-SPEED USB OTG 2.0: Type-C高速USB OTG 2.0
  • ESP32-P4：ESP32-P4芯片
  • MIPI-DSI: 两通道MIPI-DSI屏幕（兼容树莓派4B DSI屏幕线序）
  • MIPI-CSI: 两通道MIPI-DSI屏幕（兼容树莓派4B CSI摄像头线序）
  • TF Card: TF卡插槽
  • 16MB FLASH: 16MB Flash存储
  • ESP32-C6：ESP32-C6-MINI-1模组，通过SDIO与ESP32-P4连接，用于扩展WiFi、蓝牙

2.实现原理
由于MicroPython不支持离线语音识别与合成，所以采用在线语音识别和在线语音合成，AI也是采用在线的方式，在线语音识别和AI大模型均使用siliconflow的免费模型，而在线语音合成使用了百度的语音合成（实名认证后免费5万次），再结合ST7789屏幕（使用MIPI屏幕会出问题），MAX9835功放模块，以及板载的PDM麦克风即可实现。
3.代码实现
参考代码如下：
  1. # 录音+语音识别+AI对话+语音合成的完整闭环

  2. import network, urequests, ujson, gc, time, st7789_spi, baidu_tts

  3. from easydisplay import EasyDisplay

  4. from machine import Pin, I2S, SPI

  5. # ---------- 全局配置 ----------

  6. WIFI_SSID = "SSID"

  7. WIFI_PASS = "PWD"

  8. API_KEY   = "API-KEY"

  9. TTS_API_KEY = "API-KEY"

  10. TTS_SEC_KEY = "SEC-KEY"

  11. ​

  12. ASR_URL   = "https://api.siliconflow.cn/v1/audio/transcriptions"

  13. CHAT_URL  = "https://api.siliconflow.cn/v1/chat/completions"

  14. ​

  15. ASR_MODEL = "FunAudioLLM/SenseVoiceSmall"

  16. LLM_MODEL = "Qwen/Qwen3-8B"

  17. ​

  18. # I2S 引脚

  19. SCK_PIN = 12

  20. SD_PIN  = 9

  21. boot = Pin(35, Pin.IN, Pin.PULL_UP)   # BOOT 键，按下为 0

  22. led = Pin(3,Pin.OUT)

  23. spi = SPI(2, baudrate=20000000, polarity=0, phase=0, sck=Pin(28), mosi=Pin(29))

  24. dp = st7789_spi.ST7789(width=240, height=280, spi=spi, cs=20, dc=4, res=30, rotate=1,invert=False, rgb=False)

  25. ed = EasyDisplay(dp, "RGB565", font="/text_lite_16px_2312.v3.bmf", show=True, color=0xFFFF, clear=True,auto_wrap=True)

  26. # ---------- 联网 ----------

  27. def connect_wifi():

  28.     sta = network.WLAN(network.STA_IF)

  29.     sta.active(True)

  30.     sta.connect(WIFI_SSID, WIFI_PASS)

  31.     while not sta.isconnected():

  32.         time.sleep(0.5)

  33.     print("Wi-Fi OK:", sta.ifconfig()[0])

  34.     return sta

  35. ​

  36. def record_audio(sr=8000):

  37.     # 等待按下

  38.     print("长按 BOOT 开始录音...")

  39.     while boot.value() == 1:

  40.         time.sleep_ms(10)

  41. ​

  42.     # 开始录音

  43.     pcm = bytearray()

  44.     audio = I2S(0,

  45.                 sck=Pin(SCK_PIN),

  46.                 sd=Pin(SD_PIN),

  47.                 mode=I2S.PDM_RX,

  48.                 bits=16,

  49.                 format=I2S.MONO,

  50.                 rate=sr * 4,

  51.                 ibuf=10240)

  52. ​

  53.     # 边录边检查按键

  54.     chunk = bytearray(1024)

  55.     print("录音中，松开 BOOT 结束...")

  56.     while boot.value() == 0:           # 0 表示仍按着

  57.         n = audio.readinto(chunk)

  58.         pcm.extend(chunk[:n])

  59. ​

  60.     audio.deinit()

  61.     return pcm, sr

  62. ​

  63. # ---------- 构造 WAV ----------

  64. def wav_header(data_len, sample_rate):

  65.     hdr = bytearray(44)

  66.     hdr[0:4]   = b'RIFF'

  67.     hdr[4:8]   = (data_len + 36).to_bytes(4, 'little')

  68.     hdr[8:12]  = b'WAVE'

  69.     hdr[12:16] = b'fmt '

  70.     hdr[16:20] = (16).to_bytes(4, 'little')

  71.     hdr[20:22] = (1).to_bytes(2, 'little')         # PCM

  72.     hdr[22:24] = (1).to_bytes(2, 'little')         # mono

  73.     hdr[24:28] = sample_rate.to_bytes(4, 'little')

  74.     hdr[28:32] = (sample_rate * 2).to_bytes(4, 'little')

  75.     hdr[32:34] = (2).to_bytes(2, 'little')         # block align

  76.     hdr[34:36] = (16).to_bytes(2, 'little')        # bits per sample

  77.     hdr[36:40] = b'data'

  78.     hdr[40:44] = data_len.to_bytes(4, 'little')

  79.     return hdr

  80. ​

  81. # ---------- 语音识别 ----------

  82. def speech_to_text(pcm, sr):

  83.     wav = wav_header(len(pcm), sr) + pcm

  84.     boundary = "----VoiceBoundary"

  85.     body  = b"--" + boundary.encode() + b"\r\n"

  86.     body += b'Content-Disposition: form-data; name="file"; filename="mic.wav"\r\n'

  87.     body += b"Content-Type: audio/wav\r\n\r\n"

  88.     body += wav

  89.     body += b"\r\n--" + boundary.encode() + b"\r\n"

  90.     body += b'Content-Disposition: form-data; name="model"\r\n\r\n'

  91.     body += ASR_MODEL.encode()

  92.     body += b"\r\n--" + boundary.encode() + b"--\r\n"

  93. ​

  94.     headers = {

  95.         "Authorization": "Bearer " + API_KEY,

  96.         "Content-Type": "multipart/form-data; boundary=" + boundary

  97.     }

  98.     print("识别中…")

  99.     res = urequests.post(ASR_URL, data=body, headers=headers)

  100.     text = res.json().get("text", "").strip()

  101.     res.close()

  102.     gc.collect()

  103.     return text

  104. ​

  105. # ---------- 对话 ----------

  106. def chat_with_ai(text):

  107.     headers = {

  108.         "Authorization": "Bearer " + API_KEY,

  109.         "Content-Type": "application/json"

  110.     }

  111.     payload = {

  112.         "model": LLM_MODEL,

  113.         "messages": [

  114.             {"role": "system", "content": "你是我的AI助手小智，你必须用中文回答且不超过100字还不允许使用MD进行回答"},

  115.             {"role": "user", "content": text}

  116.         ],

  117.         "enable_thinking":False,

  118.     }

  119.     print("AI思考中…")

  120.     start = time.time()

  121.     res = urequests.post(CHAT_URL, data=ujson.dumps(payload).encode(), headers=headers)

  122.     delta = time.time() - start

  123.     if res.status_code == 200:

  124.         reply = res.json()['choices'][0]['message']['content'].replace("\n", "")

  125.         print(f"({delta:.1f}s) AI:", reply)

  126.         ed.text(f"({delta:.1f}s) AI:"+reply, 0, 50)

  127.         baidu_tts.run(

  128.             access=TTS_API_KEY,

  129.             secret=TTS_SEC_KEY,

  130.             text=reply,

  131.         )

  132.     else:

  133.         print("Error:", res.status_code, res.text)

  134.         reply = ""

  135.     res.close()

  136.     gc.collect()

  137.     return reply

  138. ​

  139. # ---------- 主循环 ----------

  140. def main():

  141.     connect_wifi()

  142.     while True:

  143.         pcm, sr = record_audio()

  144.         text = speech_to_text(pcm, sr)

  145.         if not text:

  146.             print("没听清，请再说一遍")

  147.             baidu_tts.run(

  148.                 access=TTS_API_KEY,

  149.                 secret=TTS_SEC_KEY,

  150.                 text="没听清，请再说一遍",

  151.                 out_path='welcome.wav'

  152.             )

  153.             continue

  154.         elif "开灯" in text:

  155.             print("你:", text)

  156.             led.on()

  157.             print("AI:LED灯已开启")

  158.             ed.text("AI:LED灯已开启", 0, 50)

  159.             baidu_tts.run(

  160.                 access=TTS_API_KEY,

  161.                 secret=TTS_SEC_KEY,

  162.                 text="LED灯已开启",

  163.             )

  164.         elif "关灯" in text:

  165.             print("你:", text)

  166.             led.off()

  167.             print("AI:LED灯已关闭")

  168.             ed.text("AI:LED灯已关闭", 0, 50)

  169.             baidu_tts.run(

  170.                 access=TTS_API_KEY,

  171.                 secret=TTS_SEC_KEY,

  172.                 text="LED灯已关闭",

  173.             )

  174.         else:

  175.             print("你:", text)

  176.             chat_with_ai(text)

  177. ​

  178. if __name__ == "__main__":

  179.     main()
复制代码


4.效果



回复

使用道具 举报

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
撰写新帖
关于楼主

楼主的其它帖子

background 创造力兑换 background 心愿单 background 创客导航
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2025 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail