2026-1-16 19:06:42 [显示全部楼层]
7浏览
查看: 7|回复: 0

[项目] 树莓派+mediapipe+pid 摄像头人脸跟随

[复制链接]
随着社会老龄化加剧和城镇化进程加快,独居老人与留守儿童的情感陪伴需求日益凸显。这类群体普遍面临沟通渠道单一、智能设备使用门槛高的问题,传统的通讯工具难以满足其情感交流和日常信息获取的需求。基于此,我们依托 FireBeetle 2 ESP32 S3 开发板,结合小智 AI 开源方案,设计并制作了一款操作简单、功能定制化的 AI 电话,通过实体按键和语音交互的方式,为特殊群体提供便捷的智能陪伴服务。【项目核心目标】       你希望打造一款适配独居老人、留守儿童使用习惯的 AI 电话,核心实现:基于 ESP32 S3 硬件平台,通过实体按键完成唤醒、退出、音量调节、天气播报、故事播放等定制化功能;搭载 128*64 OLED 屏幕实现交互反馈,I2S 麦克风 + 喇叭完成语音采集与播放,支持实时 AI 聊天对话;采用椴木板激光切割制作电话机型态,兼顾实用性与易用性,降低特殊群体的使用门槛。
2. 硬件接线逻辑(基于 config.h 配置)音频模块:采用 I2S Simplex 模式,麦克风对应 GPIO4(WS)、GPIO5(SCK)、GPIO6(DIN);喇叭对应 GPIO15(BCLK)、GPIO16(LRCK)、GPIO7(DOUT),保证语音采集与播放的稳定性;显示模块:I2C 通信,SDA=GPIO1、SCL=GPIO2,支持 128*64 分辨率,镜像显示适配电话机型态安装;按键模块:6 个按键分别映射 GPIO8(唤醒)、GPIO11(退出)、GPIO10(音量 +)、GPIO14(音量 -)、GPIO12(天气)、GPIO13(故事),均配置防抖处理;其他:板载 LED(GPIO21)用于状态指示,预留 LAMP_GPIO(GPIO18)拓展接口。
软件核心实现】       1. 开发环境基于 VSCode + ESP-IDF 开发框架,适配 ESP32 S3 的编译与烧录,核心依赖 WiFi 驱动、I2C/I2S 外设库、OLED 显示库、按键防抖库等
2. 核心功能代码逻辑       (1)按键功能定制(compact_wifi_board.cc)       针对特殊群体的使用习惯,每个按键均做了状态适配处理,确保不同交互场景下的稳定性:唤醒按键:空闲 / 收听 / 说话状态下均可触发,发送 “你好小智” 指令唤醒 AI,屏幕同步显示 “正在请求唤醒...”;天气 / 故事按键:分别发送 “播报张家口天气”“播报故事” 指令,说话状态下会先中止当前音频再响应新请求;退出按键:根据当前状态(收听 / 空闲 / 说话)适配处理,如说话状态下先停止播放,延迟发送退出指令;音量按键:短按 ±10% 音量(0-100% 范围限制),长按直接拉满 / 静音,屏幕实时显示音量数值。       (2)音频与显示适配音频采样率:麦克风 16000Hz、喇叭 24000Hz,适配 AI 语音交互的音质需求;OLED 显示:集成中文字体(font_puhui_14_1),通过 ShowNotification 接口实时反馈操作状态,降低视觉理解门槛。       (3)状态管理       通过 DeviceState 枚举(Idle/Listening/Speaking/Connecting)管理设备状态,确保按键操作仅在有效状态下响应,避免指令冲突。       3. 代码核心优化点按键防抖:初始化时配置 2500ms 长按、1000ms 防抖阈值,适配老人操作时的按键长按 / 误触场景;延迟指令:退出 / 唤醒等操作增加 500-800ms 延迟,避免状态切换过快导致的指令失效;兼容性:支持 SSD1306/SH1106 两种 OLED 屏幕,通过宏定义切换,降低硬件适配成本。【结构设计与制作】外壳制作:采用椴木板激光切割,按照电话经典形态设计,听筒内置喇叭、话筒内置 I2S 麦克风,座机区域预留 6 个按键和 128*64 屏幕安装位;人机工程:按键尺寸放大、间距增加,适配老人操作;屏幕位置置于座机顶部,视角清晰,文字显示放大;布线优化:内部线路采用杜邦线 + 热缩管整理,避免松动,保证长期使用的稳定性。
2. 场景适配优化语音播报:AI 回复语速调慢,音量默认 50%,避免声音过大 / 过小;操作简化:无复杂菜单,所有功能一键触发,无需文字输入;稳定性:断网后自动重连,按键操作超时反馈,降低使用焦虑。【项目价值与拓展】       1. 核心价值适配特殊群体:实体按键 + 语音交互,无需学习复杂操作,解决老人 / 儿童使用智能设备的门槛问题;定制化服务:聚焦 “天气 + 故事 + 聊天” 核心需求,满足日常信息获取与情感陪伴;开源可拓展:基于小智 AI 开源方案,可按需添加 “亲情通话”“紧急求助” 等功能。       2. 拓展方向增加语音提示:按键操作时增加 “音量增大”“正在播放故事” 等语音反馈,适配视力障碍群体;远程管理:通过 WiFi 对接云端,子女 / 监护人可远程更新天气城市、故事列表;低功耗优化:增加休眠模式,降低待机功耗,适配电池供电场景。https://vk.com/topic-231078861_57166350
https://vk.com/topic-231078861_57166374
https://vk.com/topic-231078861_57166387
https://vk.com/topic-231078861_57166398
https://vk.com/topic-231078861_57166423
https://vk.com/topic-231078861_57166499
https://vk.com/topic-231078861_54679578
https://vk.com/topic-231078861_54679570
https://vk.com/topic-231078861_54679550
https://vk.com/topic-231078861_54679557
https://vk.com/topic-231078861_54679515
https://vk.com/topic-231078861_54679484
https://vk.com/topic-231078861_54679442
https://vk.com/topic-231078861_54679438
https://vk.com/topic-231078861_54679426
https://vk.com/topic-231078861_54679399
https://vk.com/topic-231078861_54678622
https://vk.com/topic-231078861_54678527
https://vk.com/topic-231078861_54678479
https://vk.com/topic-231078861_54678431
https://vk.com/topic-231078861_54677746
https://vk.com/topic-231078861_54679438
https://vk.com/topic-231082262_54043154
https://vk.com/topic-231082262_54043131
https://vk.com/topic-231082262_54043088



您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
关于楼主
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2026 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail