二哈识图2 +掌控板+超声波+DeepSeek——智慧护眼精灵...
本帖最后由 ckkk 于 2025-10-3 02:34 编辑二哈识图2 +掌控板+micro:bit掌控IO扩展板+超声波+本地DeepSeek——《智慧护眼精灵》
根据央馆《创意智造》及白名单《全国青少年人工智能创新挑战赛开源硬件创意智造》竞赛规则，要求竞赛现场制作期间严禁以任何方式接入互联网。因此，本教程以基于局域网的SIOT平台为主要环境，利用离线AI模块及本地部署大语言模型（如DeepSeek等）来解决生活中实际问题，在创客项目中，可以帮助我们根据竞赛要求的器材，采用不必上互联网的数字技术，让单片机（Arduino、ESP8266、ESP32、microbit、掌控板、行空板K10、行空板M10等主控器）与AI大模型对话来实现多项数据集的繁杂分析，给出结果或个性化的综合报告等。
SIOT桥接AI大数据模型的工作流程：掌控板等发布请求 → SIOT(topic/a) → 电脑端接收 → AI大模型生成回答 → 电脑发布到SIOT(topic/b) →掌控板等接收响应实现功能。
本教程利用二哈识图2 +掌控板+I/O扩展板+超声波+本地DeepSeek——《智慧护眼精灵》
一、熟悉二哈识图21.固件更新到最新版 当前最新系统版本为1.1.5，找到系统设置 - 设备信息，可以看到当前的系统版本，建议更新到最新版本体验功能。具体操作详见：官方教程7固件更新，如下图所示。
2.人脸识别与姿态识别
HUSKYLENS 2 (二哈识图 2) 是一款简单易用、玩法多样的AI视觉传感器，采用6TOPS算力专用AI芯片，预置人脸识别、目标检测、物体分类、姿态识别、实例分割等20余种开机即用的AI模型，同时，用户还可部署自行训练的模型，教会二哈识图识别任意目标物体。板载的UART / I2C端口，可以与主流控制器Arduino、micro:bit、ESP32、行空板K10、行空板M10、RaspberryPi等开源硬件无缝连接，被广泛应用于创客、AI教育、STEAM教育和交互艺术领域。（1）人脸识别
本教程要用到二哈识图 2的人脸识别功能，检查是否有人脸存在，如果有人脸就启用超声波测距，该距离意味着是装置离人脸的距离，即用眼距离。二哈识图 2的人脸识别具体操作详见：官方教程的4.2人脸识别，如下图所示。
如果只监测人脸，不做自学习操作，如果要检测某个人的人脸，那就要学习人脸并更改参数标注是谁即可。
（2）姿态识别
本教程要用到二哈识图 2的姿态识别功能，监测学习者不正确的几种姿态，如不正确的坐姿：趴桌睡、伸懒腰、腰侧弯等等，可以先看看官方教程4.7姿态识别，再看看基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计1，如下图所示。
由于我们检测的姿态，在Mind+程序模块中映射的是自学习姿态的名称而非ID，故手指触摸二哈识图2的屏幕，修改参数中的设置名字（分别把命名为ID1趴桌睡、ID2伸懒腰、ID3腰侧弯），手指触摸旁边的“显示名字”后，再触摸左上角返回箭头退出设置界面。如下图所示。
二、熟悉掌控板
掌控板由创客教育专家委员会推出， 是一款教学用开源硬件，为普及创客教育而生，反应一线Python编程教学需求，迎接普通高中新课改。
在巴掌大的板子上集成了ESP32主控芯片及各种传感器和执行器同时使用金手指的方式引出了所有IO口，性能强劲扩展性强。
是中小学老师进行编程教育的好帮手，也是创客、编程爱好者的创作工具。可以编程，不管是图形还是python编程都可以，也可以造物，还可以轻松玩转物联网或是可穿戴应用。详细介绍详见官方网站，功能概括如下图所示。
引脚描述
P0模拟/数字输入，模拟/数字输出，TouchPad
P1模拟/数字输入，模拟/数字输出，TouchPad
P2模拟/数字输入
P3模拟输入，连接掌控板EXT鳄鱼夹，可连接阻性传感器
P4模拟输入，连接掌控板光线传感器
P5数字输入，模拟/数字输出， 连接掌控板按键A
P6数字输入，模拟/数字输出， 连接掌控板蜂鸣器，不使用蜂鸣器时，可以作为数字IO使用
P7数字输入，模拟/数字输出， 连接掌控板RGB LED
P8数字输入，模拟/数字输出
P9数字输入，模拟/数字输出
P10模拟输入，连接掌控板声音传感器
P11数字输入，模拟/数字输出， 连接掌控板按键B
P12保留
P13数字输入，模拟/数字输出
P14数字输入，模拟/数字输出
P15数字输入，模拟/数字输出
P16数字输入，模拟/数字输出
3V3电源正输入:连接USB时，掌控板内部稳压输出3.3V，未连接USB可以通过输入(2.7-3.6)V电压为掌控板供电
P19数字输入，模拟/数字输出，I2C总线SCL，与内部的OLED和加速度传感器共享I2C总线
P20数字输入，模拟/数字输出，I2C总线SDA，与内部的OLED和加速度传感器共享I2C总线
GND电源GND
Touch_P(P23)TouchPad，数字输入，模拟/数字输出
Touch_Y(P24)TouchPad，数字输入，模拟/数字输出
Touch_T(P25)TouchPad，数字输入，模拟/数字输出
Touch_H(P26)TouchPad，数字输入，模拟/数字输出
Touch_O(P27)TouchPad，数字输入，模拟/数字输出
Touch_N(P28)TouchPad，数字输入，模拟/数字输出
给出上表目的，希望大家注意掌控板部分引脚是一脚多用，请你在设计项目接线与编程时，一定要防止引脚冲突。
1.电路连接：
智慧护眼精灵使用开源器件有掌控板、二哈识图 2视觉传感器、超声波传感器、语音合成模块。在实物接线时，千万注意电源正负极不能接错喔，二哈识图 2的IIC一定要接到扩展板HuskyLens的专用接口上且扩展板USB接上电脑提供5V供电（电源开关打开ON）、语音识别模块若以IIC连接请把模块上的波段开关拨至IIC档位喔。
（1）实物连接如下图。
（2）电子连线图如下图。
2.编程测试：
打开Mind+,分别扩展→主控板→掌控板；传感器→超声波测距传感器；执行器→语音合成模块；用户库→输入HuskyLens 2搜索→HuskyLens 2AI摄像头。如下图所示。
编程测试程序，分别测试各个模块能否正常使用。测试程序如下图所示。
测试时，先听听有无“准备好了”的声音；接着再看看超声波是否有显示，用手挡一挡是否有变化；再用手按下掌控板A键（多按会儿，眼睛看二哈识图2是否切换到了人脸识别），用附件照片测试，看显示听声音是否正常；最后，再按下掌控板B键（多按会儿，眼睛看二哈识图2是否切换到了姿态识别），用附件照片测试，看显示是否正常。
三、DeepSeek离线版本地部署 详见《基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计3》中的八、DeepSeek离线版本地部署
四、SIOT服务电脑部署
详见《基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计3》中的九、SIOT服务电脑部署。
五、联调测试与迭代
《智慧护眼精灵》
（1）Mind+程序迭代1
按掌控板A键进行用眼监测，按掌控板B键进行姿态监测，将使用过程数据拼字串进入“看护数据”变量，准备发送物联网SIOT，桥接本地DeepSeek大模型的返回结果。如下图所示。
（2）掌控板完整程序
（3）与SIOT及本地DeepSeek联调
开机上电听提示语“WIFI准备好了”、“物联网准备好了”，掌控板屏幕显示正常。按下掌控板A键，用附件图片对着人脸，用手档一档超声波传感器，看屏幕显示的同时，听音“太近了”、“太远了”。再按掌控板B键切换为姿态识别模式，用附件图片对着各种姿势，看屏幕显示的同时，听音“趴桌睡”、“伸懒腰”、“腰侧弯”。操作完后，一起按下掌控板A+B键，掌控板就会将你演示的完整数据值，经过SIOT桥接给你电脑本地部署的DeepSeek大模型，得到回答再桥接给掌控板语音合成。让你听到。物联网调试提问与回答的相关界面截图，如下图所示。
SIOT桥接服务器运行的截图，如下图所示。
大家看DeepSeek大模型分析时序数据，统计各种状态的次数，生成含姿势稳定性、用眼节奏、学习专注力等多维度的报告，只要你提问巧妙，得到的结果十分惊艳。我们用SIOT桥接的方法，使得算力很低的主控板也能做复杂数据统计工作，而主控板编程确十分简单（只要学会物联网的使用即可）。
系列教程链接：
基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计1
基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计2基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计3基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计4基于二哈识图2 AI视觉传感器（HuskyLens 2）姿态识别的《智慧护眼精灵》项目设计5
二哈识图2 +行空板M10+M10扩展板组合+超声波+本地DeepSeek——《智慧护眼精灵》
页:
[1]