二哈识图2+行空板K10+IO扩展板——手势控制舵机平台
本帖最后由 云天 于 2025-9-18 11:50 编辑【项目设计】
使用Huskylens 2进行手势识别,并通过识别结果控制多个舵机(如 S0、S3)以及在行空板K10的屏幕上显示,实现手势追踪和互动。
【项目硬件】
1.二哈识图2 AI视觉传感器(HuskyLens 2)
Gravity:二哈识图2 AI视觉传感器是一款简单易用、玩法多样的AI视觉传感器,采用6TOPS算力专用AI芯片,预置人脸识别、目标检测、物体分类、姿态识别、实例分割等20余种开机即用的AI模型,同时,用户还可部署自行训练的模型,教会二哈识图识别任意目标物体。完美兼容Arduino、micro:bit、ESP32、UNIHIKER(M10、K10、)、掌控板、Raspberry Pi等主流控制器,为智能机器人、工业自动化、教育科研等多元场景提供多才多艺的视觉解决方案。
2.行空板K10
行空板K10是一款专为信息科技课程中的编程学习、物联网及AI项目教学需求而开发的学习板。它集摄像头、LCD彩屏、麦克风、扬声器、WiFi蓝牙模块、RGB指示灯及多种传感器和扩展接口于一体,无需额外设备即可实现传感器控制、物联网应用、图像检测、语音识别、语音合成等AI项目。
3.行空板K10 IO扩展板 精准拓展19路IO,4路舵机防抖动驱动,支持二哈传感器
【硬件组装】
【程序代码】
[*]手势识别(基于 Huskylens)
[*]实时绘制手势关键点
[*]根据手势动作控制两个舵机(S0 和 S3)
初始化
Huskylens 2 初始化 I2C 通讯,直到成功连接。
主循环逻辑
获取手势数据
请求一次手势识别数据,并存储识别结果。
识别到手势后执行以下操作:
提取关键点坐标(映射到屏幕坐标系 240x320):
食指指尖(SXO, SYO)
食指第二关节(SX2, SY2)
拇指指尖(MXO, MYO)
中指指尖(ZXO, ZYO)
无名指指尖(WXO, WYO)
小指指尖(XXO, XYO)
图形绘制:
清除全屏缓存
绘制多个填充圆,代表各个手指的关键点位置
显示更新后的图像
舵机控制逻辑:
舵机 S3:
如果食指指尖高于第二关节(可能是“抬手”或“指向”动作),设置舵机角度为 160°
否则设置为 90°
舵机 S0:
如果手势中心 X 坐标变化超过阈值(10),则根据手势中心 X 坐标映射到 0~179°,控制舵机角度
【演示视频】
https://www.bilibili.com/video/BV196pazREBf/?share_source=copy_web
页:
[1]