人工智能入门课程：二哈识图2手势分类

一、知识库

1. 什么是手势识别？

  手势识别是人工智能计算机视觉的重要分支，它让机器能够“看懂”人类的手部动作。通过分析手掌的形状、手指的位置和姿态，机器可以判断出你在做什么手势，比如“点赞”、“比心”、“握拳”等。这项技术广泛应用于虚拟现实、智能家居控制、手语翻译等领域。

2. 二哈识图2的手势识别功能

  二哈识图内置了先进的手部关键点检测模型，可以：

检测手掌：在画面中用白色方框框出每个手掌。

描绘21个关键点：用白点标出手掌的21个关键位置，

包括手腕（1个）、每根手指的4个关节点（根部、第一节、第二节、指尖），共计21点。

学习并识别手势：你可以让二哈记住特定的手势（如“剪刀手”、“OK”），

之后当它看到相同手势时，会用彩色方框标出，并显示手势名字、ID和置信度。

3. 核心概念

关键点：手掌上的21个特征点，是模型分析手势的基础。

置信度：识别结果的可信程度，用百分比表示（如“93%”）。

多角度学习：为了提高识别准确率，你可以从不同角度拍摄同一个手势（最多40张图），让模型学习该手势的各种形态。

检测阈值：控制是否“认为某个区域是手掌”的敏感度。

识别阈值：控制将当前手势匹配为已学习手势的严格程度。

NMS阈值：用于去除重复的识别框，确保每个手掌只有一个框。

二、学一学

1. 进入手势识别功能

给二哈识图上电，在功能菜单中找到并点击 “手势识别” 图标，进入该模式。

2. 观察手掌检测效果

将手掌伸到镜头前，确保画面中能看到完整的手。

观察屏幕：二哈2会用白色方框框出每个手掌，并用白色圆点标出21个关键点（手腕和每根手指的关节）。

试着移动手掌、改变角度，观察关键点是否随之变化。

3. 学习一个手势

步骤1：摆出一个手势（如“比心”），将手放在画面中央，确保白色方框包含整个手。

步骤2：长按A键，进入多角度学习模式。此时屏幕上会显示学习进度，如“学习中 1/40:ID1”。

步骤3：保持手势不变，缓慢转动手掌（上下左右不同角度），二哈会自动采集不同角度的图像。当进度达到“40/40”时，学习完成。

步骤4：松开A键，二哈就记住了这个手势，并分配ID1。

小技巧：多角度学习能让模型更鲁棒，避免只有固定角度才能识别。

4. 识别已学习的手势

再次做出刚才学习的手势，观察屏幕：二哈会用彩色方框框出手势，并在上方显示默认名字“手势:ID1 93%”（置信度）。

如果手势稍有变化，置信度可能会降低；如果完全不是这个手势，则只显示白框和关键点。

5. 遗忘已学手势

如果需要清除所有学习过的手势，点击屏幕下方的 “遗忘ID”，在弹出的对话框中点击 “确认”。之后再做手势，只会显示白框，不再有彩色框和ID。

6. 调整参数

检测阈值：点击后滑动滑杆。左滑降低阈值（更容易检测到手掌，但可能误判），右滑提高阈值（检测更严格，但可能漏检）。

识别阈值：控制手势匹配的严格度。左滑宽松，右滑严格。

NMS阈值：用于去除重复框。左滑（低阈值）更容易合并重叠框，适合单手掌场景；右滑（高阈值）保留更多框，适合多手掌或遮挡场景。

三、想一想

1. 现象观察：为什么学习手势时需要多角度拍摄？如果只从一个角度学习，会有什么后果？

2. 逻辑推理：检测阈值和识别阈值有什么区别？如果检测阈值设得太高，会发生什么？

3. 后果预测：在多人场景中，NMS阈值设得过高会出现“一掌多框”现象，这对后续识别有什么影响？

4. 拓展思考：除了手势控制，21个关键点还能用来做什么？（例如手指计数、手部动作追踪等）

四、练一练

电路连接

手势控制LED数量

1.目标：用手势控制点亮的LED数量——一根手指（食指伸出）点亮1个LED，两根手指（剪刀手）点亮2个LED，三根手指（三指伸出）点亮3个LED。通过直观的灯光反馈，加深对手势识别与硬件控制的理解。

2所需硬件：

行空板K10 IO扩展板

二哈识图（HUSKYLENS 2）

主控板行空板K10

LED（红、绿、蓝）3个

杜邦线

3.编写程序

实验步骤：

1. 按电路图连接好硬件，上传代码。

2. 打开二哈识图，进入“手势识别”功能。

3. 分别学习三个手势：

伸出两根手指的手势，同样学习获得ID2。

4. 依次做出三个手势，观察对应数量的LED是否点亮。

5. 尝试改变手势角度、距离，测试识别的稳定性。如果识别不准确，可调整识别阈值或重新学习。

五、做一做：《手势识别指示灯装置》

利用二哈识图的手势识别功能，制作一个能根据手势变换颜色的指示灯。当用户做出不同手势时，RGB LED（或三个单色LED）会显示对应的颜色，直观反映识别结果。