【二哈识图2 系列教程】| 基于多模型的点单积分系统

1.项目简介与演示

1.1项目介绍

在饮品店，高峰期排队点单时，如果顾客想查询自己的积分，往往需要先掏出手机、打开小程序、找出专属的二维码，再让店员扫码查看积分并完成付款。为此，我们打造了这套“基于多模型的点单积分系统”。它采用人脸识别与手势识别双模型并联技术，有效解决了上述痛点。顾客只需站在设备前，摄像头瞬间识别顾客身份，省去找二维码的步骤，屏幕会自动显示当前专属积分；全程无需触碰屏幕或掏出手机，只需隔空比个“剪刀手”即可切换饮品，看中后比个“OK”手势，系统就能完成下单并获得积分。

对用户而言，实现了真正的“无接触、无感积分”；对管理方来说，可以提高点单效率。此外，该方案还能灵活适配智慧食堂、企业茶水间及健身房等场景，轻松实现内部福利管理与积分自动累计。

1.2演示视频

2. 项目实现原理

它的核心逻辑如下：首先，我们需要提前在二哈识图2摄像头中“录入”人脸信息，并在行空板K10中预设好每个人的初始积分。当顾客站到设备前时，二哈识图2多个模型同时工作，完成不同的视觉识别工作，实时捕捉画面中的人脸与手势，并将识别到的“人脸ID”与“手势ID”通过I2C通信传输给行空板K10。

行空板K10对传输过来的数据进行处理与判断：如果识别到的是学习过的有效人脸，屏幕会立刻显示该顾客的专属积分；此时若顾客比出“剪刀手”，系统会切换待购买的饮品编号；若顾客比出“OK”手势，系统则完成购买并获得相应积分，并刷新屏幕提示“已购买！”；如果未识别到顾客人脸，屏幕则提示“请站在镜头前”，无法进行购买操作。

3.软硬件准备

3.1软硬件器材清单

注意：Mind+ 编程软件版本为 v2.0，HUSKYLENS的版本为二哈识图2（HUSKYLENS 2）。

3.2硬件连接

请按照下面连接图将电脑、行空板K10、二哈识图2进行连接。

3.3软件平台准备

官网下载安装Mind+ 2.0及以上版本安装包，安装完成后，双击打开。

4.项目制作

4.1二哈识图2操作

首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文、中文简体 和中文繁体）。

点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。

点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，下图是切换为中文简体的示意图。

其次，选择HUSKYLENS 2的通信方式。

HUSKYLENS 2 支持 UART（串口）和 I2C 两种通信方式，本教程中使用I2C通信模式。

点击系统设置->协议种类->选择I2C通信模式后返回主菜单界面。

然后，滑动屏幕，找到“人脸识别”功能。

将HUSKYLENS 2对着有人脸的画面，检测到人脸时，屏幕上会用白色方框，框出该人脸，并用白色圆点标记出眼睛、鼻子、嘴角的位置。如果画面中出现多个人脸，将会出现多个方框。

对准要学习的某个人脸，人脸被白框框住后，调整HUSKYLENS 2“看”的角度，使屏幕中间的“十”字位于白色框内，然后按下HUSKYLENS 2右上角A键，学习该人脸。

学习完成后，如识别到已学习的人脸，屏幕将以彩色方框框出人脸，并在人脸上方显示人名、ID号及置信度，例如“人脸:ID1 97%”。其中人名默认为“人脸”，设置人名请看本功能“参数设置”；"ID1"即学习的第一个人的脸；“97%”是指置信度为97%。 在机器学习中，置信度指的是模型对自己预测结果的“确定程度”，比如这里人脸ID197%的意思是模型“认为当前画面中已学习的ID1人脸的可能性是 97%”。

HUSKYLENS 2 RGB灯自动状态：HUSKYLENS 2背面设有一颗RGB灯，用于为摄像头前的用户提供提示，检测到人脸时亮蓝灯，识别到已学习的人脸时亮绿灯。学习更多人脸，以此类推。

重复上述步骤对所有会员人脸进行学习，即完成了人脸的模型准备工作。

最后，再次滑动屏幕，找到“手势识别”功能。

对准要学习的某个手掌，调整HUSKYLENS 2“看”的角度，使屏幕中间的“十”字位于白色框内，多角度学习手势时，可以长按A键，调整HUSKYLENS 2“看”的角度，对该手势进行多角度学习，如下图。

学习完成后，如识别到已学习的手势，屏幕将以彩色方框框出该手势，并在上方显示手势名字、ID号及置信度，例如“手势:ID1 93%”。其中名字默认为“手势”，设置名字请看“参数设置”；"ID1"即学习的第一个手势；“93%”是指置信度，表示在手势识别功能下，模型认为识别到的目标手势属于某个手势的可能性。"ID1 93%"即模型认为这个手势有93%的可能性是ID1手势。学习更多手势，可以此类推。

HUSKYLENS 2的更多详细使用方法见下面的网址：

https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor

模型准备完成后，即可开始编写代码，实现一个多模型的点单积分系统。

4.2代码实现

打开编程软件Mind+，选择“程序设计”中的“上传模式”。

首先，我们需要在Mind+中添加相应的扩展，包括行空板K10和二哈识图2。

进入“扩展”页面并搜索“行空板K10”。

点击扩展包上的“下载”按钮，等待下载完成。

点击该扩展包完成加载。

按照加载“行空板K10”的步骤加载扩展库“HUSKYLENS 2 AI摄像头”。

“行空板K10”和“HUSKYLENS 2 AI摄像头”的扩展库加载完毕后，

点击“返回”按钮返回编程界面。

在“连接设备”中点击“连接”。

连接成功界面如下，点击“×”返回。

扩展库加载完成后，编写程序如下：

核心代码解析如下：

附件中有该项目的完整程序文件，展开项目，点击“打开项目”。

选择附件中的项目，并点击“打开”。

点击“上传”运行程序。

实现效果如下：

5.附件清单