【二哈识图2 系列教程】| 基于注视方向的智能互动菜单
1.项目简介与演示
1.1项目介绍
在餐厅或饮品店，传统的纸质菜单或屏幕往往受限于排版空间，只能展示名称和价格，顾客想了解饮品的热量、配料等详细信息时，翻阅或查找起来十分繁琐。为此，我们打造了“AI视线互动菜单”——顾客只需“看一眼”心仪的饮品，屏幕就能自动弹出详尽的图文介绍，让信息获取变得直观、高效。对顾客来说，这是一种无接触、更便捷的查询方式；对商家而言，这种新颖的互动不仅能立刻抓住顾客的注意力，还能把商品信息直观、生动地展示出来，让货品更容易被“看到”。
这个源于餐饮服务的项目，还能灵活“变身”，适配更多商业及生活场景：在智能零售中，可以统计顾客对哪些商品更感兴趣，为商家优化陈列提供数据支持；在智能座舱中，可以用于监测驾驶员视线是否偏离前方（疲劳监测）；在医疗辅助中，可以帮助行动不便的患者用眼神控制设备，提升生活质量。
1.2演示视频
https://www.bilibili.com/video/BV1UYnz61EVU/?spm_id_from=333.1387.homepage.video_card.click
2.项目实现原理
它的核心逻辑如下：先让二哈识图2 摄像头“学习”用户的视线方向，相当于给设备建立了一份“注视方向白名单”，编写程序，判断注视方向 ID，在行空板 K10 上显示对应的饮品信息。当用户再次看向屏幕上的菜品时，如果是已学习的有效注视方向，屏幕上就会自动显示对应饮品的图文卡片。
3.软硬件准备
3.1软硬件器材清单
注意：Mind+ 编程软件版本为 v2.0，HUSKYLENS的版本为二哈识图2。
3.2 硬件连接
请按照下面连接图将电脑、行空板K10、二哈识图 2 进行连接。
3.3 软件平台准备
官网下载安装Mind+ 2.0 及以上版本安装包，安装完成后，双击打开。
4. 项目制作
4.1 二哈识图2操作
首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文，中文简体 和中文繁体）。
点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。
点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，如下图是切换为中文简体的示意图。
其次，选择二哈识图2 的通信方式。
二哈识图2 支持 UART（串口）和 I2C 两种通信方式，本教程中使用 I2C 通信模式。
点击系统设置-> 协议种类-> 选择 I2C 通讯模式后返回主菜单界面。
最后，滑动屏幕，找到“注视方向检测”功能。
将HUSKYLENS 2 对准有人脸的画面，人眼附近出现一个箭头，箭头方向代表着人眼的注视方向，箭头指向人眼的视线落点。同时屏幕中出现一个角度数据和一个数值数据，分别为注视点投影在平面后的角度和长度。例如屏幕显示（350°，247）代表人眼注视方向投影至检测平面后，与基准线的夹角为 350°，该投影方向上的归一化长度值为 247。
二哈识图2 中的参数配置以及模式选择完成后，请按照下面的步骤进行目标实体数据采集和增量模型训练：
对准要学习的某个注视方向，然后按下HUSKYLENS 2 右上角 A 键，学习该注视方向。
学习完成后，如识别到已学习的注视方向，出现带颜色的箭头，并在角度数据和长度数据后出现ID 与置信度。例如：350° 246。
重复上述步骤对用户视线进行学习，即完成了视线准备工作。
注意：由于每个人眼型和光线差异，如果在测试时发现向下看识别成向上看，需要适当调低相机屏幕底部的检测阈值和识别阈值。
二哈识图2 的更多详细使用方法见下面的网址：
https://wiki.dfrobot.com.cn/_SKU_SEN0638_Gravity_HUSKYLENS_2_AI_Camera_Vision_Sensor
模型准备完成后，即可开始编写代码，实现一个自动视线识别的AI 智能菜单。
4.2 代码实现
打开编程软件Mind+，选择“程序设计”中的“上传模式”。
首先，我们需要在Mind+ 中添加相应的扩展，包括行空板 K10 和二哈识图 2。
进入“扩展”页面并搜索“行空板 K10”。
点击扩展包上的“下载”按钮，等待下载完成。
点击该扩展包完成加载。
按照加载“行空板 K10”的步骤加载用户库“HUSKYLENS 2 AI 摄像头”。
“行空板 K10”和“HUSKYLENS 2 AI 摄像头”的用户库加载完毕后，
点击“返回”按钮返回编程界面。
在连接设备中点击“连接”。
连接成功界面如下，点击“×”返回。
扩展库加载完成后，编写程序如下：
核心代码解析如下：
附件中有该项目的完整程序文件，展开项目，点击“打开项目”。
选择附件中的项目，并点击“打开”。
点击“上传到设备”运行程序。
实现效果如下：
5. 附件清单
