查看: 5031|回复: 0

[《视觉识别入门教程》] HuskyLens AI视觉传感器x掌控板：入门教程04—自助超市收银机

本教程是关于二哈识图（HuskyLens）AI视觉传感器和掌控板的官方系列教程，HuskyLens AI视觉传感器，二哈识图（HuskyLens）是一款用一个按键即可完成AI训练的学习门槛较低的人工智能视觉传感器，内置6种功能：人脸识别、物体追踪、物体识别、巡线追踪、颜色识别、标签(二维码)识别。
另外DFRobot发布了micro:bit、Arduino开发板和HuskyLens AI视觉传感器入门教程。

项目4：自助超市收银机

如果你经常去超市购物，那么你可能在情不自禁地“剁手”后会遇到排队结算的窘境，当然，你买的东西越多，你就越囧。

随着科技的发展，现在许多超市都有了自助收银机，它给我们的购物带来了方便。

现在我们就来做一个超市的自助收银机，等一等，我们需要怎样准确识别商品并结算呢？

功能介绍：

本项目利用HuskyLens的标签识别功能，通过识别商品上特定的标签，实现计算总价的自助收银功能。

材料清单：

知识园地：

我们仔细观察超市的收银过程，会发现无论是人工收银还是自助收银，都是通过扫码装置对商品的条形码进行扫码计费，每种商品的条形码都是不一样的，所以我们只需找到扫码装置和条形码的替代品就可以实现我们的项目了。

扫码装置------>HUSKYLENS的标签识别功能

条形码------>AprilTag

一、什么是标签识别？

标签识别技术（简称标识技术）是指对物品进行有效的、标准化的编码与标识的技术手段，它是信息化的基础工作。随着人们对于健康和安全的意识越来越强，食品行业对产品的质量和安全性(从原料，运输，到生产、贮藏以及涉及的追溯和管理)的要求越来越高、越来越多。标识在满足企业对产品追踪追溯需求等方面也起到了很重要的作用。

标识技术主要有条形码技术、IC卡技术、射频识别技术、光符号识别技术、语音识别技术、生物计量识别技术、遥感遥测、机器人智能感知等技术。

二、什么是AprilTag？

AprilTags是一个出自密歇根大学项目团队的视觉基准系统，主要用于AR，机器人和相机校准等领域。标签的作用类似于条形码，存储少量信息（标签ID），同时还可以对标签进行简单而准确的6D（x，y，z，，俯仰，偏航）姿势估算。

三、HUSKYLENS识别AprilTag原理

AprilTag识别过程主要包含如下步骤：

1、边缘检测，寻找图像中的边缘轮廓。

2、四边形检测，找出轮廓中的四边形。

3、解码，对找出的四边形进行匹配、检查。

通过这些步骤，HUSKYLENS的标签识别功能就能识别不同的AprilTags，因此，我们只需要将不同的AprilTags贴在不同的商品上就可以实现识别对应商品了。

四、HUSKYLENS传感器-标签识别功能演示

1、侦测标签

当HuskyLens检测到二维码标签时，屏幕上会用白色框自动框选出检测到的所有二维码标签。

2、学习标签

将HuskyLens屏幕中央的“+”字对准需要学习的标签，短按或长按“学习按键”完成第一个标签的学习。松开”学习按键“后，屏幕上会提示：”再按一次按键继续！按其他按键结束“。如要继续学习下一个标签，则在倒计时结束前按下“学习按键”，可以继续学习下一个标签。如果不再需要学习其他标签了，则在倒计时结束前按下”功能按键”即可，或者不操作任何按键，等待倒计时结束。

本项目中，需要继续学习下一个标签，因此在倒计时结束前按下“学习按键”，然后将HuskyLens屏幕中央的“+”字对准需要学习的下一个标签，短按或长按“学习按键”完成第二个标签的学习。以此类推。

标签ID与录入标签先后顺序是一致的，也就是：学习过的标签会按顺序依次标注为“标签：ID1”，“标签：ID2”，“标签：ID3”，以此类推，并且不同的标签对应的边框颜色也不同。

3、识别标签

HuskyLens再次遇到学习过的标签时，在屏幕上会有彩色的边框框选出这些标签，并显示其ID。边框的大小会随着二维码标签的大小进行变化，边框自动追踪这些二维码标签。

项目实践：

我们将分三个递进任务来完成项目，首先我们使用HuskyLens的标签识别功能学习并识别贴有AprilTags的三件商品；然后在前一步基础上添加开始扫码和结束扫码的事件，方便不同顾客的商品统计；最后在第二步基础上添加商品总价结算功能，实现现实生活中的超市自助收银功能。

任务一：识别商品

HuskyLens学习并识别贴在三个不同商品上的标签，编写程序让掌控板的OLED显示对应的商品名。

任务二：开始与结束扫码

顾客按下掌控板的A键，OLED依次显示HuskyLens识别到的商品名，按下B键，OLED不再显示该顾客扫描到的任何商品，下一个顾客按下A键重新开始扫描。

任务三：商品结算

在任务二基础上，当识别到任意学习过的商品时，都会在总价中将其售价加入，按下B键结束扫码时，OLED会显示顾客从开始扫描后到结束扫描前的所有商品的总价。

任务一：识别商品

1、 硬件连接

2、 程序设计：

STEP1 学习与识别

假设超市有且仅有水杯、酥饼、美工刀三种商品，它们分别对应三个不同的标签。

HuskyLens能识别这3个不同标签，在“多次学习”模式下按水杯、酥饼、美工刀的顺序完成学习，得到ID1、ID2、ID3，如果下次识别到相同的标签，HuskyLens就会返回对应的ID，这样我们就可以使用选择结构让OLED屏显示ID对应的商品名。

STEP2 Mind+软件设置

打开Mind+软件（162或以上版本），切换到“上传模式”，点击“扩展”，在“主控板”下点击加载“掌控板”，在“传感器”下点击加载“HUSKYLENS AI摄像头”。

STEP3 指令学习

来认识一下主要用到的几条指令。

①
	初始化，仅需执行一次，放在主程序开始和循环执行之间，可选择I2C或串口，I2C地址不用变动。注意HUSKYLENS端需要在设置中调整“输出协议”与程序中一致，否则读不出数据。
②
	切换算法，可以随时切换到其他算法，同时只能存在一个算法，注意切换算法需要一些时间。
③
	主控板向HUSKYLENS请求一次数据存入“结果”（存在主控板的内存变量中，一次请求刷新一次存在内存中的数据），之后可以从“结果”中获取数据，此模块调用之后“结果”中才会获取到最新的数据。
④
	从请求得到的“结果”中获取当前界面中是否有方框或箭头，包含已学习（id大于0）和未学习的，有一个及以上则返回1。
⑤
	从请求得到的“结果”中获取是否IDx已经进行了学习
⑥
	从请求得到的“结果”中获取是否IDx在画面中，方框指屏幕上目标为方框的的算法，箭头对应屏幕上目标为箭头的算法，当前仅为巡线算法时选择箭头，其他算法都选择方框。