查看: 11013|回复: 3

[《视觉识别入门教程》] HuskyLens AI视觉传感器x掌控板：入门教程01—音乐魔镜

本教程是关于二哈识图（HuskyLens）AI视觉传感器和掌控板的官方系列教程，HuskyLens AI视觉传感器，二哈识图（HuskyLens）是一款用一个按键即可完成AI训练的学习门槛较低的人工智能视觉传感器，内置6种功能：人脸识别、物体追踪、物体识别、巡线追踪、颜色识别、标签(二维码)识别。
另外DFRobot发布了micro:bit、Arduino开发板和HuskyLens AI视觉传感器入门教程。

项目1：音乐魔镜

魔镜魔镜，谁是这个世界上最美丽的人呢？大家看到这句话的时候，一定会想到小时候的童话故事《白雪公主和七个小矮人》，这是故事里面的恶毒王后和魔镜的经典台词。

现在，有了HUSKYLENS，就真的可以自己动手做这样一面魔镜喔，只不过让镜子说话还有点难度，但是让蜂鸣器响起来却很简单。所以就让我们一起来做一个音乐魔镜吧，让镜子播放不同的音乐来表达它的态度！

接下来一起看看如何制作吧！

功能介绍：
在这个项目中，我们将学习HUSKYLENS的人脸识别功能，利用其内置的机器学习技术，分辨学习过的人脸和其他人脸，并对应播放不同种类的音乐，这就是音乐魔镜。
想一想，当你把HUSKYLENS的摄像头对准你的脸，它会播放出表示赞美的美妙音乐乐，当你对准别人的脸，就会播放一些搞怪的音乐，会不会让大家一头雾水呢？

材料清单：

所需硬件：

所需软件：

Mind+图形化编程软件

知识园地：
人脸与人体的其它生物特征（指纹、虹膜等）一样与生俱来，具有唯一性和不易被复制的特性。人脸图像属于最早被研究的一类图像，也是计算机视觉领域中应用最广泛的一类图像，这个项目就是利用了HUSKYLENS的人脸识别功能。

一、什么是人脸识别？
人脸识别是基于人的面部特征信息进行身份识别的一种生物识别技术。使用摄像头或者摄像机采集含有人脸的图像或视频，自动检测图像信息和跟踪人脸，对检测到的人脸进行脸部的一系列相关分析技术。

二、人脸识别工作原理
人脸识别的过程中有4个关键的步骤：

下面简单说明一下这4个步骤。
人脸检测：寻找图片中人脸的位置，一般会用方框标出。

人脸对齐：通过定位人脸上的特征点，识别不同角度的人脸。

人脸编码：可以简单理解为提取人脸信息，转换为计算机可以理解的信息。

人脸匹配：将人脸信息匹配已有的数据库，从而得到一个相似度分数，给出匹配结果。

人脸识别也被认为是生物特征识别领域甚至人工智能领域最困难的研究课题之一。人脸识别的困难主要是人脸作为生物特征的特点所带来的。

相似性：不同个体之间的区别不大，所有的人脸的结构都相似，甚至人脸器官的结构外形都很相似。这样的特点对于利用人脸进行定位是有利的，但是对于利用人脸区分人类个体是不利的。
易变性：人脸的外形很不稳定，人可以通过脸部的变化产生很多表情，而在不同观察角度，人脸的视觉图像也相差很大，另外，人脸识别还受光照条件（例如白天和夜晚，室内和室外等）、人脸的很多遮盖物（例如口罩、墨镜、头发、胡须等）、年龄等多方面因素的影响。

三、人脸识别应用场景
门禁系统：受安全保护的地区可以通过脸部辨识辨识试图进入者的身分，比如监狱、看守所、小区、学校等。

摄像监视系统：在例如银行、机场、体育场、商场、超级市场等公共场所对人群进行监视，以达到身分辨识的目的。例如在机场安装监视系统以防止恐怖分子登机。

网络应用：利用脸部辨识辅助信用卡网络支付，以防止非信用卡的拥有者使用信用卡，社保支付防止冒领等。

人脸识别目前在各行各业都有非常广泛的应用，例如学生考勤系统、相机、解锁手机、人证核验一体机等。

四、HUSKYLENS人脸识别功能演示
回到我们的音乐魔镜项目，HUSKYLENS之所以能区分人脸就是因为其内置的机器学习功能，它就像一个数据库的采集者，可以手动录入指定的人脸信息，并且标记这个信息。

具体怎么操作呢？先拿出你的HUSKYLENS，让我们一起操作一遍。

* 第一次使用摄像头的用户请参照WIKI网址进行固件烧录和语言设置：http://wiki2.dfrobot.com.cn/HUSKYLENS_V1.0_SKU_SEN0305_SEN0336

STEP1 连接电源：
HUSKYLENS自带独立USB供电口，连接USB线，即可开机。

STEP2 选择“人脸识别”功能：
向左拨动“功能按键”，直至屏幕顶部显示“人脸识别”。

STEP3 学习人脸：
把HUSKYLENS对准有人脸的区域，屏幕上会用白色框自动框选出检测到的所有人脸，并分别显示“人脸”字样。

将HUSKYLENS屏幕中央的“+”字对准需要学习的人脸，短按“学习按键”完成学习。如果识别到相同的脸，则屏幕上会出现一个蓝色的框并显示”人脸：ID1“。这说明已经可以进行人脸识别了。

* 长按“学习按键”不松开，可以多角度录入人脸。
* 如果屏幕中央没有“+”字，说明HUSKYLENS在该功能下已经学习过了（已学习状态）。此时短按“学习按键”，屏幕提示“再按一次遗忘！”。在倒计时结束前，再次短按“学习按键”，即可删除上次学习的东西。

项目实践：
学习完HUSKYLENS摄像头的基本操作后，让我们一起来完成音乐魔镜的制作吧~
首先要实现的功能就是摄像头在识别人脸时，能在程序端区分学习过的人脸和未学习过的。其次就是加入音乐，实现不同类音乐的播放，至少是两首。最后，可以找一面家中落灰多年的小镜子，进行外观搭建。那么我们分成两个任务来完成。
任务一：区分人脸
在这步我们先学习如何使用HUSKYLENS摄像头来识别并区分人脸，并能够判断是否是学习过的，并有一定反馈。
任务二：加入音乐
在学习了如何区分人脸并执行反馈功能后，我们就可以在此基础上添加更多的功能，比如在识别到不同人脸之后能够播放不同的音乐。

任务一：区分人脸

1、硬件连接

2、程序设计
这里的区分人脸默认摄像头已经学习过指定人脸信息，当摄像头再次看到人脸时，判断是否是学习过的即可。为了让显示过程更加直白，用主控板的文字表示识别到的是指定人脸，当识别到指定人脸，显示文字“自己人”；当识别到其他人脸，显示文字“其他人”。
在正式编程前，通过以下3步先进行程序设计。

STEP1 Mind+软件设置
打开Mind+软件（1.62或以上版本），切换到“上传模式”，点击“扩展”，在“主控板”下点击加载“掌控板”，在“传感器”下点击加载“HUSKYLENS AI摄像头”。

STEP2 指令学习
来认识一下主要用到的几条指令。

①
	初始化，仅需执行一次，放在主程序开始和循环执行之间，可选择I2C或串口，I2C地址不用变动。注意HUSKYLENS端需要在设置中调整“输出协议”与程序中一致，否则读不出数据。
②
	切换算法，可以随时切换到其他算法，同时只能存在一个算法，注意切换算法需要一些时间。
③
	主控板向HUSKYLENS请求一次数据存入“结果”（存在主控板的内存变量中，一次请求刷新一次存在内存中的数据），之后可以从“结果”中获取数据，此模块调用之后“结果”中才会获取到最新的数据。
④
	从请求得到的“结果”中获取当前界面中是否有方框或箭头，包含已学习（id大于0）和未学习的，有一个及以上则返回1。
⑤
	从请求得到的“结果”中获取是否IDx已经进行了学习
⑥
	从请求得到的“结果”中获取是否IDx在画面中，方框指屏幕上目标为方框的的算法，箭头对应屏幕上目标为箭头的算法，当前仅为巡线算法时选择箭头，其他算法都选择方框。

STEP3 流程图分析

3、程序示例

4、运行效果
摄像头提前学习好一张人脸，将上面程序上传到主控板后，当摄像头看到指定人脸，则显示“自己人”，当看到其他人脸，就会切换为“其他人”。

* 运行程序时，除了给主控板供电，摄像头也需要单独供电。

任务二：加入音乐

1、程序设计：
在这里，我们可以在文字显示下各加入一段音乐，一首赞美的，一首搞怪的。比如时下很火的《百花香》里的“你就是春天里的青草，秋天里的飞鸟”和《丑八怪》里的“丑八怪，能否别把灯打开”。

如何加入音乐呢？这里使用的扩展板自带蜂鸣器，使用时将蜂鸣器开关打开即可。

如何找乐谱呢？上网搜索《百花香》、《丑八怪》简谱，截取需要的段落。

如何编写程序呢？在Mind+，自带播放音符指令，分为低、中、高音，还有各种节拍。

如何将乐谱与指令对应呢？这里提供一个简单的识别方法，以音符2为例，如下表。

2、程序示例：

3、运行效果：
提前在摄像头上学好你自己的人脸，将程序上传到主控板中，运行程序时摄像头只要看见你，就会唱一段“你就是春天里的青草，秋天里的飞鸟”，如果摄像头对着其他人，就会唱丑八怪，能否别把灯打开”，怎么样，是不是会把别人搞懵呀。
最后，可以找一面的小镜子，把硬件藏在镜子背面，露出摄像头采集人脸信息，搭建出一面音乐魔镜。

项目小结：
通过音乐魔镜项目，我们了解了人脸识别的工作原理，学习了HUSKYLENS上人脸识别算法的指令应用。
在人工智能视觉识别领域，人脸识别是不可或缺的一部分，也有丰富的应用场景，大家一起来开动脑筋，想一想还能做出哪些人脸识别的应用呢。

知识点回顾：
1、了解人脸识别的工作原理
2、学习HUSKYLENS人脸识别的相关指令

项目拓展：
这个项目中，我们将人脸识别与音乐结合，做了一个好玩的音乐魔镜。
其实回头想一想，摄像头识别到不认识的人脸，就发出指定声音，这不就是门禁警报系统嘛！但是如果应用在实际场景中，蜂鸣器报警的声音实在太小，所以能不能将它与物联网相结合呢？

掌控板自带WIFI功能，可以直接使用物联网。尝试做一个家庭警报系统吧，利用摄像头检测门口是否有陌生人，如果陌生人停留的时间过长，那么利用物联网发送消息到主人的电脑或者手机上。

二哈识图AI视觉传感器其他相关教程：

micro:bit: