【DFRobot 行业AI开发者大赛】家庭智慧中心之智能猫眼

2020-08-113665
AI 快速预览详细 收起
智能猫眼项目利用LattePanda和Intel Neural Compute Stick实现访客预筛查,具备人形识别、人脸识别等功能。硬件包括Raspberry Pi Zero 0W、Raspberry Pi Camera Module、DFRobot LattePanda Delta等。软件方面,采用Python实现,启用了15+线程,整体速度非常快。该项目可以帮助独处的老人、孩子、女性智能预审访客信息,防止猫眼被遮挡无法可靠观察。
这个家庭智慧中心之智能猫眼,由于新追加的隐私规则无缘决赛,我认可评委的权力也尊重赛维会的决定,但失落感还是有的;失望之余还是决定把制作过程记录一下,以纪念两个多月的全力以赴!

主要功能:用摄像头通过猫眼对访客进行预筛查,智能分析后存储到数据库,可以播报关键特征,如“京东快递”、“盒马快递“、”陌生男子xx岁“、”熊孩子“、“妈妈回来了”等。

实用性:帮助独处的老人、孩子、女性智能预审访客信息,防止猫眼被遮挡无法可靠观察。

实现可行性:基于LattePanda 的强劲性能以及 Neural Stick 的加速效果,同时加载多个神经网络模型,对视频流实现快速串行异步处理,实现人形识别,人体外貌特征识别,人体识别码提取,人脸侦测,人脸五官侦测,人脸识别码提取,年龄性别预测等。

硬件清单
  • Raspberry pi zero 0W
  • Raspberry pi camera module
  • Waveshare 1.3inch hat
  • Dfrobot lattepanda delta
  • Intel neural compute stick 2 x 2
  • Waveshare 4.3inch touch display
  • Seeed reSpeaker mic array


软件清单
  • RaspOS buster 2020-5-7
  • Mjpeg-streamer
  • libdirectfb
  • Python 3.7
  • Visual studio 2019
  • Openvino 2020.2
  • Opencv 4.3
  • Tensorflow 2.2
  • mongo DB


原型全部采用python 实现,大约启用了15+ 线程,得益于lattepanda 的强劲性能和intel neural stick 的加持,整体速度非常快。
因为时间关系,没有来及实现人体移动追踪,使用了一个融合线程,基于人脸和人形轮廓的相对位置做数据拟合,对于单人效果不错。

制作过程比较琐碎,从熟悉lattepanda,查阅oled屏幕手册来旋转图像,对树莓派摄像头画面裁剪,校准,到语音识别的探索,中文ocr的识别,Arduino spi屏幕的驱动,各个神经网络模型的选择,测试与组合,整体画面的显示,各个模型结果的渲染,基本上两个多月里做梦都在考虑解决方案,各位参赛的伙伴们大概能体会个中滋味。

制作过程

创作许可协议

本项目采用 None(不开放任何权利,保留所有权利) 进行许可。

评论(2)
hnyzcj
hnyzcj
比赛吗,也就是个比赛,哈哈哈,没啥的
hnyzcj
hnyzcj
不错的作品
- 没有更多了 -