759浏览
查看: 759|回复: 1

[K10项目分享] 行空板K10之EyesOnAI视障人士智能眼镜

[复制链接]
【项目背景】
  • 在全球范围内,视障人士面临着日常生活中的诸多挑战,包括但不限于识别亲人、寻找个人物品、以及在户外环境中的安全导航。尽管有导盲犬和传统盲杖等辅助工具,但这些方法在某些情况下可能不够高效或存在局限性。随着科技的发展,智能设备为改善视障人士的生活质量提供了新的可能性。
  • 近年来,人工智能和机器学习技术的进步为开发辅助视障人士的智能设备提供了强大的技术支持。人脸识别、物体识别和语音合成等技术的应用,使得智能眼镜等设备能够识别和响应用户的需求,提供更加个性化和即时的辅助。
  • 行空板K10是一款集成了多种传感器和计算能力的开源硬件平台,它支持Arduino编程,易于扩展和定制。K10的人脸识别和二维码识别功能为开发辅助视障人士的智能眼镜提供了基础。
【项目设计】
    本项目旨在开发一款基于行空板K10的智能眼镜,通过集成的人脸识别、物体识别和语音合成技术,帮助视障人士在日常生活中更好地识别亲人、寻找个人物品,并在户外环境中提高安全性。这款智能眼镜将通过以下方式实现其功能目标:
  • 人脸识别与语音提示:通过训练系统识别特定的人脸,当视障人士面对这些人时,智能眼镜可以通过语音合成器发出提示,如“哥哥”、“姐姐”等,帮助他们识别面前的“亲人”。
  • 物品识别与语音导航:通过扫描物品上的文字二维码,智能眼镜可以帮助视障人士找到特定的物品,并进行语音提醒,如“水杯在面前”。
  • 猫狗识别与安全提醒:在室外环境中,智能眼镜可以识别面前的猫狗并进行语音提醒,帮助视障人士及时避让,减少与动物的冲突。
  • LED灯光提醒:对于部分有光感的视障人士,同时提供LED灯闪烁,进行相应提醒。
【项目硬件】
行空板K10之EyesOnAI视障人士智能眼镜图2


行空板K10之EyesOnAI视障人士智能眼镜图3



行空板K10之EyesOnAI视障人士智能眼镜图1


【项目准备】

1.本项目,将“家有儿女”的主演剧照,做为“亲人”进行学习和识别。

行空板K10之EyesOnAI视障人士智能眼镜图4

2.打印“文字”二维码,粘在积木方块上,并挂在物品上

行空板K10之EyesOnAI视障人士智能眼镜图5
3.识别自家“大橙”
行空板K10之EyesOnAI视障人士智能眼镜图7

【程序编写】

行空板K10之EyesOnAI视障人士智能眼镜图6

【程序分析】

      这段代码是一个为视障人士设计的智能眼镜项目的程序,使用了MindPlus图形化编程环境。程序利用了行空板K10硬件,集成了人脸识别、物体识别(猫狗)、二维码识别以及语音合成(ASR)等功能。以下是对程序的简单分析:

包含的库和头文件
  • asr.h:语音识别库。
  • unihiker_k10.h:行空板K10的库。
  • AIRecognition.h:人工智能识别库。
动态变量
  • mind_s_ErWeiMaShiBieJieGuo:用于存储二维码识别结果的字符串。
  • mind_n_BiaoShi、mind_n_XunWuBiaoShi、mind_n_RenLianID 等:用于存储识别状态、寻物状态、人脸识别ID等的浮点数变量。
函数声明
  • onButtonAPressed():按钮A被按下时的回调函数。
  • onButtonBPressed():按钮B被按下时的回调函数。
主程序 setup()
  • 初始化行空板K10、屏幕方向、AI识别、背景摄像头等。
  • 初始化语音识别,并添加语音命令。
  • 设置按钮A和B的回调函数。
  • 初始化状态和识别模式。
主循环 loop()
  • 根据mind_n_BiaoShi的值,选择不同的识别模式:
    • 0:人脸识别模式,识别成功后通过语音合成器说出识别到的人的身份,并用LED灯提示。
    • 1:猫狗识别模式,识别到猫狗时通过语音合成器提醒,并用LED灯闪烁。
    • 2:二维码寻物模式,根据语音命令寻找特定的物品,如钥匙、手机、水杯等,找到后通过语音合成器提醒,并用LED灯提示。
  • 处理寻物状态,根据二维码识别结果,通过语音合成器告知物品位置。
事件回调函数
  • onButtonAPressed():在人脸识别模式下,按下按钮A进行人脸录入。
  • onButtonBPressed():切换不同的识别模式,并通过语音合成器告知当前模式,同时用LED灯提示。
程序特点
  • 使用了行空板K10的多种功能,如LED灯、RGB灯、人脸识别、物体识别等。
  • 通过语音合成器与用户进行交互,提供语音反馈。
  • 通过LED灯的不同颜色提示不同的识别状态。
  • 支持通过按钮切换不同的识别模式。
【演示视频】


      该项目的实施有望显著提高视障人士的独立性和生活质量,减少他们对他人依赖,增强他们的社会参与度。同时,这也将推动智能辅助设备在视障人士辅助领域的应用,为未来相关技术的发展和创新提供参考。

      通过这款智能眼镜,我们不仅展示了科技如何帮助解决社会问题,还体现了对视障人士需求的深刻理解和关怀。这不仅是一个技术项目,更是一个社会创新项目,它将科技的力量转化为改善人们生活的切实行动。

谭周强  中级技师

发表于 2024-9-6 16:52:53

666大佬厉害,学习学习
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail