32037浏览
查看: 32037|回复: 0

[教程] 基于树莓派的视觉识别手势Yeelight灯制作

[复制链接]
本帖最后由 nahao8 于 2024-1-8 23:14 编辑

一、项目简介
本项目旨在于将人工智能与物联网相结合,通过图像分类模型训练得到一个二分类图像分类模型,并通过视觉识别实现yeelight灯的“开”和“关”的控制。基于树莓派的视觉识别手势Yeelight灯制作图1
二、材料准备
  • 树莓派+sd卡
  • usb接口摄像头
  • yeelight灯+螺纹口底座
  • 无线局域网
  • 浦育平台账号(openinnolab.org.cn)

三、实践操作
  • 图像模型训练
图像分类模型的训练平台采用的是浦育平台(openinnolab.org.cn)AI体验中的图像分类。
基于树莓派的视觉识别手势Yeelight灯制作图2
图像模型分类训练采用的是二分类:“on”和“off”,“on”分类采用的图像样本是“手掌”图像,“off”分类采用的图像样本是“拳头”图像。基于树莓派的视觉识别手势Yeelight灯制作图3
简单测试一下“手掌”和“拳头”两个手势的识别率,若识别率较为不错就可以点击下载模型。将下载下来的训练好的模型解压,得到以下文件。
基于树莓派的视觉识别手势Yeelight灯制作图4
  • 图像模型转换
在浦育平台项目栏目中搜索关键字“模型转换:从TensorFlowJS到ONNX”,并克隆该项目。进入项目后,删除项目中原有的model.json、model.onnx和model.weights.bin文件,将解压得到的model.json和model.weights.bin两个文件上传至相关目录下,如图所示。
基于树莓派的视觉识别手势Yeelight灯制作图5
在完成tensorflow模型的上传后,按照模型转换步骤完成模型转换,得到轻量级的通用模型格式文件onnx文件。
基于树莓派的视觉识别手势Yeelight灯制作图6


四、部署应用
  • 模型应用推理
在树莓派上安装好python环境的第三方模块:cv2、numpy、BaseDT.data、BaseDeploy、matplotlib.pyplot、yeelight,即可开始进行模型的应用推理了。推理代码如下所示:

  1. import cv2
  2. import numpy as np
  3. from BaseDT.data import ImageData, ModelData
  4. import BaseDeploy as bd
  5. import matplotlib.pyplot as plt
  6. import time
  7. from yeelight import Bulb
  8. #bulb=Bulb("192.168.31.153")
  9. # 设置摄像头
  10. print('现在开始拍照...')
  11. cap = cv2.VideoCapture(0)
  12. print('拍照已完成')
  13. # 从摄像头中读取画面
  14. while True:
  15.     cap = cv2.VideoCapture(0)
  16.     ret,img = cap.read()
  17.     cap.release()
  18.     model_path = 'model.onnx'
  19.     model = bd(model_path)
  20.     result = model.inference(img,show = False)
  21.     rsl=model.print_result(result)
  22.     print(rsl)
  23.     if rsl["标签"]==0:
  24.         print("开灯")
  25.         bulb=Bulb("192.168.31.153")
  26.         bulb.turn_on()
  27.     else:
  28.         print("关灯")
  29.         bulb=Bulb("192.168.31.153")
  30.         bulb.turn_off()
  31.     time.sleep(2)
复制代码



  • 模型应用部署
在树莓派主板上配置好WIFI,连接上yeelight灯同一局域网络。将python文件拷贝到树莓派上,设置为开机运行,插上usb接口的摄像头即可。

附件:下载附件基于树莓派的手势识别灯.zip





您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4

© 2013-2024 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail