查看: 22172|回复: 1

[M10教程] 基于行空板的图像分类在线模型应用

[复制链接]

一、实践目标

本项目借助浦育在线平台训练石头剪刀布的手势模型，之后使用行空板和外接摄像头，进行实时的手势识别，并将识别结果显示在屏幕上。

二、知识目标

了解在线上平台训练模型的方式

三、实践准备

硬件清单：

软件使用：Mind+编程软件x1

四、实践过程

1、在线图像采集与模型训练

1、打开浦育网站，点击”AI体验“，打开”图像分类“：https://www.openinnolab.org.cn/pjlab/aifrontlab

2、打开摄像头采集图像，或上传提前准备好的图片到不同分类下

3、数据采集完成后，点击训练，训练完毕后测试效果，并下载onnx模型

2、硬件搭建

1、将摄像头接入行空板的USB接口。

2、通过USB连接线将行空板连接到计算机。

3、软件编写

第一步：打开Mind+，远程连接行空板

第二步：在“行空板的文件”中新建一个名为AI的文件夹，在其中再新建一个名为“基于行空板的图像分类在线模型应用”的文件夹，导入下载的onnx模型文件。

第三步：编写程序
在上述文件的同级目录下新建一个项目文件，并命名为“main.py”。
示例程序：

# -*- coding: UTF-8 -*-   # 指定源代码文件使用的字符编码为UTF-8

# MindPlus                 # MindPlus环境相关的配置
# Python                   # 该脚本使用Python语言

import sys                 # 导入sys模块，用于与Python解释器交互
sys.path.append("/root/mindplus/.lib/thirdExtension/nick-xeduhub_main-thirdex")  # 添加自定义路径到sys.path，便于导入特定模块
sys.path.append("/root/mindplus/.lib/thirdExtension/winster-cvshow-thirdex")     # 添加另一个自定义路径到sys.path
import re                  # 导入正则表达式模块，用于字符串匹配
import cv2                 # 导入OpenCV库，用于图像和视频处理
import sys                 # 冗余导入，可以删除
from unihiker import GUI   # 从unihiker模块中导入GUI类
from XEdu.hub import Workflow as wf  # 从XEdu.hub模块中导入Workflow类并重命名为wf
import os                  # 导入os模块，用于操作系统相关的功能

# 定义一个格式化任务输出的函数
def format_valve_output(task):
    try:
        output_result = ""
        output_result = task.format_output(lang="zh")  # 调用任务对象的format_output方法并指定语言为中文
        return output_result  # 返回格式化后的输出结果
    except AttributeError:
        return "AttributeError: 请检查输入数据是否正确"  # 如果发生AttributeError异常，返回错误提示

para_task1 = {}  # 初始化一个空的字典，用于存储任务参数
u_gui = GUI()  # 创建一个GUI对象
TuXiangLuJing = (str("Mind+.png"))  # 定义保存图像的文件路径
BiaoQianMing = ["stone","jiandao","bu"]  # 定义标签名称列表
init_para_task1 = {"task":"mmedu"}  # 初始化任务参数
init_para_task1["checkpoint"] = "model.onnx"  # 设置模型检查点参数
task1 = wf(**init_para_task1)  # 使用参数初始化Workflow对象
vd = cv2.VideoCapture()  # 创建一个VideoCapture对象，用于捕获视频
vd.open(0)  # 打开默认摄像头
vd.set(cv2.CAP_PROP_BUFFERSIZE, 1)  # 设置视频缓冲区大小
print("打开摄像头中...")  # 输出提示信息
while not (vd.isOpened()):
    pass  # 等待摄像头打开
print("摄像头已打开")  # 输出提示信息

while True:
    ret, grab = vd.read()  # 读取摄像头图像
    if vd.grab():  # 如果成功抓取到图像
        grab = cv2.resize(grab, (240, 320))  # 调整图像大小
        cv2.imwrite(TuXiangLuJing, grab)  # 将图像保存到指定路径
        u_gui.clear()  # 清除GUI内容
        u_gui.draw_image(image=TuXiangLuJing, x=0, y=50)  # 在GUI中绘制保存的图像
        txt = u_gui.draw_text(text="识别中...", x=0, y=0, font_size=20, color="#0000FF")  # 在GUI中绘制文本

        para_task1["data"] = TuXiangLuJing  # 更新任务参数中的数据路径

        if 'task1' in globals() or 'task1' in locals():  # 检查task1是否已初始化
            rea_result_task1 = task1.inference(**para_task1)  # 进行推理操作
        else:
            print("init", 'task1')  # 输出初始化信息
            task1 = wf(**init_para_task1)  # 重新初始化Workflow对象
            rea_result_task1 = task1.inference(**para_task1)  # 进行推理操作

        output_result_task1 = format_valve_output(task1)  # 格式化推理结果
        JieGuoXuHao = output_result_task1["标签"]  # 获取标签结果
        result = (BiaoQianMing[JieGuoXuHao])  # 根据标签索引获取对应的标签名称
        print(result)  # 输出标签名称
        txt.config(text=(str("识别结果：") + str(result)))  # 更新GUI文本内容