行空板判断石头剪子图形的AI识别

一、项目的起源

2024年2月4日

我们迎来春季的第一个节气——立春

立春意味着耕耘播种的时节就要开始

新年的脚步越来越近了，学习脚步永不停歇。

1月31日晚上，参加浦育平台组织的《中小学AI课程众筹计划交流活动》，

让我亲自体验人工智能的数据采集和整理，数据的加工处理和模型的训练，

再到智能识别得出结果的整个流程的操作。

这就是我今天要给大家分享关于行空板判断石头剪子图形的AI识别。

二、项目的原理

1.数据采集：对手的形状石头、剪子进行图片的采集，

2.模型训练：利用蒲育平台的训练工具进行训练生成权重模型，

通过蒲育平台的模型转换工具将权重模型文件转换成*.onnx通用格式的文件。

3.模型部署：将onnx通用格式的文件通过Mind+图形化编程软件部署到行空板上，

4.模型应用：在行空板显示出所识别图片的类别。

三、硬件材料

1.行空板1块

2.数据线1根

四、项目的制作过程

（一）数据采集

1.对手的石头和剪子的图片采集。

在蒲育平台首页，找到工具—在线工具—创意积木工坊

（二）模型训练

在https://www.openinnolab.org.cn/pjlab/aifrontlab训练模型后，

打开摄像头，在摄像头前方展示你的物体，初步评估模型的性能，即模型所呈现的标签是否和所展示的物体一致。

打开AI训练工具，修改分类标签分别为“剪子”“石头”，上传相应图片

将图片数据制作成ImageNet格式数据集。

开始训练，训练完可以进行验证，也可以现场打开摄像头采集图片进行训练。

权重模型的训练生成并将训练好的模型文件下载到电脑。

将训练好的手势图片模型model.zip模型文件下载到电脑里保存。

(三).将训练好的模型文件转换成通用格式*.onnx。

从积木编程的tensorflow.js模型到ONNX模型进行克隆。

手头 剪子积木编程的tensorflow.js模型到ONNX-副本.

https://www.openinnolab.org.cn/pjlab/project?id=645ddb8fd73dd91bcbf15083&sc=630d8bd4bba1fd64f1f0a5dc#public

将手势模型文件model.json 和modelweights.bin文件上传平台

模型转换模型，全部运行

打开转换模板文件，将训练好保存电脑的权重模型文件上传，

按步骤运行模板程序生成新的通用格式的文件。

模型推理不用运行，将onnx文件下载到电脑相应文件夹。

（三）模型部署：将通用的权重文件部署到  行空板。

1.打开Mind+,右下角扩展添加

2.在官方库添加行空板

3.用户库添加BaseDeploy

4.pip模式安装BaseDeploy

5.打开文件系统，将文件拖入项目中的文件即可，

在点击运行的时候Mind+会将项目中的文件里面的所有文件一起上传到行空板的mindplus文件夹中运行。

[color=rgba(0, 0, 0, 0.9)]

（四）模型应用

编写程序如下：

第一个程序是识别测试集里的剪子分类的图片，行空板显示结果剪子

第二个程序是识别测试集里的石头分类的图片，行空板显示结果石头

五、总结及展望

       本项目初步完成了人工智能图形分类的数据采集、模型训练，模型部署、模型并能够脱离蒲育平台实现简单应用。由于初次还存在制作过程简单，数据采集量小，成熟度还很低，还有待于进一步改进和完善。本作品由于过于简单应用场景非常有限，今后还要在此基础上进一部扩展功能，适合更多场景应用。

点赞

大佬能分享一下预训练onnx模型吗？这边按照步骤去训练转换没有问题，但是推理图片时报错了，应该是本身例子那个model.onnx格式有问题

大佬在吗？https:mc.dfrobot.com.cnthread-317922-1-1.html 浦育ai体验那里训练的转onnx格式后推理报错了