机器学习与推理应用 ——基于行空板AI判断手势图形项目
本帖最后由 rzegkly 于 2025-6-4 21:33 编辑本案例出自高二教科版高中信息技术选择性必修四《人工智能初步》第三单元 《机器学习 与深度学习》，本教学案例参考了普通高中信息技术教学案例教学基本目录中《人工智能技术的发展与应 用》中教学案例活动“66.机器学习与推理应用”，师生通过对《基于行空板AI判断手势图形项目》学习，体验机器学习与模型推理应用。 一、使用器材 （一）行空板 x1 个 （图1）
行空板是一款拥有自主知识产权的国产教学用开源硬件，采用微型计算机架构，集成LCD彩屏、WiFi蓝牙、多种常用传感器和丰富的拓展接口。同时，其自带Linux操作系统和python环境，还预装了常用的python库，让广大师生只需两步就能开始python教学。图1（二）USB摄像头 x1 个 （图2）这是一款插入USB端口就能使其工作起来的免驱摄像头，30W像素，640*480分辨率，即插即用，兼容树莓派和英伟达Jetson Nano系列主板，特别在你的树莓派或Jetson Nano主板装上外壳后使用起来更方便。模块拥有30mm*25mm*21.4mm的小巧体积，可嵌入于各类设备，用于人脸识别，图像识别，安防，远程教学等项目之中。图2二、创新要点 通过浦育人工平台对手势数据进行采集，模型训练、模型转换，生成 ONNX 通用模型；将 ONNX 部署到行空板上，行空板可以预测出当前手势形状。让师生亲自体验人工智能的数据采集，数据 的加工处理、模型的训练和模型部署，再到行空板预测出手势图形结果的整个流程。 三、教学原理（图 3） （一）数据采集：通过摄像头对手势图形（石头、剪子、布）进行图片的采集； （二）模型训练：利用上海人工智能智能蒲育平台的 AI 训练工具生成*.ONNX 通用模型文件; （三）模型部署：将 ONNX 通用模型文件通过 Mind+编程软件部署到行空板上;
（四）模型应用：在行空板将上传手形图片进行识别，在行空板预测显示手形的类别。四、教学目标 知识与技能 （一）了解机器学习、模型推理的概念。 （二）掌握机器学习与模型推理关系。 过程与方法： （一）通过参与机器学习的活动，形成对实际应用过程的认知。 （二）通过采集手势图像，体验图像分类模型训练的全过程。（三）通过行空板AI判断手势图形项目，掌握运用XEduHub图形分类模块的方法。 情感态度价值观：通过本节课的学习，建立对机器学习的学科兴趣，激发对人工智能的好奇心，形成积极向学的态度，培养小组的合作精神。 教学重点：（一）机器学习、模型推理的概念。 （二）机器学习与模型推理关系。 教学难点：机器学习与模型推理关系。 五、教学内容 通过浦育人工平台对手势数据进行采集，模型训练、模型转换，生成 ONNX 通用模型；将 ONNX 部署到行空板上，行空板可以预测出当前手势形状。让师生亲自体验人工智能的数据采集，数据的加工处理、模型的训练和模型部署，再到行空板预测出手势图形结果的整个流程。 六、教学过程 （一）定义： （1）机器学习是人工智能的一个子集，他利用算法使计算机系统能够从数据中“学习”并进 行自我优化和改进。 （2）人工智能模型推理是通过数学模型或者机器学习模型来描述事物的属性和关系，然后根 据模型进行推理。这种方法比较灵活和自适应，但模型的建立和训练比较复杂。 （二）数据采集 （1）采集手形图片在浦育平台首页，在工具目录找到“在线工具” (图 4)，在创意积木工坊进入“创建积木编程”。图4积木编程窗口的左下角添加扩展选中（图 5）AI 训练（图像分类）图 5在 AI 训练（图像分类）中打开 AI 训练工具（图 6）图 6（2）设置分类，进行模型训练，这里设置类别为（“paper”，“rock”，“scissors”），有两种方式上传分类图片，第一种：通过电脑摄像头实时拍照上传，拍照手形图片数量尽量多，手形的位置尽量远近都有，将来识别精度高一些（图 7）。第二种：电脑存有手形图片的数据集，通过鼠标点击或者拖拽上传，我们选择第一种方式进行模型训练。图 7（三）模型训练手形图片的数据集采集完毕后，点击开始训练，（图 8）图 8
训练后对模型结果进行检查和校验，打开摄像头，在摄像头前方展示你的手势，初步评估模型的性能，即模型所呈现的标签是否和所展示的手势一致，不一致可以再次采集手势图片，再次训练，保证识别手势达到100%。将 ONNX 模型文件下载到电脑相应文件夹（图 9）
图 9ONNX 是针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。ONNX 模型使得不同的深度学习框架可以采用相同格式存储模型数据。ONNX 的全称是“Open Neural Network Exchange”，即“开放的神经网络切换”，旨在实现不同神经网络开发框架之间的互通互用。ONNXRuntime 是微软推出的一款推理框架，支持多种运行后端包括 CPU，GPU，TensorRT，DML 等，是对 ONNX 模型最原生的支持。（四）模型部署：将通用的权重文件部署到行空板。（1）打开 mind+,窗口右上角，选择 python 模式，连接行空板 10.1.2.3。（图 10）图 10（2）打开 Mind+,右下角扩展添加在官方库添加行空板,OpenCV，（图 11）图 11（3）打开 Mind+,用户库添加 XEduHub，（图 12）图 12（4）在 Mind+的代码模式，打开文件系统，将文件 model.ONNX拖入项目中的文件即可（图 13）图 13（5）在点击运行的时候 Mind+会将项目中的文件里面的所有文件一起上传到行空板的 mindplus 文件夹中运行。（图 14）图 14（五）模型应用编写程序如下：（图 15）图 14（五）模型应用程序运行后，摄像头实时采集图片，当采集到对应手势图像时，部署在行空板的手势模型进行判断，文字显示出来；当没有采集到对应手势图像时，文字显示背景画面。手势识别结果对应表：(图15——图18)六、教学评价 本项目初步完成了人工智能图形分类的数据采集、模型训练，模型部署、模型并能够脱离浦育平台实现行空板预测出手势图形结果的整个流程。由于初次还存在制作过程简单，数据采集量小，成熟度还很低，还有待于进一步改进和完善。本作品由于过于简单应用场景非常有限，今后还要在此基础上进一部扩展功能，适合更多场景应用。
行空板M10-AI模型本地训练与部署
https://mc.dfrobot.com.cn/thread-339704-1-1.html?fromuid=820560
(出处: DF创客社区 - 分享创造的喜悦)
机器学习案例的新方向 优秀 恭喜康老师~
页:
[1]