STEM教育 · 通用技术教室工具智能识别系统

本项目基于XEDU平台完成。

项目背景：1. 技术教室手工工具种类繁杂，锤/锯/钻等20+种；2.大多数同学工具认知困难，文字描述不直观，网络上视频老旧；3.同学对传统工具的认识兴趣不高。
项目价值：1.通过可视化工具认知，提升同学对通用技术课程的兴趣；2.可语音播报工具名称、用法及注意事项等并进行安全教育；3.提升同学工具整理效率；4.自制工具数据集，进行技术融合，提升我们的学习能力。
功能说明：本项目进行了2版创作，可以实现对于通用技术教室内工具的识别功能：第1版：按照培训教程制作，选择图片进行识别。选择图片，点击确定按钮，显示图片并识别图像分类。第2版：加入了摄像头拍照功能。点击打开摄像头，开始找寻目标物体，找到目标物体后点击拍照按钮，进行目标识别并播放语音。（如图1所示）
创作思路：数据准备---模型训练---模型推理---界面制作与部署---AI应用

1.数据集的制作：手动处理数据集，找到锤子，锉刀和钻头的图片分别40张。（如图2） 2.模型训练：使用代码训练，训练为10轮，找出其中正确率最高的一轮。（如图3）
3.模型推理：如图4所示，为推理结果。可能是数据量太小（每个品类只制作了50张图片）导致置信度偏低，后续会继续加大数据集的量及种类，争取提升准确率！
4.界面制作与部署1：如图5所示，本次使用KIMI进行UI设计，以上是第1版UI界面提示词，按照提示词进行了装饰性修改，基本一次性成功，过程较为顺利。
5.界面制作与部署2：如图6所示，本次同样使用KIMI进行UI设计，以上是第2版UI界面提示词，按照提示词进行了部分修改，但是还是进行了多次问答，最终还是成功将带有摄像头拍照功能的UI做了出来。