基于WorkBuddy与二哈识图2MCP的创客器材自检助手(下)
1.项目简介与演示
1.1项目介绍
本篇将落地一个面向创客新手的进阶实用案例——创客器材自检助手。在创客课堂实操中,新手搭建项目时常遇到物料清点麻烦、外观相近器件容易混淆、无法快速判断器材是否齐全的问题,核对物料耗时费力。本项目以创客课堂中经典的“LED自动小夜灯”实验为例,演示学生如何通过AI助手,快速检查桌上是否备齐了小夜灯所需的LED模块和光线传感器。
本项目沿用MCP通信链路、二哈识图2视觉传感器与WorkBuddy大模型的整套方案,提前训练好器件识别模型,无需用户额外编写对接代码。用户通过自然语言下发指令,WorkBuddy自动调用二哈识图2识别画面器件,对照项目物料清单进行比对,识别正确/错放器件,帮助创客快速确认元器件是否齐全、是否放错。
1.2演示视频
2项目实现原理
本项目基于MCP通信链路,新增物料清单比对逻辑。用户在WorkBuddy中输入器材自检的文字指令后,WorkBuddy识别需求,调用二哈识图2的MCP服务下发识别任务;二哈识图2加载器件识别模型,采集画面、完成推理,将画面中的器件信息回传。WorkBuddy将识别结果和项目物料清单比对,判断放置的元器件的正误并提醒缺少的元器件,整理信息后反馈给用户,完成器材自检交互。

3软硬件准备
3.1软硬件器材清单

3.2 硬件连接与摆放
请按照下面连接图将电脑、二哈识图 2进行连接。

3.3软件平台准备
官网下载安装,安装完成后,双击打开。

4前置准备:元器件识别模型
4.1模型训练
参考相关链接,训练一个用于识别创客常用元器件目标检测模型。https://mindplus.dfrobot.com.cn/mp2/AITools/Detailed_explanation/object_detection/quick_experience/quick-experience/
4.2将模型导入二哈识图2
详细操作请参见以下链接:HUSKYLENS 2 自训练模型安装教程 | DFRobot官方文档
5项目制作
注意:操作前请完成二哈识图2-WiFi模块安装、设备WiFi配网、开启MCP服务,并在WorkBuddy完成MCP服务添加。上述基础配置操作请查阅《基于MCP的WorkBuddy与二哈识图2基础连接与控制(上)》,本篇进入进阶交互与自检环节。
将完整判断命令一次性下发给二哈识图2,由二哈识图2加载识别模型完成识别,并直接在屏幕上显示每个器件是否为所需元件的判断结果,无需逐轮对话。操作步骤如下:
1.在WorkBuddy对话框中一次性输入完整命令,示例:“帮我在HUSKYLENS的HardwareD的监测界面上显示文字,识别对的元件你就显示正确两个字,识别到错误的你就说错误,并且说明正确的元器件的名字和错误的元器件的名字,字不要被遮盖”。

2.WorkBuddy将命令一次性下发给二哈识图,二哈识图2屏幕直接显示各器件的识别结果及是否为所需元件的判断,用户查看屏幕即可完成物料核对。

6效果演示
实现效果如下:


7. 附件清单




