基于WorkBuddy与二哈识图2MCP的创客器材自检助手(下)

2026-11-1223
精华项目
AI 快速预览详细 收起
本项目是一个面向创客新手的进阶实用案例——创客器材自检助手。通过WorkBuddy和二哈识图2,学生可以快速检查LED小夜灯所需的元器件是否齐全且正确放置。项目基于MCP通信链路,用户通过自然语言下发指令,WorkBuddy调用二哈识图2识别画面中的器件,并对照项目物料清单进行比对。最终,二哈识图2屏幕直接显示各器件的识别结果及是否为所需元件的判断,帮助创客快速确认元器件是否齐全、是否放错。

1.项目简介与演示

 

1.1项目介绍

本篇将落地一个面向创客新手的进阶实用案例——创客器材自检助手。在创客课堂实操中,新手搭建项目时常遇到物料清点麻烦、外观相近器件容易混淆、无法快速判断器材是否齐全的问题,核对物料耗时费力。本项目以创客课堂中经典的“LED自动小夜灯”实验为例,演示学生如何通过AI助手,快速检查桌上是否备齐了小夜灯所需的LED模块和光线传感器。

 

本项目沿用MCP通信链路、二哈识图2视觉传感器与WorkBuddy大模型的整套方案,提前训练好器件识别模型,无需用户额外编写对接代码。用户通过自然语言下发指令,WorkBuddy自动调用二哈识图2识别画面器件,对照项目物料清单进行比对,识别正确/错放器件,帮助创客快速确认元器件是否齐全、是否放错。

 

1.2演示视频

 

2项目实现原理

本项目基于MCP通信链路,新增物料清单比对逻辑。用户在WorkBuddy中输入器材自检的文字指令后,WorkBuddy识别需求,调用二哈识图2的MCP服务下发识别任务;二哈识图2加载器件识别模型,采集画面、完成推理,将画面中的器件信息回传。WorkBuddy将识别结果和项目物料清单比对,判断放置的元器件的正误并提醒缺少的元器件,整理信息后反馈给用户,完成器材自检交互。

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_1.webp

3软硬件准备

 

3.1软硬件器材清单

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_2.webp

3.2 硬件连接与摆放

请按照下面连接图将电脑、二哈识图 2进行连接。

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_3.webp

3.3软件平台准备

官网下载安装,安装完成后,双击打开。

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_4.webp

 

4前置准备:元器件识别模型

 

4.1模型训练

参考相关链接,训练一个用于识别创客常用元器件目标检测模型。https://mindplus.dfrobot.com.cn/mp2/AITools/Detailed_explanation/object_detection/quick_experience/quick-experience/

 

4.2将模型导入二哈识图2

详细操作请参见以下链接:HUSKYLENS 2 自训练模型安装教程 | DFRobot官方文档

 

 

5项目制作

注意:操作前请完成二哈识图2-WiFi模块安装、设备WiFi配网、开启MCP服务,并在WorkBuddy完成MCP服务添加。上述基础配置操作请查阅《基于MCP的WorkBuddy与二哈识图2基础连接与控制(上)》,本篇进入进阶交互与自检环节。

 

将完整判断命令一次性下发给二哈识图2,由二哈识图2加载识别模型完成识别,并直接在屏幕上显示每个器件是否为所需元件的判断结果,无需逐轮对话。操作步骤如下:

 

1.在WorkBuddy对话框中一次性输入完整命令,示例:“帮我在HUSKYLENS的HardwareD的监测界面上显示文字,识别对的元件你就显示正确两个字,识别到错误的你就说错误,并且说明正确的元器件的名字和错误的元器件的名字,字不要被遮盖”。

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_5.webp

 

2.WorkBuddy将命令一次性下发给二哈识图,二哈识图2屏幕直接显示各器件的识别结果及是否为所需元件的判断,用户查看屏幕即可完成物料核对。

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_6.webp

 

6效果演示

 

实现效果如下:

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_7.webp
创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_8.webp

7. 附件清单

创客教育 · 基于WorkBuddy与二哈识图2MCP的器材自检助手_image_9.webp

创作许可协议

本项目采用 None(不开放任何权利,保留所有权利) 进行许可。

评论(0)
- 没有更多了 -