基于 WorkBuddy 与二哈识图2 MCP的创客器材自检助手（上）
1. 项目简介与演示
1.1 项目介绍
创客开发中，二哈识图2 是一款易用的 AI 视觉传感器，但它只能独立完成图像识别，无法直接和大模型交互。以往想用大模型控制它，需要手写代码对接接口、解析数据，门槛较高，零基础创客难以上手。
为打通软硬件交互壁垒，本项目引入 MCP（模型上下文协议）。大模型是做决策的 “管家”，二哈识图2 是执行视觉任务的 “工人”，MCP 是标准化通信规范，如同通用软件总线，让大模型有序下发指令、读取传感器数据，省去手动对接底层接口的工作。
本项目基于二哈识图2内置 MCP服务，可直接接入WorkBuddy。使用者无需编写对接代码，只需输入一句话指令，比如“帮我切换手势识别模式”“识别画面中的物体”，大模型就能自动调用二哈识图2 完成操作并反馈结果，实现用自然语言操控视觉硬件。
方案适配多元场景：创客课堂里，学生可以语音操控传感器，快速验证作品、识别元件与指示灯状态；也能作为视障人士的感知辅助，实时播报前方物体等，在工业流水线中，工人无需懂代码，直接语音呼叫大模型控制二哈识图2进行残次品检测等。
1.2 演示视频
2. 项目实现原理
本项目依托 MCP 协议搭建 WorkBuddy 与二哈识图2 的通信链路，实现自然语言指令控制视觉识别设备。用户在 WorkBuddy 中发送规范指令后，WorkBuddy 识别到需要调用二哈识图2 MCP 服务，向二哈识图2 下发控制指令；二哈识图2 接收指令并执行对应的视觉识别任务，采集画面、完成模型推理，再将识别结果回传给 WorkBuddy。最后由 WorkBuddy 整理识别信息，以文字形式反馈给用户，完成一次完整的交互。
3. 软硬件准备
3.1软硬件器材清单
注意：HUSKYLENS的版本为二哈识图2（HUSKYLENS 2）
3.2安装WiFi模块
1.拧开二哈试图2外壳一面四角的螺丝。
2. 将金属外壳与PCB分开，此时PCB和后盖通常会很难分开。
需要按住PCB上的按钮，缓慢地将后壳抬起。避免强行掰开的过程中损坏PCB上的按钮等元器件。
3.分开后的HUSKYLENS PCB与后盖如图所示。
4.将WiFi模块用力插入卡槽，安装到位后，WiFi模块的最外侧应该与外壳上的凸起结构接近齐平。注意：安装时不要用力挤压/拉扯WiFi模块表面的导电棉，否则会影响WiFi天线的射频性能。
5.将金属外壳装回，四周螺丝拧紧。
说明：如果金属外壳与PCB分开的过程中导热硅脂破损，可以将破损的导热硅脂丢弃，使用包装中赠送的导热硅脂重新盖住主板中心的芯片。注意覆盖位置如图所示，如果原本的导热硅脂没有破损，则不要安装赠送的导热硅脂。
3.3 硬件连接
请按照下面连接图将电脑、二哈识图2进行连接。
3.4软件平台准备
从官方渠道下载WorkBuddy。
官网下载安装，安装完成后，双击打开。
4. 项目制作
4.1 二哈识图2操作
首先，由于出厂语言默认为英文，我们可以用触屏的方式左右滑动，找到“System Settings”（系统设置）图标，将系统语言设置成自己想要的语言（支持英文、中文简体和中文繁体）。
点击进入“System Settings”，下滑至底部找到“Language”选项。点击“Language”，进入设置语言界面。
点击自己想要的语言选项。之后，系统会切换语言并自动返回至菜单页面，下图是切换为中文简体的示意图。
4.2 连接WiFi
正常安装后，打开系统设置-WiFi
将WiFi的开关打开，等待几秒后会显示出周围可被扫描到的WiFi列表，点击刷新可以刷新列表。开启状态下关闭WiFi，再打开需要等待30S时间，30S内无法重复开启WiFi。
点击选择要连接的WiFi，然后输入密码，完成后点击右下角的“√”
等待WiFi连接成功。连接30S后未成功会弹窗提醒，可选择重试或取消，点击取消可重新选择并输入密码连接，请仔细检测密码是否正确，并检查网络设置是否可以被陌生设备连接。如果确定密码正确且网络设置正常，请离热点源或路由器近一些，并点击重试。连接成功后将显示出IP。
连接过的WiFi系统会自动将密码保存，当选择已经保存过的WiFi进行连接时可以不用输入密码直接连接。已保存的WiFi可以删除。
4.3 获取二哈识图2的 MCP 地址
使用MCP前请确保已将二哈试图2的固件更新至最新版本。固件更新教程请参考：wiki.dfrobot.com.cn/二哈识图 2 固件更新教程
二哈试图2支持 2024-11-05 版本的 MCP 协议。
打开 MCP 服务前，二哈识图2 需要连接到和电脑同一个局域网 WiFi，才会生成 URL 地址。
滑动屏幕找到 MCP服务，点击进入，打开开关，开关打开后会显示一个URL http://192.168.xx.xx:3000/sse用于给客户端连接。
4.4 在 WorkBuddy 中添加 MCP Server
打开WorkBuddy之后点击登录
登录成功后会跳转网页提示登录成功
关闭网页回到软件我们在左侧边栏中找到连接器
找到“自定义连接器”模式并打开
弹出MCP服务管理界面之后，点击添加MCP
把 4.3 获取的地址填入 WorkBuddy 的 MCP 配置，点击保存。
保存配置退出后，列表会出现 huskylens 这条 MCP 服务，它自带可以操控二哈识图的工具。首次使用先点信任，再打开启用开关。
等待连接，当黄色小圆点变为绿色表示连接成功
成功连接显示效果如下图所示，同时我们退出自定义连接器
找到新建任务，选择自己想要使用的模型，示例中选择了Hy3模型
然后在对话框发送命令语句“帮我打开HUSKYLENS 2的自学习分类模式并学习眼前的物体命名为小狗，并截图保存”，等待WorkBuddy返回结果。
同时，连接 MCP 服务时，会弹出【HTTP 访问安全风险弹窗】。这是局域网 HTTP 地址的安全提醒，192.168.x.x 是本地内网设备，属于安全地址，选择允许或者本次会话内始终允许即可正常通信。
二哈识图2接收并执行命令，截图得到以下图片
WorkBuddy返回结果如下图所示
5. 实现效果
实现效果如下：
WorkBuddy效果画面
二哈识图2效果画面
6. 注意事项
6.1 连接失败
若出现MCP连接失败时，可检查是否电脑与二哈识图2在同一网络下，MCP 服务开关已经打开，URL 地址抄写完整，
6.2 WorkBuddy指令格式
发送指令时注意以下几点，更容易调用成功：
1.带上“使用二哈识图2”，告诉 WorkBuddy 要调用这个设备。
2.一次只让它做一件识别任务。
