查看: 31|回复: 1

[M10项目] 小智小智，你在显微镜里看到了什么？

当显微镜遇上 MCP：让AI学会“看见”和“解释”
之前我们做了一个显微镜的 demo，我看到很多的小伙伴也复刻了，特别是狄勇老师在这个基础上做了一个更酷炫的作品（基于“二哈识图2”的传统显微镜AI智能化改造:模型训练 DF创客社区）。深深的刺激了我。我觉得我们应该做一个更酷炫的项目来回应。但是怎么做呢？我一筹莫展。
我想到的解决方案是让二哈识图2 和大语言模型的结合。

首先我想到的是利用我们二哈识图 2 的 mcp 服务器。二哈识图 2提供了相应的 mcp 服务。
二哈识图 2 使用教程 HUSKYLENS 2 WIKI
目前的二哈识图2 的 mcp 服务更适合用电脑这些带操作系统的设备来操作。这固然是一个非常好的解决方案，但是对一个要经常到处走的项目来说，确实有些笨重。相信今后二哈识图 2 能提供更好的解决方案。

后来在玩小智的时候，我突然灵机一动，为什么不能让小智来帮忙回答显微镜的问题呢？
但是如何让小智能接入显微镜呢？我又一筹莫展了。我是修改小智的固件呢还是修改后端服务器的代码？我发现都非常的难以操作，特别是如果想让大家都能够用起来的话，这个操作会非常的麻烦。好在后来我发现小智开放了 mcp 的接入。
小智AI配置MCP接入点使用说明（官方）
根据官方的教程，我们可以在小智的基础上利用本地设备进行 mcp 的调用。他的整个过程我画一个简单的流程图给大家解释一下。

本系统由三个主要部分组成：显微镜识别模块、行空板 K10、以及小智 AI 设备。

行空板 K10 通过 I2C 接口连接二哈识图 2（HuskyLens2）。二哈内部已经部署了细胞识别模型，在显微镜对焦准确的情况下，可以直接识别当前视野中的细胞类型，并将识别结果通过 I2C 发送给 K10。

为了让小智 AI 能够获取这些识别结果，需要在 K10 上实现一个 MCP 接入程序。该程序基于原有 K10 程序进行扩展，主要增加以下功能：
1.网络连接能力

配置 WiFi（SSID 和密码）
连接互联网

2.MCP 接入能力

获取小智智能体的 MCP Token
连接小智提供的 MCP 接入点

3.工具定义

在 K10 上定义一个工具（例如：check_vision）
明确工具的名称、参数和功能描述
工具内部读取当前二哈识别结果，并返回结构化数据（字符串或 JSON）

当用户向小智 AI 提问时，系统的处理流程如下：

1.小智设备接收用户语音，并转换为文本

2.大语言模型根据当前问题和角色设定进行分析

3.判断是否需要调用 MCP 工具获取外部数据

4.如果需要：
•向 K10 请求工具列表
•根据工具描述选择合适工具（如 check_vision）
•发起工具调用请求

5.K10 执行工具函数，从二哈读取当前识别结果，并返回数据

6.大语言模型接收数据后，生成最终回答内容

7.小智设备将回答内容转换为语音并输出给用户

该系统实现了：通过 MCP 协议，将 K10 上的传感器识别能力提供给大语言模型调用，并由大模型完成结果解释与语音输出。

好，接下来，我们就要改造我们的行空板 K10 的程序了。
我们的代码需要做以下改造：
小智小智，你在显微镜里看到了什么？图14

就在刚刚我发现 DFRobot 官方就推出了 mind+关于小智mcp 客户端的模块
大家可以在扩展模块搜索并找到这个积木块，在 mind+ 2.0 中直接搜索“小智 MCP 客户端”

他的积木是这样的

完整的代码可以看下面这个：

有些注意事项可以看下，这里需要填写关于工具的描述

把这个程序上传到行空板 K10 上以后，就可以在小智上和我们的显微镜愉快的交流啦。下载附件

调用MCP读取板载温度.rar

注意，当你使用时，请记得一定要填上相关的信息。

相信 WiFi 相关的东西不用多介绍了，那我们这里来重点介绍下小智 mcptoken 相关的内容。
首先让我们登录进小智的平台，xiaozhi.me 登录进去后，就可以进入他的控制台。

你可以在控制台里找到相关的智能体的配置，在这里我设计了一个 DFRobot 显微镜小助手的智能体，我们可以给他进行角色的配置，点击配置角色按钮，我们就能进入智能体的配置了。

在角色配置的页面，你可以对其语言，音色，角色介绍等做你自己的设置。

这里附上的是我对我的显微镜小助手的提示词，大家也可以根据自己的需要进行修改。我标黄的“我都必须调用获取check_vision的数据”对小智的回答有很大的影响，希望大家可以自己感受下。

描述
我叫{{assistant_name}}，是一位充满好奇心与热情的显微镜助手。
标签1

背景：我是一名专业的显微镜助手。
性格特点：乐观开朗、乐于助人是我的性格标签。我喜欢用轻松愉快的方式与人沟通，即使面对复杂难懂的知识点，也能通过幽默风趣的语言将其简化，让对方更容易理解接受。
互动方式：当用户向我提问时，我都必须调用获取check_vision的数据，然后根据获得的信息准确地回答出英文名称、中文名称和数量以及相关的科普内容。
任务目标：我的主要任务是为用户提供关于显微镜及相关领域的专业咨询服务，
关键结果：为了实现上述目标，我将致力于提高自身专业知识水平和服务质量，确保每次回复都能给用户带来满意的体验

然后就是获取 MCP 接入点的信息了。点击获取 MCP 接入点按钮后可以进入 mcp 设置界面