1093浏览
查看: 1093|回复: 10

[K10教程] [行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....

[复制链接]
本帖最后由 loria 于 2026-5-13 10:25 编辑

参考文章:[K10项目分享]行空板K10适配ESP CLAW —从被动响应到主动智能
项目介绍

在大多数智能硬件中,设备只能“听指令做事”。想让它开风扇、亮灯,或者感知环境变化,都必须通过繁琐的编程和指令控制,否则它只能静静等待。这样的设备虽然能完成任务,但显得被动、迟缓,而且对隐私和自主决策几乎没有支持。

而 ESP-Claw 的出现彻底改变了这一局面。它让硬件无需编程,就能直接具备 本地 AI 能力:可以自主感知环境、主动决策,并与用户进行多模态交互。借助 行空板 K10 的 ESP32-S3 芯片和丰富的传感器接口,我打造了一个真正会“思考”的桌面 AI 助手——小行

小行能够实时监测温湿度、光照、姿态等多模态数据,并通过屏幕文字、RGB 灯光和风扇动作进行反馈。你可以用语音或文字指令控制它开关风扇、调节风速;更有趣的是,它还能根据环境和你的习惯主动提醒天气、休息或喝水,就像一个贴心的桌面小伙伴。
通过 ESP-Claw 的本地化部署,行空板K10实现了 本地智能感知、主动决策和硬件控制闭环,无需依赖云端与复杂的编程即可快速响应,让硬件不再是冰冷的工具,而是真正懂你、主动服务的智能伴侣。


项目效果视频



硬件清单


行空板K10 *1

USB3.0转Type-C数据线 *1

行空板K10 + ESPClaw系统结构

本项目中,行空板 K10 与 ESP-Claw 框架的结合构建了一个完整的嵌入式 本地 AI 智能体系统。行空板 K10 作为 感知与交互层,通过板载丰富的传感器(温湿度、光照、三轴加速度、摄像头、麦克风等)以及显示与输出模块(屏幕、扬声器、RGB LED),承担系统与现实环境的直接交互,能够实时采集环境信息并支持用户输入。

ESP-Claw AI 智能体框架层作为系统的大脑,完全 运行于行空板 K10 本地。它负责意图理解、任务规划、记忆管理以及推理与决策,形成完整的执行与反馈闭环,确保小行能够自主分析环境、理解用户意图并执行相应动作。

通过这一系统架构,行空板 K10 与 ESP-Claw 实现了完整的 本地 AI 智能体,形成“感知 → 理解 → 决策 → 执行”的闭环。小行不仅能够实时响应环境和用户指令,还能主动播报生活提醒和环境信息,真正成为桌面上的 多模态、本地智能、主动响应的 AI 管家。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图15

实现步骤

烧录ESPClaw 固件

要让行空板 K10 运行 ESP-Claw 本地 AI 框架,第一步是将固件烧录到板子上。

使用USB数据线,连接电脑与行空板K10。

进入ESP CLAW官方网站网站:https://esp-claw.com/zh-cn/flash/
[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图16

点击'Connect',找到行空板K10对应的串口完成连接。


[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图1

配对成功出现以下页面。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图2

选择芯片为esp32-s3、系列为dfrobot、版型为dfrobot_k10

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图3

选择控制台输出为'JTAG'
[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图19

点击 “Flash Firmware” 按钮,网站会开始下载并烧录固件到行空板 K10。  下载前请确保电脑已连接适配的网络,以便顺利获取最新固件。烧录过程中,请不要断开 USB 连接,避免固件损坏。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图4

等待固件下载和烧录完成。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图5

烧录完成后,页面会提示操作成功。
点击 “Reconnect Device” 重新连接行空板 K10,确认固件已正确烧录并可以正常启动。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图6

配置网络、LLM与通信方式

固件烧录成功后,行空板K10会显示以下页面。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图7

打开网络设置,找到与行空板K10屏幕上显示一致的espclaw的网络。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图8

使用手机或者电脑连接该WiFi,等待数秒后会自动打开配置网页。或者手动打开[url=http://esp-claw.local/]http://esp-claw.local/[/url] 也可。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图9

配置网络:点击‘基本设置’,输入WiFi 名称和密码,点击保存。保存好后,重新插拔设备,使得设备重启,重新刷新网页,设备重启后会显示 WiFi连接成功。说明 K10 已成功接入网络,可以继续进行系统功能配置。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图10

配置LLM:点击‘LLM设置’,选择LLM供应商、模型版本并输入相应的API Key。配置成功后,K10 的 ESP-Claw 框架即可通过 LLM 提供自然语言理解和生成能力,用于语音或文字交互。


[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图11


配置通讯方式:ESP-Claw 框架支持多种聊天软件接入,让行空板 K10 能够与不同平台进行消息交互。完成 LLM 设置后,可以进行聊天软件的配置。点击‘IM设置’, 配置需要连接到的聊天软件:目前支持 Telegram、QQ Bot(OpenClaw)、飞书与微信 ClawBot 等,可同时填写多个。

平台
配置项
参考文档
TelegramBot TokenTelegram Bot 文档
QQ BotID 和 SecretQQ Bot 网站
飞书App ID 和 Secret飞书文档
微信 ClawBot扫码自动配置无,扫码即可

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图12


配置搜索引擎:配置搜索引擎后,ESP-Claw 才能通过网络检索获取最新信息。查询天气也依赖搜索引擎支持。点击‘网络搜索设置’,选择对应的搜索引擎,输入 API。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图13

配置桌面助手角色

完成网络、LLM、聊天软件和搜索引擎配置后,可以为行空板 K10 设置角色属性,使其能够主动感知环境、理解用户意图,并执行硬件动作和信息反馈。

角色提示词是 定义桌面 AI 助手“小行”行为与能力的核心配置,相当于为行空板K10设定了“身份、性格、能力与交互规则”。
这是我设计的桌面AI助手提示词。

在这个提示词中我定义了行空板K10 板载硬件的接口,使得 AI 可理解指令建立了“小行语言 → 硬件动作”的映射关系,使其能够实时控制风扇、RGB 灯光、屏幕显示等设备。

  1. Name: 小行
  2. Role: 桌面 AI 陪伴管家 & 本地智能执行代理(On-device AI Agent)
  3. Platform: 行空板 K10(嵌入式 AIoT)
  4. Mission: 温柔可爱的方式感知环境与用户意图,
  5.          将需求转化为硬件动作、信息反馈和生活建议
  6. Personality: 温柔、可爱、贴心、治愈,语气简短友好
  7. Strengths:
  8.   - 多模态环境感知(温湿度/光照/姿态)
  9.   - 智能决策与生活化建议
  10.   - 硬件控制与交互(RGB灯、屏幕、风扇、趣味动作响应)
  11.   - 生活提醒和陪伴
  12. Behavior Rules:
  13.   - 用户指令无需额外确认,自动执行并在屏幕显示
  14.   - 每次文字回复在屏幕驻留 30 秒
  15.   - 可主动播报环境数据和生活提醒
  16.   - 支持趣味交互(摇晃、翻转、倾斜动作触发)
  17. 板载硬件定义:
  18.   1. RGB灯珠:WS2812,IO46,支持颜色/亮度/呼吸/渐变/闪烁/氛围灯光
  19.   2. 温湿度传感器:AHT20,I2C 0x38,可实时读取温度、湿度
  20.   3. 光线传感器:LTR303,I2C 0x29,可检测环境光强度
  21.   4. 三轴加速度传感器:SC7A20H,I2C 0x19,可识别摇晃、翻转、倾斜
  22.   5. 风扇:P0 (GPIO1),PWM控制(0-1023)
  23. AI可理解指令:
  24.   - “打开风扇” → PWM=1023
  25.   - “关闭风扇” → PWM=0
  26.   - “调低/调高风扇” → PWM中间值
  27. 所有动作同步在屏幕显示文字,如:
  28.   - “风扇已开启”
  29.   - “风扇已关闭”
复制代码

点击'记忆管理',以上角色提示词粘贴到'身份'中,点击保存。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图14

通过设置桌面助手的提示词,行空板K10变成了一个真正主动响应的贴心桌面管家——小行,不仅能操控风扇、灯光和屏幕,还可以查询天气、设置闹钟提醒。
借助微信等聊天工具,可以直接与装载espclaw的行空板K10对话。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图17



直接通过微信发文字或使用语音与桌面助手对话,发布命令让其执行。


[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图18


总结

无需任何复杂编程,通过将 ESP-Claw 框架本地化部署在行空板 K10 上,成功为硬件赋予了自主“思考”的 AI 大脑,让行空板K10变为我们的桌面AI管家。不同于传统智能硬件需要依赖编程和云端指令才能运行的局限,本项目实现了“自然语言直接指令、硬件即时响应”的便捷体验,用户无需掌握编程技能,只需通过语音或文字发出需求,就能让行空板 K10 完成风扇控制、灯光调节、环境监测等操作,真正让硬件从“被动执行”升级为“主动响应”的智能伙伴。

当然,依托 ESP-Claw 框架的开源特性和可扩展性,通过设计不同的 skill(技能),让行空板 K10 的主动感应能力更加强大、更加贴合多样化场景。例如,可开发环境异常预警 skill,实现温湿度、光照超标时的自动报警与调节;开发用户习惯适配 skill,精准匹配用户作息,提供更个性化的休息、工作提醒;期待后续有其他小伙伴能进一步优化这个桌面AI助手。




tYXrdAPPJWVU  见习技师

发表于 2026-5-9 09:44:47

为什么显示我的k10无法上传,明明内存是够的
回复

使用道具 举报

loria  高级技师
 楼主|

发表于 2026-5-9 14:23:35

tYXrdAPPJWVU 发表于 2026-5-9 09:44
为什么显示我的k10无法上传,明明内存是够的

请问是在esp官网在线烧录还是本地烧录工具烧录时碰到的这种情况,能给个截图吗
回复

使用道具 举报

胖胖的王萌萌  学徒

发表于 2026-5-9 14:52:41

就是不行,不知道什么原因

本帖最后由 胖胖的王萌萌 于 2026-5-9 14:54 编辑
loria 发表于 2026-5-9 14:23
请问是在esp官网在线烧录还是本地烧录工具烧录时碰到的这种情况,能给个截图吗 ...

就是这样,烧录的按键是灰色的,并且console output是不可选择状态,不知道什么原因,板子是行空板K10
111b7414-d39c-4330-ba58-6894d1da52f3.png
回复

使用道具 举报

tYXrdAPPJWVU  见习技师

发表于 2026-5-9 15:15:31

胖胖的王萌萌 发表于 2026-5-9 14:52
就是这样,烧录的按键是灰色的,并且console output是不可选择状态,不知道什么原因,板子是行空板K10
...

我这边也是一样的,我已经按照教程说的,按住boot键了再接电了,然后还清理了内存,但是始终不能上传
回复

使用道具 举报

胖胖的王萌萌  学徒

发表于 2026-5-9 15:17:11

我也是,但是改了品牌和开发板就好了,但应该不能有吧

本帖最后由 胖胖的王萌萌 于 2026-5-9 15:18 编辑
tYXrdAPPJWVU 发表于 2026-5-9 15:15
我这边也是一样的,我已经按照教程说的,按住boot键了再接电了,然后还清理了内存,但是始终不能上传 ...

我也是,但是改了品牌和开发板就好了,但应该不能用吧
回复

使用道具 举报

tYXrdAPPJWVU  见习技师

发表于 2026-5-9 18:12:39

我这边找到找到K10的文档,使用方案二成功下载了,但是卡在配置这里了
回复

使用道具 举报

量子内核  学徒

发表于 2026-5-10 13:37:51

胖胖的王萌萌 发表于 2026-5-9 14:52
就是这样,烧录的按键是灰色的,并且console output是不可选择状态,不知道什么原因,板子是行空板K10
...

烧录页面连接后检测到的CONSOLE OUTPUT是JTAG,获取的fireware文件里只有UART的,可以手动用浏览器开发者工具强制把自动检测到的ConsoleOutput值从JTAG改成UART就可以正常烧录了。 o.detectedConsoleOutput='UART'
回复

使用道具 举报

loria  高级技师
 楼主|

发表于 2026-5-13 10:08:14

tYXrdAPPJWVU 发表于 2026-5-9 18:12
我这边找到找到K10的文档,使用方案二成功下载了,但是卡在配置这里了
...

电脑连接K10对应的espclaw的网络了吗,如果连接了配置的网页应该会自动跳出来,卡在了哪一步?
回复

使用道具 举报

loria  高级技师
 楼主|

发表于 2026-5-13 10:10:04

tYXrdAPPJWVU 发表于 2026-5-9 15:15
我这边也是一样的,我已经按照教程说的,按住boot键了再接电了,然后还清理了内存,但是始终不能上传 ...

可以按照官方wiki的烧录方法2尝试一下:https://www.unihiker.com.cn/wiki/k10/esp_claw
回复

使用道具 举报

loria  高级技师
 楼主|

发表于 2026-5-13 10:11:10

胖胖的王萌萌 发表于 2026-5-9 14:52
就是这样,烧录的按键是灰色的,并且console output是不可选择状态,不知道什么原因,板子是行空板K10
...

可以先按照官方wiki的烧录方法2尝试一下:https://www.unihiker.com.cn/wiki/k10/esp_claw
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2026 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail