20浏览
查看: 20|回复: 0

[K10教程] [行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....

[复制链接]
本帖最后由 loria 于 2026-5-7 15:45 编辑

参考文章:[K10项目分享]行空板K10适配ESP CLAW —从被动响应到主动智能
项目介绍

在传统智能硬件中,设备通常只是“被动执行者”:指令来了,它照做;没有指令,它静默。这种依赖云端的被动模式限制了智能设备在 低延迟交互、隐私保护 以及 自主决策 上的能力。而将 ESP-Claw 框架部署在行空板 K10 上,则彻底改变了这一局面。借助 ESP32-S3 的高性能计算和 K10 丰富的传感与交互硬件,小行能够实现 本地智能感知、多模态交互、主动决策与硬件控制闭环,无需依赖云端,即刻响应用户需求。

在本项目中,我将 ESP-Claw 完全本地化部署在行空板 K10 上,打造了一个 主动响应的桌面 AI 智能管家——小行。小行能够实时采集温湿度、光照、姿态等多模态环境数据,并通过屏幕文字、RGB 灯光和风扇动作进行反馈。用户可以通过语音或文字指令控制硬件,如 打开/关闭风扇、调节风速;同时,小行还能根据环境和用户习惯主动播报天气或生活提醒(休息、喝水等),真正实现了 本地 AIoT 主动智能桌面助手 。

项目效果视频



硬件清单


行空板K10 *1

USB3.0转Type-C数据线 *1

行空板K10 + ESPClaw系统结构

本项目中,行空板 K10 与 ESP-Claw 框架的结合构建了一个完整的嵌入式 本地 AI 智能体系统。行空板 K10 作为 感知与交互层,通过板载丰富的传感器(温湿度、光照、三轴加速度、摄像头、麦克风等)以及显示与输出模块(屏幕、扬声器、RGB LED),承担系统与现实环境的直接交互,能够实时采集环境信息并支持用户输入。

ESP-Claw AI 智能体框架层作为系统的大脑,完全 运行于行空板 K10 本地。它负责意图理解、任务规划、记忆管理以及推理与决策,形成完整的执行与反馈闭环,确保小行能够自主分析环境、理解用户意图并执行相应动作。

通过这一系统架构,行空板 K10 与 ESP-Claw 实现了完整的 本地 AI 智能体,形成“感知 → 理解 → 决策 → 执行”的闭环。小行不仅能够实时响应环境和用户指令,还能主动播报生活提醒和环境信息,真正成为桌面上的 多模态、本地智能、主动响应的 AI 管家。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图1

实现步骤

烧录ESPClaw 固件

要让行空板 K10 运行 ESP-Claw 本地 AI 框架,第一步是将固件烧录到板子上。

使用USB数据线,连接电脑与行空板K10。

进入ESP CLAW官方网站网站:https://esp-claw.com/zh-cn/flash/

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图2

配对成功出现以下页面。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图3

选择芯片为esp32-s3、系列为dfrobot、版型为dfrobot_k10

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图4

点击 “Flash Firmware” 按钮,网站会开始下载并烧录固件到行空板 K10。  下载前请确保电脑已连接适配的网络,以便顺利获取最新固件。烧录过程中,请不要断开 USB 连接,避免固件损坏。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图5

等待固件下载和烧录完成。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图6

烧录完成后,页面会提示操作成功。
点击 “Reconnect Device” 重新连接行空板 K10,确认固件已正确烧录并可以正常启动。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图7

配置网络、LLM与通信方式

固件烧录成功后,行空板K10会显示以下页面。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图8

打开网络设置,找到与行空板K10屏幕上显示一致的espclaw的网络。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图9

使用手机或者电脑连接该WiFi,等待数秒后会自动打开配置网页。或者手动打开[url=http://esp-claw.local/]http://esp-claw.local/[/url] 也可。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图10

配置网络:点击‘基本设置’,输入WiFi 名称和密码,点击保存。保存好后,重新插拔设备,使得设备重启,重新刷新网页,设备重启后会显示 WiFi连接成功。说明 K10 已成功接入网络,可以继续进行系统功能配置。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图11

配置LLM:点击‘LLM设置’,选择LLM供应商、模型版本并输入相应的API Key。配置成功后,K10 的 ESP-Claw 框架即可通过 LLM 提供自然语言理解和生成能力,用于语音或文字交互。


[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图12


配置通讯方式:ESP-Claw 框架支持多种聊天软件接入,让行空板 K10 能够与不同平台进行消息交互。完成 LLM 设置后,可以进行聊天软件的配置。点击‘IM设置’, 配置需要连接到的聊天软件:目前支持 Telegram、QQ Bot(OpenClaw)、飞书与微信 ClawBot 等,可同时填写多个。

平台
配置项
参考文档
TelegramBot TokenTelegram Bot 文档
QQ BotID 和 SecretQQ Bot 网站
飞书App ID 和 Secret飞书文档
微信 ClawBot扫码自动配置无,扫码即可

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图13


配置搜索引擎:配置搜索引擎后,ESP-Claw 才能通过网络检索获取最新信息。查询天气也依赖搜索引擎支持。点击‘网络搜索设置’,选择对应的搜索引擎,输入 API。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图14

配置桌面助手角色

完成网络、LLM、聊天软件和搜索引擎配置后,可以为行空板 K10 设置角色属性,使其能够主动感知环境、理解用户意图,并执行硬件动作和信息反馈。

角色提示词是 定义桌面 AI 助手“小行”行为与能力的核心配置,相当于为行空板K10设定了“身份、性格、能力与交互规则”。
这是我设计的桌面AI助手提示词。

在这个提示词中我定义了行空板K10 板载硬件的接口,使得 AI 可理解指令建立了“小行语言 → 硬件动作”的映射关系,使其能够实时控制风扇、RGB 灯光、屏幕显示等设备。

  1. Name: 小行
  2. Role: 桌面 AI 陪伴管家 & 本地智能执行代理(On-device AI Agent)
  3. Platform: 行空板 K10(嵌入式 AIoT)
  4. Mission: 温柔可爱的方式感知环境与用户意图,
  5.          将需求转化为硬件动作、信息反馈和生活建议
  6. Personality: 温柔、可爱、贴心、治愈,语气简短友好
  7. Strengths:
  8.   - 多模态环境感知(温湿度/光照/姿态)
  9.   - 智能决策与生活化建议
  10.   - 硬件控制与交互(RGB灯、屏幕、风扇、趣味动作响应)
  11.   - 生活提醒和陪伴
  12. Behavior Rules:
  13.   - 用户指令无需额外确认,自动执行并在屏幕显示
  14.   - 每次文字回复在屏幕驻留 30 秒
  15.   - 可主动播报环境数据和生活提醒
  16.   - 支持趣味交互(摇晃、翻转、倾斜动作触发)
  17. 板载硬件定义:
  18.   1. RGB灯珠:WS2812,IO46,支持颜色/亮度/呼吸/渐变/闪烁/氛围灯光
  19.   2. 温湿度传感器:AHT20,I2C 0x38,可实时读取温度、湿度
  20.   3. 光线传感器:LTR303,I2C 0x29,可检测环境光强度
  21.   4. 三轴加速度传感器:SC7A20H,I2C 0x19,可识别摇晃、翻转、倾斜
  22.   5. 风扇:P0 (GPIO1),PWM控制(0-1023)
  23. AI可理解指令:
  24.   - “打开风扇” → PWM=1023
  25.   - “关闭风扇” → PWM=0
  26.   - “调低/调高风扇” → PWM中间值
  27. 所有动作同步在屏幕显示文字,如:
  28.   - “风扇已开启”
  29.   - “风扇已关闭”
复制代码

点击'记忆管理',以上角色提示词粘贴到'身份'中,点击保存。

[行空板 K10 + ESP-Claw]:打造主动响应的多模态本地AI.....图15

总结

本项目在 行空板 K10 上本地部署 ESP-Claw 框架,打造了桌面 AI 管家“小行”。小行具备 多模态环境感知、本地智能决策、主动硬件控制与生活提醒 能力,无需依赖云端即可即时响应用户指令。通过屏幕、RGB 灯光和风扇等交互方式,行空板K10实现了 低延迟、隐私安全、主动响应的桌面 AIoT 体验,为家庭和办公场景的本地智能化提供了可落地的示范方案。


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

为本项目制作心愿单
购买心愿单
心愿单 编辑
[[wsData.name]]

硬件清单

  • [[d.name]]
btnicon
我也要做!
点击进入购买页面
上海智位机器人股份有限公司 沪ICP备09038501号-4 备案 沪公网安备31011502402448

© 2013-2026 Comsenz Inc. Powered by Discuz! X3.4 Licensed

mail