【花雕动手做】ESP‑Mosaico：AI 智能体赋能模块化机器人

全球首款专为代码智能体设计的模块化 AIoT 开发硬件，打通自然语言创意到真实可运行硬件原型的链路。

楔子：一个时代命题的回应乐鑫信息科技 (688018.SH) 正式推出 ESP‑Mosaico，一款面向 Coding Agent（代码智能体）的模块化智能开发硬件，原生支持多机物理拼接与动态硬件组合。针对当下 AI 软件快速迭代、硬件形态固化的行业矛盾，ESP‑Mosaico 重构了嵌入式开发范式：开发者无需在项目初期锁定硬件结构，可根据需求自由组合硬件模块、拼接多台设备、依托 AI 智能体持续迭代，让硬件能力与产品需求同步生长。

产品命名源自意大利语 Mosaico（镶嵌画）：如同无数色块拼接成完整画作，传感器、电机、屏幕、多台主机均可自由组合，依托 AI 智能体自动适配、开发、迭代，实现“硬件可拼接、能力可生长、代码可自迭代”的全新开发模式。

ESP‑Mosaico 提供两套原生 AI 创作体系：Chat Coding 零门槛原型搭建与 Vibe Coding 真机闭环迭代，可独立使用、亦可阶段性配合，完整覆盖从创意原型到落地产品的全开发链路。

## 一、传统痛点：硬件为何成为 AI 时代的慢变量？

AI 正在以前所未有的速度重塑软件开发范式。从 Copilot 到 Cursor，从 Devin 到各类 Coding Agent，软件正经历“需求即代码”的变革。但硬件开发依然困在工业时代的流程里：

**固定板卡**：功能在 PCB 设计阶段就被锁定，后期无法灵活调整；
**引脚束缚**：每更换一类传感器，就要查阅 datasheet、重新接线；
**驱动适配**：新增外设伴随驱动编写、调试、验证的大量重复工作；
**工具链门槛**：ESP‑IDF、Arduino、Keil、编译构建链带来较高学习成本。

软件可以做到分钟级迭代，硬件却往往需要周级甚至月级周期。这道鸿沟，已经成为 AI 时代硬件创新的主要瓶颈。需求变化时，开发者需要重新选型、接线、调试驱动、配置工具链，硬件迭代速度远远跟不上软件进化节奏。

ESP‑Mosaico 的使命，就是消除这道软硬件之间的迭代鸿沟。

## 二、主机核心硬件：不止是开发板，更是端侧 AI 算力终端

ESP‑Mosaico 主机本身是一套完整、可脱离电脑独立运行的智能终端，区别于传统必须依附 PC 的开发板。

**独立运行主机，承载完整应用**
主机采用轻薄机身与高屏占比设计，搭载 480×480 AMOLED 触控屏，支持触摸反馈，并内置电池，可独立运行。AMOLED 像素自发光，能够呈现清晰细腻的画面，在深色界面下有助于降低显示功耗。主机配备 USB Type‑C 双向供电接口，并提供双排 2.54 mm IO 引出接口，方便连接和扩展外部硬件。

**主控：ESP32‑S31**
主机以 ESP32‑S31 为主控。这颗 RISC‑V 架构芯片主频最高 320 MHz，内置 512 KB SRAM，并支持最高 32 MB 高速 DDR PSRAM，为图像处理、状态判断和实时交互等任务提供端侧计算能力。

硬件 JPEG 编解码和 DVP 摄像头接口，为取景、拍照和相册等图像应用提供专门通路；60 个可编程 GPIO，则为功能模块的持续扩展留出空间。同时，ESP32‑S31 在芯片层集成 Wi‑Fi 6、双模 Bluetooth 5.4 与 802.15.4，并支持 1 Gbps 以太网与 USB 2.0 高速 OTG 接口。经过板级设计、功能模块和系统软件，这些底层能力进一步转化为联网、设备配对、外设通信、电脑连接以及部署调试等产品能力。

补充说明：ESP32‑S31 为 S3 系列衍生型号，针对 Agent 端侧 AI 负载优化，主频与 PSRAM 能力增强；Wi‑Fi 6 大幅提升多设备组网带宽与稳定性，对多机器人集群实验至关重要。具体芯片指标以乐鑫官方 datasheet 为准。

**显示与人机交互**
2.16 英寸 480×480 AMOLED 触控屏，自发光特性，低功耗适配电池手持场景；
板载六轴 IMU、磁力计、麦克风、扬声器、震动马达，构建完整本地交互闭环。

**供电与扩展能力**
内置锂电池：脱离 USB 即可独立工作，实现现场手持造物；
Type‑C 双向供电：支持本机充电，也可向外设输出供电；
60 路可编程 GPIO，DVP 硬件摄像头接口，集成硬件 JPEG 编解码，适配视觉项目；
磁吸标准化模块接口：硬件热插拔体系的核心载体。

## 三、功能模块与多机拼接：硬件能力随需扩展

**功能模块，拓展感知反馈能力**
ESP‑Mosaico 将摄像头、传感器、按键、灯光、电机等能力封装为可组合的功能模块。接入受支持模块后，系统可自动识别并完成基础适配，开发者无需反复处理接线和底层驱动，即可根据应用需求自由组合。

从感知、输入到显示、执行，不同模块可以组合成完整交互链路。例如，摄像头与按键可以组合成可编程相机，也可以根据需求继续扩展更多硬件能力。

**多机拼接，拓展应用边界**
ESP‑Mosaico 的组合能力还可以从单台设备延伸到多台设备。多台主机可以识别彼此的相邻关系和姿态，并通过无线连接同步应用状态，让设备的拼合、分开和重新排列成为应用的一部分。

在跨屏游戏 Demo 中，不同设备可以分别呈现角色、地图和道具；同样的能力也可以用于信息面板等多屏交互场景。从一块屏幕到多块屏幕，设备的组合方式也成为创作的一部分。

## 四、两大 AI 创作模式：覆盖零基础到专业开发者全谱系

**1. Chat Coding｜对话即开发，零门槛生成硬件原型**
Chat Coding 主要面向初次接触编程或 AI 编程的创作者。
ESP‑Claw 是 ESP‑Mosaico 内置的 Coding Agent，也是对话式创作入口：创作者可以在主机屏幕上直接对话，也可以通过微信、QQ、飞书等社交软件与它交流。

创作者无需安装本地开发软件或配置工具链，只需描述想实现的功能，ESP‑Claw 就会结合当前设备和已接模块能力生成应用，并部署到主机上运行；应用的生成与构建通过所连接的服务在云端完成；应用部署后，不依赖在线能力的界面、逻辑和外设控制都在主机本地运行。

例如，创作者可以告诉 ESP‑Claw：“帮我写一个俄罗斯方块小游戏。”ESP‑Claw 会自行在设备上编写并运行一个可以通过按键控制的俄罗斯方块游戏。第一版成功运行后，创作者可以继续提出修改，如调整方块下落速度、增加计分功能或优化界面等。通过不断迭代，创作者可以完成一个可运行、可交互的硬件原型，并在此过程中逐步学会表达需求、观察结果和调整方案。

除了直接描述需求，创作者还可以在 Skills Lab 中使用已经封装好的 Skill。Skill 是可直接运行和分享的设备应用包，封装 Lua 脚本、静态资源与外设依赖，让成熟应用能够直接安装到 ESP‑Mosaico 上。同时，创作者也可以将自己通过 ESP‑Claw 完成的应用打包为 Skill，上传到 Skills Lab 分享；对于支持二次创作的 Skill，还可以在原有应用基础上继续修改和扩展。

该模式非常适合创客教育与非技术创作者，把造物重心从语法与寄存器重新拉回创意本身。

**2. Vibe Coding｜真机闭环，Agent 自主持续迭代**
ESP‑Mosaico 针对 Vibe Coding 开发流程中的 UI 设计、资源搜集、仿真、烧录调试等环节进行全流程优化，让创作者和 Agent 可以直接在真实设备上持续开发和验证。

完整闭环链路：修改代码 → 构建部署 → 真机运行测试 → 采集硬件反馈 → 自动调整优化

规范驱动的 UI 设计：ESP‑Mosaico 将 UI 设计规范、组件规则、资源约束等沉淀为文档、参考设计和 Skill，为 Agent 提供明确设计边界。开发者可以定义产品定位、交互和视觉规范，Agent 则在统一的屏幕尺寸、字体、布局和组件规则下生成界面，减少随机组合代码带来的不确定性。

面向 AI 的高性能 UI 框架：基于预编译 UI 框架 ESP‑GSP，Agent 可以通过结构化 JSON 描述界面，工具链在构建阶段检查控件错误和资源缺失，并提供明确反馈。UI 采用树状结构描述，便于 Agent 理解页面结构，也便于开发者进行细节调整；同一套资源可先在 PC 端仿真，再部署到 ESP32 真机验证，减少反复烧录和调试成本。

多模态调试闭环工作流：通过 Wi‑Fi / USB High‑Speed 数据链路和统一接口，向开发者和 Agent 开放烧录、输入、设备控制和状态观测能力。设备可将 UI、音频、触摸输入、性能指标和故障信息整理为结构化数据，Agent 据此执行自动化操作、分析运行结果并进入下一轮修复；配合可选 Test Dock，即使应用失去响应，也可以重新建立设备控制，继续完成真机验证。

统一开发资源入口：提供初始代码仓库、BSP、软硬件原理图、通用 SDK、Agent References 和参考工程，为 Agent 提供开发所需的硬件上下文、接口信息与最佳实践。开发者使用常见 AI 编程工具即可基于这些资源快速进入 ESP‑Mosaico 开发流程。

在这些能力支撑下，Agent 可以持续围绕“开发—部署—验证—优化”闭环迭代，开发者只需定义目标、安全边界和验收条件。

典型实例：Agent 生成平衡控制代码并烧录运行，通过 IMU 数据发现车身偏移，自动修正 PID 参数，重新部署复测，整个过程无需人工干预。

## 五、模块化与多机协同：硬件的乐高时刻

**即插即识别磁吸模块化外设**
摄像头、毫米波雷达、光源、步进电机、BLDC 无刷驱动、各类传感器被封装为标准化磁吸模块。
模块接入瞬间自动枚举识别、自动加载底层驱动。开发者面向硬件能力开发，不再纠结引脚定义与底层驱动编写。
可快速搭建完整链路：感知外设 → 输入交互 → 屏幕显示 → 电机执行机构。

**多主机物理拼接协同**
多台 ESP‑Mosaico 主机之间：
依靠 IMU 感知相互位置与相对姿态；
Wi‑Fi / 蓝牙自动 Mesh 组网，同步应用状态；
设备拼接、拆分、重组可以直接作为程序交互输入。
可用场景包括多屏交互演示、分布式传感阵列；在机器人方向，能够低成本开展多机编队、分布式协同作业实验。

## 六、典型应用场景

**移动机器人快速原型**
模块化体系高度适配机器人研发：
外接电机驱动模块，驱动轮式、履带底盘；
搭配 BLDC 驱动外设，搭建无刷动力机器人；
接入雷达、IMU，实现多传感器融合、避障导航；
多台主机组网，完成多机器人集群编队原型验证。

**创客教育与 AI 硬件普及**
Chat Coding 大幅降低嵌入式门槛。零基础学习者依靠自然语言即可完成真实硬件项目，不需要预先掌握 C 语言、GPIO 原理或示波器调试。

**交互装置与边缘 AI 感知**
板载麦克风、扬声器、触控、IMU，搭配摄像头接口，适合快速开发艺术交互装置、边缘感知原型，把概念快速转化为实物。

**专业传统嵌入式开发**
ESP‑Mosaico 完整兼容 ESP‑IDF 原生开发。专业开发者仍可手写 C/C++，开发 FreeRTOS 任务、调试无线协议栈。它既是 AI 智能体开发平台，也是标准 ESP32 系列高性能开发板。

## 七、核心价值解读：何为“突破硬件边界”

突破编程边界：用自然语言操控真实硬件，不必深耕嵌入式语法；

突破硬件接线边界：磁吸模块 + 自动枚举驱动，摆脱引脚、数据手册和底层驱动负担；

突破单机边界：多机物理感知 + 无线 Mesh 协同，能力从单机横向扩展为集群系统；

突破原型迭代边界：AI 读取真机反馈形成闭环迭代，软件逻辑和硬件行为同步优化；

突破环境边界：内置锂电池 + 无线链路，脱离电脑，现场完成硬件创作。

## 后记：让代码真正跑在硬件上


AI 可以生成代码，但要让代码真正运行在硬件上，还需要芯片、驱动、协议栈、组件、构建工具和真实设备等完整工程基础。

乐鑫已经建立了完整的 ESP 开发生态，包括 ESP‑IDF、驱动与组件、技术文档、构建与调试工具、ESP Component Registry 以及丰富的社区项目。GitHub 上围绕 ESP32 和 ESP8266 的项目已超过 20 万个，相关书籍超过 300 本，并以 10 余种语言出版。这些内容都可以通过检索、项目上下文和工具接口，成为 Agent 的工程依据。

从开放的工程资源，到真实设备的反馈，ESP‑Mosaico 让 AI 硬件开发拥有了一套可以参考、调用和验证的基础。

第一次接触硬件编程的创作者，可以从 Chat Coding 开始；有明确产品目标的开发者，则可以通过 Vibe Coding，让 Agent 参与开发、测试与迭代。让软件里的想法连接硬件，让代码最终变成可以运行、验证和迭代的真实设备。

ESP‑Mosaico 拥有丰富的开发资源。开发者可以访问 ESP‑Mosaico 官方网站了解产品详情及相关开发资源，也可以将完成的应用通过 Skills Lab 分享给更多用户。

**附录：**
官网  https://mosaico.espressif.com
https://docs.espressif.com/proje ... -mosaico/index.html
开发板文档  https://docs.espressif.com/proje ... master-esp32s31.pdf

附录 ESP‑Mosaico 面向 BLDC 机器人项目实操


定位：ESP‑Mosaico承担AI决策大脑+感知中枢；不直接驱动大功率BLDC，动力执行交给外部FOC驱动器/ESC电调；依托ESP‑Claw完成自然语言原型验证、真机闭环迭代、多BLDC机器人集群实验。
系统分层：感知决策层（ESP‑Mosaico）→通信指令层→BLDC驱动执行层→底盘机械层

A‑1 硬件搭建两套方案

方案A：磁吸模块快速原型（优先）
1. ESP‑Mosaico主机 + 磁吸BLDC(FOC/ESC PWM)驱动模块、雷达/IMU里程计磁吸模块
2. 执行机构：带霍尔/磁编码器三相无刷电机，差速轮式/履带底盘
3. 供电规则
- Mosaico：本机锂电池供电
- BLDC驱动器、电机：独立动力电源，必须共GND，严禁共VCC，防止电机大电流造成主控重启
4. 磁吸外设插入自动识别加载驱动，无需手动配置引脚。

方案B：外接自定义FOC驱动板（深度算法开发）
1. 利用磁吸接口引出UART / PWM / GPIO，外接SimpleFOC驱动板或者航模ESC电调
2. 通信二选一
- PWM模式：Mosaico输出50Hz舵机PWM信号控制ESC
- 硬件UART：串口115200，下发目标速度、力矩指令；回传电机转速、电流、故障状态
3. 雷达、急停限位开关接入Mosaico磁吸扩展接口。
重要提醒：Mosaico主机GPIO驱动电流小，严禁直接接BLDC功率绕组，必须外接功率驱动板。

A‑2 两种开发工作流
适用：差速运动、避障、跟随逻辑快速验证
1. 硬件接线检查完毕，设备联网
2. 屏幕/IM输入自然语言示例：
“搭建双BLDC差速履带机器人，读取毫米波雷达做避障，检测到障碍物停止并转向，屏幕显示左右电机实时转速”
3. ESP‑Claw Agent识别硬件，自动生成Lua脚本下发运行
4. 观察真机行为，持续对话调参：“降低BLDC最大速度，增大转向阻尼，遇障碍后退300ms再转向”
5. 逻辑验证通过后导出工程，可转入底层调优。

工作流2：Vibe Coding｜真机闭环迭代（复杂算法调优）
适用：滑移补偿、传感器融合、RVO避障、姿态估计
1. Mosaico持续采集：雷达测距、IMU姿态、驱动器回传转速/电流、编码器里程计数据
2. Agent读取真机现象，识别打滑、转向漂移、低速抖动等实际问题
3. 自动修改PID、速度限幅、滑移补偿系数，自动重新部署脚本完成迭代
4. 算法稳定后可导出工程，迁移ESP‑IDF C/C++实现高性能固化版本。

A‑3 单机BLDC机器人标准开发步骤

1. 硬件与电源校验：电机动力电源独立，可靠共地；单独测试BLDC电机，确认转向、极对数、霍尔信号正常，消除啸叫抖动。
2. 基础运动验证：对话生成脚本，完成前进后退差速转向，校准左右电机速度一致性，屏幕展示转速、电流状态。
3. 感知接入：接入雷达、IMU构建里程计；实现避障启停、速度闭环巡航。
4. 算法层调试：滑移感知、姿态融合、自适应速度控制，借助Vibe Coding自动调参。
5. 安全机制集成：接入硬件急停；脚本实现软件看门狗、BLDC故障状态机，异常立刻切断电机输出。
6. 产品固化：原型验证完成，迁移ESP‑IDF C/C++，用于长时间实地作业。

A‑4 多BLDC机器人集群实操

每台机器人 = ESP‑Mosaico主机 + 一套BLDC底盘
1. 多机上电，自动Mesh组网；依靠IMU获取主机之间相对姿态位置。
2. 两种集群模式
- 集中式：一台主机Agent做全局决策，下发编队指令，其余从机接收指令控制BLDC底盘。
- 分布式自主协同：每台机器人本地运行RVO互惠避障算法，互相广播位置、速度、障碍物信息，本地计算BLDC输出，实现圆形编队、动态避障。
3. 调试：每台Mosaico屏幕展示本机ID、BLDC运行状态、集群相对位置；支持Agent批量下发调试指令。

A‑5 五大实操避坑要点

1. 算力任务隔离：AI决策不做电机高速闭环
Agent大模型推理会占用CPU；FOC微秒级闭环PID不要放在Lua脚本内执行。将实时闭环下沉到外部FOC驱动板。Mosaico仅负责高层决策：输出目标速度、目标角度，读取反馈，不承担时序严苛的电机运算，避免抖动失控。
2. 电源与信号完整性为第一大坑
BLDC启动、堵转存在大电流冲击；动力电源输入端增加大容量电解电容抑制电压尖峰；必须可靠共地，否则会出现主控重启、传感器乱码。
3. 闭环反馈链路必须完整
单纯开环PWM输出转速会受电池电压、负载、滑移影响发生漂移。BLDC驱动务必回传编码器/霍尔转速；Mosaico结合IMU做多传感器融合里程计，保障导航、编队精度。
4. 强制安全状态机
脚本必须处理通信超时、驱动器报错、急停触发等异常，立刻置零电机输出。Agent自动生成脚本务必人工复核安全逻辑，大功率底盘禁止直接裸跑。
5. 合理选用两套开发体系
Chat‑Coding / Vibe‑Coding适合原型快速验证；长时间高强度作业项目建议迁移ESP‑IDF C/C++，Lua脚本不适合7×24小时连续运行。

A‑6 可落地项目清单

1. BLDC差速履带巡检机器人（毫米波雷达避障+IMU姿态融合）
2. 滑移感知自适应速度移动机器人
3. 多BLDC机器人RVO动态避障、自适应圆形编队
4. 应急救援机器人原型（多传感器融合+硬件急停状态机）
5. 底盘运动学模型、FOC参数快速验证平台