【花雕动手做】ESP-Mosaico 入门｜乐鑫 AI Coding 模块化智能套件快速上手

ESP‑Mosaico 是乐鑫基于 **ESP32‑S31** 打造的 AI 原生模块化智能交互开发套件。板载 480×480 QSPI 方形触控屏、完整音频通路、六轴 IMU + 双磁力计，搭配磁吸扩展硬件体系，依托 **ESP‑Claw AI 智能体框架**，实现对话式硬件编程。可外接摄像头、8×8 RGB 灯矩阵、多功能交互子板等扩展模块，提供 **Chat Coding、Vibe Coding** 两套开发范式，使用者仅用自然语言描述创意，即可在实体硬件上快速完成原型迭代。

一、核心特点
1、主控与板载硬件
采用 ESP32‑S31 双核 RISC‑V 主控，集成 480×480 QSPI 方形触摸屏、ES8311 音频编解码器、D 类功放、BMI270 六轴 IMU、双 BMM150 磁力计、SPI NAND 大容量存储，同时具备 Wi‑Fi6、蓝牙 5.4、Thread/Zigbee 无线能力，兼顾多媒体、感知与无线互联需求。

2、磁吸模块化扩展
机身左右配置两组 **2×10P、2.54 mm 标准间距扩展插槽**，支持磁吸式热插拔扩展。可对接 SC101IOT 摄像头模块、多功能交互子板、8×8 RGB 灯矩阵等原厂模块；模块自带 EEPROM，主板上电自动识别硬件组态，免去手动配置引脚、编写底层驱动的工作。

3、AI 原生两套开发工作流
基于 ESP‑Claw 智能体框架，分为两种开发模式，覆盖从快速想法验证到正式工程原型：
- **Chat Coding（对话编程）**：板端直接通过语音 / 文字描述需求，AI 生成可运行应用，快速验证创意原型。
- **Vibe Coding（氛围编程）**：电脑端 AI 智能体完成编码、仿真、编译、真机部署、测试迭代的完整闭环，面向复杂 ESP‑IDF 工程开发。

4、多设备协同能力
支持磁吸物理对接、邻居设备检测、ESP‑NOW 无线通信，可做多机联动、跨屏交互、多人互动游戏等分布式创意项目。

二、软件生态
1. **Chat Coding**：板载对话式编程，用自然语言直接生成硬件应用，开箱即用。
2. **Vibe Coding**：电脑端完成项目创建、仿真模拟、工程构建、固件部署、真机反馈迭代。
3. **Ideas Center 社区创意库**：社区可浏览、下载、分享成品 Idea 应用，包含乐器、交互表盘、游戏、艺术装置等大量案例。

三、典型创意应用示例
- **8×8 RGB 矩阵灯模块**：实现动态灯效、像素图案、动画光影展示。
- **名画艺术灯**：将《星空》《蒙娜丽莎》等经典画作拆解为 64 色块，通过 RGB 矩阵输出光影效果。
- **望潮 Tide Watcher**：将股票涨跌数据转化为潮汐海面动态可视化，搭配语音查询与异动提醒。
- **旅行打卡**：随机生成摄影主题，完成拍摄后生成九宫格旅行作品集。
- **浴火木星**：480×480 屏幕实时渲染低模太空空战游戏，结合 IMU 姿态操控、振动马达、子板灯带反馈。

四、开发资源与工具
- 硬件文档：提供 CoreBoard V1.0 / V1.2 主板用户指南、摄像头模块、多功能交互子板完整手册。
- 固件工具：支持浏览器网页在线刷写固件，无需本地搭建复杂烧录环境。

ESP‑Mosaico 把模块化硬件、端侧 AI 智能体、多媒体交互融为一体，非常适合创意原型验证、创客教学、端侧智能交互设备开发。
 

## 快速上手预装的 Mosaico-Claw Idea

1、ESP-Mosaico 按键与接口总览

按键与充电指示灯速查

2、开机界面
 

3、向右滑动，进入设置Settings，连接WIFI

4、连接WIFI后的开机界面，有连接WIFI标志，显示时间和本地（福州）气温，点开有一周天气预报

5、进入设置Settings，最后一行是 ESP‑Mosaico 的About（关于本机） 页面：

- **Model：ESP-MOSAICO**
设备型号：乐鑫 ESP‑Mosaico 模块化开发套件
- **Software：0.4.0**
当前运行的 **Idea（Mosaico‑Claw）应用版本号**，也就是 Chat Coding 这套 AI 对话程序的版本。
- **GSP：v1.5.1**
GSP = **Espressif Graphics Scene Processor（乐鑫图形场景处理器）**，是 Mosaico 底层专用 UI 渲染框架，所有界面、按钮、动画都靠它渲染，v1.5.1 是这个 UI 库的版本号。
- **Display：2.16" 480×480**
屏幕参数：2.16 英寸，分辨率 480×480 方形触控屏，和硬件规格一致。

6、升级至最新固件V0.6.0（在线 https://mosaico.ai/zh-hans/firmware）

打开关于本机，查看更新情况

7、相机功能 camera

简单拍照（带闪光灯）

打开 ESP-Mosaico 摄像头子板的视觉功能面板：

- **QR（QR Code）**：二维码识别，读取二维码信息
- **Color**：颜色识别，识别画面里目标颜色
- **Motion**：运动检测，识别画面里移动变化

下方三个按钮：相册预览、拍照、翻转摄像头；右上角是拍照与闪光灯开关。
依托 SC101IOT DVP 摄像头，开箱即可直接做视觉识别，也可以在 ChatCoding 里用自然语言编写视觉项目。

8、CLAW 对话编程入口（第二个）

ESP‑Mosaico 的 **Mosaico‑Claw（Chat Coding）AI 对话编程界面**，搭配摄像头模块。

- **Quick Ask**：快速问答，直接提问、查资料
- **AI Create**：核心的对话编程，用自然语言描述，AI 生成硬件代码
- **Install Skill**：安装扩展技能（Idea / 功能插件）
- `New Session`：开启一轮新对话；`Continue`：接续上一轮对话
- 底部提示：按住说话、松开发送，语音交互

一句话：**用语音和 AI 对话，直接给 Mosaico 写硬件程序**。需要先进行基本配置。

9、Works 是 Mosaico 的应用仓库，存放和管理你所有做好、安装好的创意项目（第三个）

ESP‑Mosaico 里 **Works（作品库）** 的已安装页面，用来管理所有装好的 Idea 应用：

- **Recent**：最近打开的项目；**Installed**：本机已安装应用列表，一共 4 个，应用商店、二款小游戏和相册
- App Store：应用商店，可以下载更多创意项目
- Dino、Flappy Bird、Album：Lua 编写的示例小游戏 / 相册应用，当前状态为 Stopped（未运行）
所有 AI 生成、社区下载的程序都会在这里保存、启动。

10、待续