让墨水屏自己"画画":一块 ESP32-S3 打造的 AI 天气画框
不用电脑、不用服务器,一块 DFRobot 4.7 寸墨水屏自己连 WiFi、查天气、调用 AI 生图,还能刷卡一样用手机上传照片。这篇文章记录了我从"电脑端画图"一路折腾到"板子完全自主"的全过程——包括那些让人抓狂、最后又恍然大悟的 bug。
一、这个项目想解决什么
墨水屏(E-Ink)有个迷人的特性:掉电之后画面还在。它非常适合做那种"挂在那里、偶尔换一幅"的东西——比如天气画框。
最初的设想很简单:根据当天天气,用 AI 生成一幅意境画,配上天气信息,显示在墨水屏上。但做到一半,需求不断升级,最终变成了这样:
| 阶段 | 目标 | 状态 |
|---|---|---|
| V1 | 电脑 Python 脚本抓天气 + 调 AI + 推给屏幕 | ✅ 完成,但需要电脑常开 |
| V2 | 去掉电脑,板子自己联网取数据显示天气 | ✅ 完成,但信息是纯文字面板 |
| V3 | 板子直连硅基流动生图,AI 画 + 天气叠加 | ✅ 完成,10 分钟自动刷新 |
| V4 | 加网页控制台,AI 生图 / 手机上传照片一键切换 | ✅ 最终形态 |
最终的 V4:一块板子独立运行,浏览器打开一个网页就能控制。
二、效果展示
① 网页控制台(手机 / 电脑浏览器打开即可操作):

② AI 生成的天气画框(AI 出意境画,板子叠加中文天气信息):

网页提供两个大按钮,切换两种工作模式:
- ① AI 定时生图:按天气生成水墨意境画,默认每 10 分钟自动刷新(周期可在网页改)。
- ② 上传图片:从手机或电脑上传 PNG / JPG,等比裁切铺满屏幕;勾选后还能叠加天气信息面板。
模式与周期会写进板子 Flash(Preferences),断电重启不丢失。
三、硬件与材料
| 材料 | 说明 |
|---|---|
| DFRobot DFR0835 / ESP32 E-ink Screen 4.7" | 一体化板,ESP32-S3 + 4.7 寸墨水屏,驱动坐标 960×540,16 级灰度 |
| USB 数据线 | 供电 + 烧录(本机串口 COM72,VID_303A&PID_1001) |
| 2.4GHz WiFi | 板子只支持 2.4G,手机要连同一网络才能访问网页 |
| 硅基流动 API Key | 用于生图,免费额度即可起步 |
这块板子的屏幕按 960×540 驱动,但我们是竖着用的——逻辑画布设计成 540×960,送显时顺时针旋转 90°。这是后面很多坐标问题的根源,记住这个设定。


四、系统架构:双核分工
这是整个项目最关键的设计决策。
墨水屏刷新慢(几秒),AI 生图更慢(几十秒到一分多钟)。如果所有事情都塞在 loop() 里,网页就会卡死——你点个按钮,可能要等生图结束才有反应。
所以我把 ESP32-S3 的两个核心拆开用:
ESP32-S3 常驻运行
├─ core 1(loop): WebServer 80 端口 + 定时判断 + WiFi 保活
│ GET / 控制台页面
│ GET /status 状态 JSON(模式/忙/最后更新/IP/RSSI)
│ GET /mode?m=0|1 切换模式
│ GET /interval?n= 改生图周期
│ GET /now 立即生成一张
│ POST /upload 上传 PNG/JPG
│
└─ core 0(worker 任务): 干重活,不阻塞网页
AI 任务: 取天气 → 硅基流动生图 → 下载 → 解码 → 叠加信息 → 刷屏
上传任务: 解码 → cover 裁切铺满 → 刷屏
这样即使 AI 在 core 0 上埋头生图一分钟,core 1 上的网页依然秒开,状态查询依然流畅。
为什么不让它深度睡眠? 网页要随时可访问,板子必须常驻。屏幕刷完就断电(墨水屏掉电保画面),只有 MCU 和 WiFi 耗电,实测约 80~150 mA。
五、AI 生图链路
硅基流动注册获免费代码券:硅基流动注册获免费代码券
调用硅基流动的 images/generations 接口,模型用 Kwai-Kolors/Kolors:
POST https://api.siliconflow.cn/v1/images/generations
{
"model": "Kwai-Kolors/Kolors",
"prompt": "...根据天气动态生成的水墨意境画...",
"image_size": "540x960",
"num_inference_steps": 20,
"guidance_scale": 7.5
}
几个实测经验:
- 提示词里的光照别打架。一开始我在提示词里同时写了"清晨柔光"和"正午强光",结果画面很怪。后来把光照/时段的描述统一交给代码根据当前时间生成,提示词只管意境和季节。
- 请求尺寸 540×960,实际返回 536×960。服务端会按 16 像素对齐,代码里采样要按 536 算,否则会有几个像素的拉伸。
- 返回的图片是带签名的临时链接(
s3.siliconflow.cn/temporary/...),要用 HTTPClient 下载到 PSRAM。 - 关掉平台水印要自己标注。用
X-Enable-Watermark: 0关掉官方水印后,必须自己在画面角落画上"AI 生成",这是平台的合规要求——所以我用点阵字库在右下角加了标识。
天气数据来自 Open-Meteo,定位用 ip-api.com(失败自动切 ipwho.is),对时用阿里云 NTP。这些全在 core 0 上完成。
六、显示与渲染
这块是"让画好看"的部分,也是内存最吃紧的部分。
三层画布流程:
AI 图 / 上传图
↓ 解码到 8bit 灰度 canvas(540×960 = 518,400 B)
渐隐白底遮罩(顶部/底部渐变到纯白,中间完整保留画作)
↓ 点阵字库叠加中文天气信息
Bayer 4×4 抖动 → 4bpp 帧缓冲(960×540×4bit = 259,200 B)
↓ 顺时针旋转 90°
墨水屏
- 中文字库:自己用脚本生成了一个 GB2312 16×16 点阵字库(约 220KB),UTF-8 转 Unicode 后二分查找。这样中文显示完全离线,不用依赖任何在线字体。
- 抖动:墨水屏只有 16 级灰度,直接降色会有明显色带。加了一层 Bayer 4×4 有序抖动,过渡自然很多。
- 信息层排版:温度、天气、湿度、风速分行排列,反复调了坐标才做到不重叠(踩过第一版底部三行挤在一起的坑)。
内存分配(都在 PSRAM):帧缓冲 259KB + 画布 518KB + 图片缓冲上限 1.8MB ≈ 2.6MB 峰值。图片缓冲只能给到 1.8MB——这是实测板子能稳定分配的上限,再大就出问题(后面会讲)。
自己上传图片

未能获取AI生图

七、踩坑实录(干货区)
这部分是我花时间最多、也最想分享给各位创客朋友的内容。每一个都是真机跑出来的血泪教训。
坑 1:Arduino 自动原型 + 自定义 struct
.ino 文件编译时,Arduino 会自动在最后一个 #include 后面插入函数原型。如果某个函数的参数用了自定义 struct,而 struct 定义在文件更靠后的位置,就会报 'Weather' was not declared。
解法:把 struct 抽到独立的 weather_types.h,.ino 里 include 它。以后凡是函数参数用到自定义类型,一律放头文件。
坑 2:中文路径导致链接失败
项目路径含中文,ld.exe 报 cannot open output file ... No such file or directory。
解法:--build-path 必须指向纯 ASCII 路径,我用了 D:/eink_build。
坑 3:IDF5 下的 RMT 头文件
EPD47 驱动的 rmt_pulse.c 用 #if ESP_IDF_VERSION_MAJOR >= 5 判断 API 版本,但判断时这个宏还没定义(=0),错选了旧 API 分支;旧头文件又反过来把宏定义成 5,于是新旧代码混在一起,类型全部缺失。
解法:文件顶部显式加 #include "esp_idf_version.h"。
坑 4:zlib 符号重复定义
EPD47 和 PNGdec 各带了一份 zlib,链接时报符号重复。
解法:删掉 EPD47 src/zlib/ 里与 PNGdec 重复的 7 个 .c,只保留独有的 uncompr.c(字库解压只用 uncompress())。
坑 5:HTML 里的 JS 被当成 C++ 函数
把网页 HTML 用 R"(...)" 原始字符串直接写在 .ino 里,结果 async function xxx(){} 被 Arduino 的自动原型解析器当成 C++ 函数,报 'function' does not name a type。
解法:把整个网页抽到独立的 web_page.h。教训:任何内嵌的、含类 C 语法的大段文本都要独立成 .h。
坑 6:CORRUPT HEAP——双核并发写 String
这是最隐蔽的一个。设备跑一阵就堆损坏重启,backtrace 指向 String::operator=。根因是全局的 String g_status 被 core 0 的 worker 和 core 1 的 WebServer 同时写,realloc 撞车。
解法:
- 状态改用固定长度的
char[],snprintf写入,杜绝 realloc; - 所有联网取数收敛到 worker 单一写者,其他核只读;
- worker 任务最后才启动,setup 阶段先把全局数据初始化干净。
坑 7:图片缓冲开太大导致板子起不来
把图片缓冲开到 4.5MB 后,板子行为诡异——后来发现是分配不稳。降到 1.8MB 后一切正常。
坑 8:epd_init() 内存泄漏——刷几次就重启
这个坑排了最久。 现象是连续上传几张图片后设备重启,rst=4(ESP_RST_PANIC)。最后发现:EPD47 驱动的 epd_init() 每次调用都会申请约 64KB LUT + 30KB 队列,而且从不释放。原代码每次刷屏都调它,几次之后内部 RAM 耗尽。
解法:改成 g_epdReady 守卫的懒初始化,epd_init() 全局只调用一次。
这里还套了个坑:我一开始图省事,把
epd_init()提前到setup()里调用,结果 worker 任务创建时内部 RAM 已经不够,任务根本没起来(busy一直卡住、心跳tick不增长)。必须在 worker 首次刷屏时懒初始化,不能放在 setup。
坑 9:上传误报成功 + 信息全是 0
上传一个坏文件,网页却显示"已接收,正在显示…",屏幕没反应。查下来是两个独立问题:
- 上传的
UPLOAD_FILE_END里,格式错误/文件过小只在串口写了日志就 return,但响应仍然返回 200「已接收」。→ 引入错误码:格式错 400、过大 413、忙 503、真正入队才 202。 - 上传模式下开机从没取过天气,
g_w全是 0;勾选"叠加天气信息"就把满屏 0 画了上去。→ 数值用 NAN 初始化,缺失显示「--」;勾选叠加时自动联网补齐天气。
坑 10:JPG 只显示左侧一条竖条(还像镜像)
用户反馈:上传的照片在屏幕上只有左边一条,其余全白。我用诊断能力查了很久才定位——
根因:PNG 解码每次回调一整行,而 JPG(JPEGDEC)是按 8×16 像素的 MCU 小块回调的,pDraw->x 是这个块在原图里的横向位置。旧代码把每个小块都当成"从原图第 0 列开始的整行"来映射,结果只有最左边一个块被画到画布左侧,其余全白——看起来就像一条竖条 + 镜像。手机照片基本都是 JPG,所以必然复现。
解法:coverRow() 增加源块横向起点 srcX0 参数,映射时用块内相对坐标,PNG 传 0(整行),JPG 传 pDraw->x。
八、调试神器:把屏幕内容"看"出来
墨水屏没有实时预览,排查显示问题全靠猜。我给固件加了两个诊断端点:
/status里返回 cover 参数(srcw/srch/scale/dstx/dsty)和画布 6×12 灰度采样,还有复位原因rst、心跳tick、剩余堆heap——这些字段在排查上面那些崩溃 bug 时立了大功。GET /framebuffer直接返回 259200 字节的 4bpp 原始帧缓冲。我用 Python 按"低 4 位=左像素、高 4 位=右像素"还原成 960×540 图像,再旋转 90°,就能在电脑上直接"看到"墨水屏上的画面。
from PIL import Image
d = open('fb.bin','rb').read()
W, H = 960, 540
im = Image.new('L',(W,H)); px = im.load()
for y in range(H):
for xb in range(W//2):
b = d[y*(W//2)+xb]
px[xb*2,y] = b & 0x0F # 低 4 位 = 左像素
px[xb*2+1,y] = b >> 4 # 高 4 位 = 右像素
im = im.point(lambda v: v*17)
im.rotate(90, expand=True).save('screen.png') # 竖屏视角
靠这个方法,我用渐变图和方向标记图逐一验证了横屏 / 竖屏 / PNG / JPG / 透明图,最终锁定了坑 10。强烈建议做嵌入式显示项目的朋友都加一个这样的调试出口。
九、编译与烧录
板卡包 esp32:esp32 3.3.0,关键设置:PSRAM → OPI、Flash Size → 16MB、分区 16M Flash (3MB APP/9.9MB FATFS)。
FQBN="esp32:esp32:esp32s3:PSRAM=opi,FlashSize=16M,PartitionScheme=app3M_fat9M_16MB,USBMode=hwcdc"
# 编译(build-path 必须纯 ASCII)
arduino-cli compile --fqbn "$FQBN" --libraries "firmware/libraries" \
--build-path "D:/eink_build" "firmware/weather_eink"
# 烧录
arduino-cli upload -p COM72 --fqbn "$FQBN" \
--input-dir "D:/eink_build"
固件约 1.43 MB(占 3MB APP 分区的 45%)。项目自带了适配好的三个库(EPD47 / PNGdec / JPEGDEC),不用再到处找——相关修改见第 七 节的坑 3、4。
十、真机验证
| 测试项 | 结果 |
|---|---|
| Web 常驻 | http://192.168.31.21/ 返回 200,页面与状态接口正常 |
| 模式切换 / 改周期 | 立即生效并持久化 |
| AI 生图 | 完整链路跑通,画面正常,ai 计数 +1 |
| 上传 PNG / JPG | 横竖屏、各种尺寸均整屏铺满、方向正确、无镜像 |
| 连续 8 次上传 | 计数递增、堆稳定 ~74KB、无重启 |
| 非法格式 | 返回 400 仅支持 PNG / JPG 格式,不再误报成功 |
注意:AI 生图会消耗硅基流动额度(默认每 10 分钟一张 ≈ 144 张/天),调试时建议把周期调大,或在配置里临时关闭
AI_ART_ENABLE。
十一、开源与资源
完整代码(含适配好的第三方库、中文字库生成脚本、调试工具)已开源:
Gitee:https://gitee.com/yuntian365/eink-weather-frame
目录结构:
firmware/
weather_eink/ 最终固件(Arduino .ino + 配置 + 网页 + 字库)
libraries/ 自带适配库 EPD47 / PNGdec / JPEGDEC
server/ 早期「电脑服务端生图」方案,历史参考
tools/ 中文字库生成、预览渲染脚本
output/ 预览图与调试记录
烧录前记得在 firmware/weather_eink/config.h 里填入你自己的 WiFi 账号密码和硅基流动 API Key(开源仓库里的这些字段是脱敏占位符)。
十二、写在最后
这个项目从一个"电脑端小脚本"一路长成了"板子完全自主 + 网页控制"的形态,中间踩的每一个坑,最后都变成了对硬件和嵌入式系统更深的理解——双核为什么要分任务、动态内存在多核下有多危险、驱动库的一次"偷懒初始化"能埋下多大的雷。
如果你也想做一块"会自己画画的墨水屏",希望这篇踩坑记录能帮你少掉几根头发。有问题欢迎在评论区交流,也欢迎去 Gitee 仓库提 Issue。
关键材料:
- DFRobot DFR0835 ESP32 4.7" 墨水屏开发板
- 硅基流动 API(Kwai-Kolors/Kolors 生图模型)
- Open-Meteo 天气数据 + ip-api.com 定位
本文为个人创客项目记录,技术细节基于 ESP32-S3 + Arduino-ESP32 3.3.0 实测。



