看得见的 AI:用行空板 K10 给豆包做一盏「工作状态灯」
红绿灯_哔哩哔哩_bilibili]
一、项目介绍
1. 真实问题从哪来
AI工作时放心焊板子,工作时间不再零零碎碎,操心稀碎。现在几乎每个人都在用 AI 助手。可它「正在想」的时候,屏幕上只有一个小小的计时器在跳。你把问题发出去,然后开始等 —— 等多久?它还在跑吗?还是已经答完了、是我没看见?于是我们干了一件很常见的事:一边等,一边刷别的窗口,然后错过结果。
这其实是一个很典型的科学问题:
「AI 正在工作」到底能不能被客观地 "看见" 和 "测量"?
它不是一个哲学问题,而是一个可观测性问题 —— 机器内部的状态我们看不到,但它的行为一定会在某个地方留下可测量的痕迹。找到那个最稳定的痕迹,就找到了答案。
2. 探究问题与假设
我们提出三个层次的问题:
| 层次 | 探究问题 |
|---|---|
| 级 1 | 电脑上有没有哪个信号,能唯一、稳定地反映 "AI 正在处理任务"? |
| 级 2 | 这个信号能不能被低成本、低延迟地读出来?延迟有多大? |
| 级 3 | 读出来之后,怎么把它变成一个 "人一眼就懂" 的物理提示? |
假设:AI 干活时一定会持续刷新界面上的进度类元素(计时器、光标、文字流),这类信号比 CPU 占用、网络流量更贴近 "语义上的工作状态"。
3. 应用场景与核心功能
把一台行空板 K10 摆在显示器旁边当 "实体状态灯":
| 状态 | 灯色 | 含义 |
|---|---|---|
| WORKING | 🔴 红 | AI 正在处理任务,界面计时器在跳 |
| DONE | 🟢 绿 | 刚干完,绿灯保持 120 秒,等你回来看 |
| WAITING | 🟡 黄 | 完成有一会儿了,每 8 秒 "叮咚" 提醒一次,最多 4 次 |
| IDLE | ⚪ 灰 | 待机,彻底安静,不打扰 |
| OFFLINE | ⚪ 灰 | 没找到豆包窗口 / 链路断开 |
亮着的那颗灯会做呼吸明暗(板载 RGB 同步呼吸),状态切换有提示音:开工一声短 "叮",完成一段约 2.6 秒的完成旋律。
整套东西不抓包、不注入、不碰 AI 的内部,只读它自己摆在界面上的公开信息 —— 这是本项目的底线,也是它可以讲 "AI 规范使用" 的底气。
4. 相关科学原理
| 原理 | 在项目里的落点 |
|---|---|
| 可访问性接口(UI Automation) | Windows 把每个控件的文本、类型、层级暴露成树,程序可以像 "读盲文" 一样读出界面上的字 |
| 有限状态机(FSM) | 5 个状态、明确的转移条件和保持时间,避免 "状态抖动" 造成误提醒 |
| UART 串口通信 | 电脑每秒往 K10 发一行纯文本,115200 8N1,协议简单到可以用纸笔调 |
| PWM 调光 / 感知亮度 | 呼吸效果靠周期性改变 RGB 亮度,利用人眼的视觉暂留形成 "呼吸" 感 |
| 声学:音高与节奏 | 用不同频率、不同时值的音组成 "旋律",让 "完成" 这件事有了听觉编码 |
二、运行演示
📷 拍照 / 录像清单(复刻者按这个拍,就够评审看了)
- **【图 1】场景图**:K10 立在显示器旁,屏幕上同时能看到豆包界面和红灯。
- **【图 2】三态特写**:红灯(WORKING)/ 绿灯(DONE)/ 灰灯(IDLE)各一张,注意灯壳是竖排三灯、只有一颗亮。
- **【图 3】终端日志**:电脑端窗口显示 [19:39:04] 状态 -> WORKING (界面计时 6 分 31 秒) [计时器在走] 与 串口 : COM4(自动识别)。
- **【GIF / 视频】:从 "发问题 → 红灯亮 → 计时器跳 → 变绿 + 完成旋律 → 120 秒后转黄并叮咚 → 转灰安静" 的完整 40 秒过程。这一段是整个项目最有说服力的地方,建议一定要拍**。
(此处在帖子里插入图片和 GIF)
演示要点:观众不需要懂代码,看灯就知道 AI 在不在干活。
三、探究过程与结果
这一节是整个案例的 "做中学" 核心:不是 "我做了个东西",而是 "我怎么比出来的"。
实验一:候选信号源横向比较
豆包干活时,电脑上同时有很多变化。我们先列出四个候选,再用同一段 "让它跑一个长任务" 的场景逐个观察。
| 候选信号 | 采集方式 | 实测表现 | 判定 |
|---|---|---|---|
| CPU 占用率 | 读进程 CPU 时间 | 空闲时界面渲染、动画也在吃 CPU,数值抖,阈值难定 | ✗ 容易误判 |
| 网络流量 | 统计收发字节 | 有些任务本地算完才联网,长任务期间可能长时间为 0 | ✗ 不可靠 |
| 窗口标题 | 读窗口 Name | 全程固定不变,干不干活都一样 | ✗ 无信息量 |
| 界面计时器「已处理 X 分 Y 秒」 | UI Automation 读控件文本 | 干活期间每秒 +1,结束后消失或冻结 | ✓ 采用 |
| 文字总长度增长 | 累加所有控件文本长度 | 无计时器的普通对话时可用,但需要连续 2 次、每次 ≥15 字才判定 | ✓ 兜底 |
结论 1:语义层面的 "进度类元素" 才是最贴近工作状态的信号。CPU、流量这类 "系统层指标" 回答的是 "机器忙不忙",不是 "这件事做完了没"。
一个细节值得写进探究记录:计时器文本在不同任务下有三种写法 ——已处理 12 秒、已处理 3 分 22 秒、已处理 1 小时 5 分 8 秒。我们最终用的正则要求先做 IndexOf('已处理') 粗筛 + 长度 ≤40 + 去空白,再匹配:
^已处理(?:(\d+)小时)?(?:(\d+)分(?:钟)?)?(?:(\d+)秒)?$
这一步的教训是:先把异常样本收集够,再写解析。早期直接用正则全表扫描,被一堆含 "处理" 字样的聊天正文误命中。
实验二:读取性能优化(从 "能用" 到 "跟手")
第一版遍历整棵控件树逐个取文本,单次全窗口扫描 800–1000 ms—— 意味着状态延迟接近 1 秒,呼吸动画也不跟手。
改用 UI Automation 的 CacheRequest 批量预取 NameProperty(一次请求、一次性拿回整棵树的文本):
$cr = New-Object System.Windows.Automation.CacheRequest$cr.TreeFilter = [System.Windows.Automation.Automation]::RawViewCondition[void]$cr.Add($AE::NameProperty)$cr.Push() # 进入缓存模式$all = $win.FindAll($ScopeDesc, $AnyCond)# ……在这里读每个元素的 $e.Cached.Name(不再逐次跨进程调用)$cr.Pop() # 退出缓存模式
| 指标 | 优化前 | 优化后 |
|---|---|---|
| 单次全窗口扫描耗时 | 800–1000 ms | 160–182 ms |
| 采样频率 | 约 1 Hz,明显滞后 | 1 Hz 采样绰绰有余,余量可做呼吸动画 |
| 主观感受 | 状态 "慢半拍" | "灯比人先知道" |
结论 2:跨进程读取的开销主要在 "调用次数",不在 "数据量"。批量缓存是数量级上的差别,不是几个百分点的优化。
实验三:状态机可靠性验证(把误报当成 bug 来查)
最初的逻辑很朴素:计时器停了就算完成,完成之后一直发 "等待"。
真实使用中暴露了一个明显缺陷:什么都没干的时候,黄灯也会反复亮起、每 8 秒 "叮咚" 一次,安静的书桌被它吵得很难受。
排查发现是两处逻辑叠加:
# 旧代码(有问题)if ($idleFor -lt $DoneHoldSec) { return 'DONE' }return 'WAITING' # ← 空闲也会走到这里,永远 WAITING
# 板子端(旧代码)if key == "WAITING" and REMIND_WAIT_SEC > 0: bell(BELL_WAIT) # ← 没有次数上限,只要黄灯就一直响
修正方案(新增 "待机" 态 + 限定提醒次数):
# 新代码:本次运行没派过活 → 直接待机,不提醒if (-not $script:hasWorked) { return 'IDLE' }if ($idleFor -lt $DoneHoldSec) { return 'DONE' }if ($idleFor -lt ($DoneHoldSec + $WaitHoldSec)) { return 'WAITING' }return 'IDLE'
REMIND_WAIT_TIMES = 4 # 黄灯最多提醒 4 次就闭嘴# 只有"绿 → 黄"这一种转法才提醒;从灰/离线转过来的不响remind_n = 0 if (key == "WAITING" and prev == "DONE") else REMIND_WAIT_TIMES
为了验证修正有效,我们把电脑端的 Read-State 函数单独抽出来,喂构造的假界面数据做边界测试(这样不必等真实场景,也能把四个时间段的转移全覆盖):
| 用例 | 构造输入 | 期望 | 实测 |
|---|---|---|---|
| 1 | 开机后从未出现计时器 | IDLE | ✅ IDLE(灰灯、无声) |
| 2 | 计时器刚停 10 秒 | DONE | ✅ DONE(绿灯 + 完成旋律) |
| 3 | 计时器停了 130 秒 | WAITING | ✅ WAITING(黄灯,提醒 4 次后安静) |
| 4 | 计时器停了 200 秒 | IDLE | ✅ IDLE(灰灯、无声) |
| 5 | 计时器冻结但仍在界面上(+4 秒) | DONE | ✅ DONE(没被 "还在显示" 骗到) |
| 6 | 手喂一行 IDLE 给板子 | 灰灯、不响 | ✅ 状态: IDLE | 串口,无声音 |
结论 3:把 "提醒" 设计成有限状态机 + 有上限的事件,比 "加个延时" 可靠得多。误报不是界面读错了,而是状态设计漏了一个 "本来就没事" 的态。
实验四:链路稳定性(串口 vs 断电)
| 场景 | 观察 | 处理 |
|---|---|---|
| 电脑端程序没开 | 板子 40 秒后转去连 Wi-Fi,wifi.connect(timeout=50000) 每次阻塞 50 秒、画面僵住 | 超时缩到10 秒,实测连不上时 2–3 秒返回 |
| COM 口被占用 | 报 "打不开串口",但板子仍显示上一状态 | 加单实例互斥 + 明确提示 "串口已释放" |
| 拔掉 USB 再插 | 换了 USB 口后 COM 号变化 | 按 VID_303A 自动认口,插哪个口都行 |
| 早期固件声音崩溃 | 开机 1–2 秒内 import speaker 直接 Guru Meditation | 延迟到开机 6 秒后再初始化 + 旗标文件防 "崩溃 — 重启 — 再崩溃" |
结论 4:真实环境里的失败方式,几乎都发生在 "两条通路交接" 的时刻(串口 ↔ Wi-Fi、开机 ↔ 初始化)。这类问题只能在真机上跑出来,不能在纸上推出来。
四、软硬件清单与制作步骤
1. 清单
| 类别 | 名称 | 数量 | 说明 |
|---|---|---|---|
| 主控 | 行空板 K10(ESP32-S3) | 1 | 板载 2.8 寸彩屏(240×320)、3 颗 RGB、扬声器、Wi-Fi,¥158 |
| 线材 | Type-C 数据线(支持数据传输) | 1 | 只供电的 "充电线" 不行 |
| 电脑 | Windows 10/11 | 1 | 已安装豆包电脑客户端 |
| 可选 | 3.7V 锂电池 + PH2.0 插头 | 1 | 想脱离 USB 线时用;K10 无充电电路,需外配充电器 |
| 软件 | MicroPython(K10 官方固件 0.9.8) | — | 出厂 / 可自行烧录 |
| 软件 | Windows PowerShell 5.1 或 7 | — | 系统自带,零安装 |
| 软件 | 串口驱动 /mpremote | — | 仅上传程序时需要 |
没有任何传感器、没有任何杜邦线:屏幕、RGB、喇叭都是板载的。这一点对 "复刻性" 很关键 —— 学生打开盒子就能做。
2. 连线图
(此处在帖子里插入一张示意图:一根 Type-C 线,一端 K10、一端电脑 USB;旁边写 "无外接模块")
3. 制作步骤(三步上手)
第 1 步・给板子烧程序(2 分钟)
- K10 用 Type-C 连电脑,设备管理器里出现 USB-SERIAL CH340/COMx;
- 打开终端执行(把两个文件放同一目录):
python -m mpremote connect COM4 fs cp .\k10_main.py :main.py
- 按一下板子背面的 RST,屏幕出现红绿灯界面即成功。
第 2 步・电脑端跑起来(双击一次)
把 start_serial.bat 和 pc_monitor_serial.ps1 放同一文件夹,双击 start_serial.bat。它会:
- 自动认出 K10 插在哪个 COM 口(按 VID_303A 判定,插哪个 USB 口都行);
- 找到豆包窗口,开始每秒读一次界面;
- 打印 [OK] 串口 COM4 已打开,开始给 K10 发状态。
第 3 步・调参(可选)
| 参数 | 默认 | 作用 |
|---|---|---|
| -DoneHoldSec | 120 | 绿灯保持多久 |
| -WaitHoldSec | 60 | 黄灯再保持多久 |
| -PollMs | 1000 | 采样间隔 |
| -ComPort | AUTO | 想写死就填 COM7 |
4. 协议(想接别的东西时用)
电脑 → 板子,一行一条纯文本,\n 结尾:
WORKING 12:34DONEWAITINGIDLEOFFLINE
就这么简单。这意味着任何能发串口的设备(另一块开发板、树莓派、甚至手机 OTG)都能当 "电脑端",而这个 K10 程序不用改一行。 复刻和二次开发的门槛被压到了最低。
五、开源代码
核心 1:判活(电脑端,PowerShell)
# 计时器在走(或刚停 3 秒内)→ 正在干活if ($changed -or (($now - $script:lastTimerAt).TotalSeconds -le $TimerStallSec)) { $active = $true; $why = '计时器在走'}# 没有计时器时,用"文字连续两次各涨 15 字"兜底if (no timer) { if (($chars - $script:lastChars) -ge $TextGrowChars) { $growStreak++ } else { $growStreak = 0 } if ($growStreak -ge 2) { $active = $true }}
核心 2:五态状态机(电脑端)
if (-not $script:hasWorked) { return 'IDLE' } # 还没派过活$idleFor = ($now - $script:lastActiveAt).TotalSecondsif ($idleFor -lt $DoneHoldSec) { return 'DONE' }if ($idleFor -lt ($DoneHoldSec + $WaitHoldSec)) { return 'WAITING' }return 'IDLE'
核心 3:界面绘制与呼吸(板子端,MicroPython)
def _lamp(x, y, color): # 一颗灯 = 灯罩 + 灯面 + 高光芯 screen.draw_circle(x=x, y=y, r=RING_R, bcolor=C_RING, fcolor=C_BODY) screen.draw_circle(x=x, y=y, r=LAMP_R, bcolor=0x000000, fcolor=color) screen.draw_circle(x=x, y=y, r=6, bcolor=color, fcolor=_hot(color))BREATH = (1.00, 0.88, 0.74, 0.62, 0.52, 0.62, 0.74, 0.88) # 亮→暗→亮k = BREATH[pulse_i % len(BREATH)]draw_pulse(idx, k) # 只重画当前那颗,省刷屏时间rgb.brightness(int(2 + 7 * k)) # 板载 RGB 一起呼吸
核心 4:提示音(实测参数)
from unihiker_k10 import speakerspeaker.reinit() # 必须先 reinit,否则 play_tone 报 OSError(-258)speaker.play_tone(freq, beat) # 阻塞播放;beat ≈ 毫秒 × 8.5BELL_DONE = ((659,240),(784,240),(988,240),(1175,240),(1568,620),(1175,170),(1568,700))
📎 附件:k10_main.py(板子端)、pc_monitor_serial.ps1(电脑端)、start_serial.bat、README.md(含排错对照表)。
六、踩坑记录(这部分的经验比代码值钱)
| # | 现象 | 根因 | 解法 |
|---|---|---|---|
| 1 | 无对话时黄灯反复响 | 空闲被误判成 WAITING;板子提醒无上限 | 新增 IDLE 态 + 提醒限 4 次 |
| 2 | 状态 "慢半拍" | 逐控件跨进程读取 | CacheRequest 批量取,1000ms → 180ms |
| 3 | 拔 USB 后画面僵 50 秒 | wifi.connect(timeout=50000) | 超时降到 10 秒,实测 2–3 秒返回 |
| 4 | 开机偶尔死机重启 | 开机 1–2 秒内 import speaker 触发 panic | 延迟 6 秒初始化 + 旗标防死循环 |
| 5 | 中文 .ps1 在 PS 5.1 里报语法错误 | 无 BOM 的 UTF-8 被按 ANSI 解码,乱码字节破坏引号配对 | 含中文脚本一律 UTF-8 带 BOM+ CRLF |
| 6 | 客户换 USB 口后 "打不开串口" | COM 号变了 | 按 VID_303A 自动识别 |
| 7 | 双击 .bat 闪黑窗 | cmd 窗口 | VBS WshShell.Run(..., 0, False) 隐藏启动 |
七、教学建议(可直接拿去上课)
这个项目天然适合拆成三课时,而且每一课时都能落到 "测量" 上:
| 课时 | 学生任务 | 对应科学方法 |
|---|---|---|
| 第 1 课时「找信号」 | 分组提出 3 个 "能反映 AI 在工作" 的信号,用任务管理器 / 资源监视器 / 界面观察逐条打勾或打叉 | 提出假设 → 设计对照 → 收集证据 |
| 第 2 课时「造状态机」 | 画出 5 状态转移图,填 "保持多久" 的参数,用纸笔跑 6 个用例 | 建模 → 边界测试 → 修正模型 |
| 第 3 课时「做出来」 | 上传板子程序、双击 bat、调呼吸和旋律 | 工程实现 → 迭代优化 |
跨学科落点:信息科技(程序与数据)、物理(光与声的感知、PWM 调光)、数学(时间区间、阈值、采样频率)、语文(把探究过程写成说明文)。
**AI 规范使用讨论(建议放在最后 10 分钟)**:
本项目全程只读界面公开信息,没有抓包、没有逆向、没有读取 AI 的对话内容。可以顺势讨论 ——"我们为什么要在设计上给自己划这条线?" 这是很好的信息伦理切入点。
八、复刻提示(给想抄作业的人)
- 零依赖:电脑端是纯 PowerShell + .NET,客户机不用装 Python,这一点是我们最在意的 "可复刻性"。
- 两个文件:客户只需要 start_serial.bat + pc_monitor_serial.ps1,双击即可,不用配 IP、不用管防火墙。
- 换主控很容易:协议就是一行文本,WORKING 12:34 / DONE / WAITING / IDLE / OFFLINE,任何带屏幕和串口的板子都能接。
- 想脱离 USB 线:K10 有 PH2.0 电池口(3.0–4.2V,推荐 3.7V 锂电或 3 节 1.5V 干电池,4 节会烧板),但板子没有充电电路,锂电要拿外部充电器充。此时电脑端要改成 Wi-Fi/MQTT 推送,这一版已在准备中,后续补发。



