看得见的 AI:用行空板 K10 给豆包做一盏「工作状态灯」

2026-11-168

红绿灯_哔哩哔哩_bilibili]
一、项目介绍

1. 真实问题从哪来

AI工作时放心焊板子,工作时间不再零零碎碎,操心稀碎。现在几乎每个人都在用 AI 助手。可它「正在想」的时候,屏幕上只有一个小小的计时器在跳。你把问题发出去,然后开始等 —— 等多久?它还在跑吗?还是已经答完了、是我没看见?于是我们干了一件很常见的事:​一边等,一边刷别的窗口,然后错过结果​。

这其实是一个很典型的科学问题:

「AI 正在工作」到底能不能被客观地 "看见" 和 "测量"?

它不是一个哲学问题,而是一个可观测性问题 —— 机器内部的状态我们看不到,但它的行为一定会在某个地方留下可测量的痕迹。找到那个最稳定的痕迹,就找到了答案。

2. 探究问题与假设

我们提出三个层次的问题:

层次 探究问题
级 1 电脑上有没有哪个信号,能唯一、稳定地反映 "AI 正在处理任务"?
级 2 这个信号能不能被低成本、低延迟地读出来?延迟有多大?
级 3 读出来之后,怎么把它变成一个 "人一眼就懂" 的物理提示?

假设:AI 干活时一定会持续刷新界面上的进度类元素(计时器、光标、文字流),这类信号比 CPU 占用、网络流量更贴近 "语义上的工作状态"。

3. 应用场景与核心功能

把一台行空板 K10 摆在显示器旁边当 "实体状态灯":

状态 灯色 含义
WORKING 🔴 红 AI 正在处理任务,界面计时器在跳
DONE 🟢 绿 刚干完,绿灯保持 120 秒,等你回来看
WAITING 🟡 黄 完成有一会儿了,每 8 秒 "叮咚" 提醒一次,最多 4 次
IDLE ⚪ 灰 待机,彻底安静,不打扰
OFFLINE ⚪ 灰 没找到豆包窗口 / 链路断开

亮着的那颗灯会做​呼吸明暗​(板载 RGB 同步呼吸),状态切换有提示音:开工一声短 "叮",完成一段约 2.6 秒的完成旋律。

整套东西​不抓包、不注入、不碰 AI 的内部​,只读它自己摆在界面上的公开信息 —— 这是本项目的底线,也是它可以讲 "AI 规范使用" 的底气。

4. 相关科学原理

原理 在项目里的落点
可访问性接口(UI Automation) Windows 把每个控件的文本、类型、层级暴露成树,程序可以像 "读盲文" 一样读出界面上的字
有限状态机(FSM) 5 个状态、明确的转移条件和保持时间,避免 "状态抖动" 造成误提醒
UART 串口通信 电脑每秒往 K10 发一行纯文本,115200 8N1,协议简单到可以用纸笔调
PWM 调光 / 感知亮度 呼吸效果靠周期性改变 RGB 亮度,利用人眼的视觉暂留形成 "呼吸" 感
声学:音高与节奏 用不同频率、不同时值的音组成 "旋律",让 "完成" 这件事有了听觉编码

二、运行演示

📷 拍照 / 录像清单(复刻者按这个拍,就够评审看了)

  1. ​**【图 1】场景图**​:K10 立在显示器旁,屏幕上同时能看到豆包界面和红灯。
  2. ​**【图 2】三态特写**​:红灯(WORKING)/ 绿灯(DONE)/ 灰灯(IDLE)各一张,注意灯壳是竖排三灯、只有一颗亮。
  3. ​**【图 3】终端日志**​:电脑端窗口显示 [19:39:04] 状态 -> WORKING (界面计时 6 分 31 秒) [计时器在走] 与 串口 : COM4(自动识别)。
  4. ​**【GIF / 视频】​:从 "发问题 → 红灯亮 → 计时器跳 → 变绿 + 完成旋律 → 120 秒后转黄并叮咚 → 转灰安静" 的完整 40 秒过程。这一段是整个项目最有说服力的地方,​建议一定要拍**​。

(此处在帖子里插入图片和 GIF)

演示要点:观众不需要懂代码,看灯就知道 AI 在不在干活。

三、探究过程与结果

这一节是整个案例的 "做中学" 核心:不是 "我做了个东西",而是 "我怎么比出来的"。

实验一:候选信号源横向比较

豆包干活时,电脑上同时有很多变化。我们先列出四个候选,再用同一段 "让它跑一个长任务" 的场景逐个观察。

候选信号 采集方式 实测表现 判定
CPU 占用率 读进程 CPU 时间 空闲时界面渲染、动画也在吃 CPU,数值抖,阈值难定 ✗ 容易误判
网络流量 统计收发字节 有些任务本地算完才联网,长任务期间可能长时间为 0 ✗ 不可靠
窗口标题 读窗口 Name 全程固定不变,干不干活都一样 ✗ 无信息量
界面计时器「已处理 X 分 Y 秒」 UI Automation 读控件文本 干活期间每秒 +1,结束后消失或冻结 ✓ 采用
文字总长度增长 累加所有控件文本长度 无计时器的普通对话时可用,但需要连续 2 次、每次 ≥15 字才判定 ✓ 兜底

​结论 1​:语义层面的 "进度类元素" 才是最贴近工作状态的信号。CPU、流量这类 "系统层指标" 回答的是 "机器忙不忙",不是 "这件事做完了没"。

一个细节值得写进探究记录:计时器文本在不同任务下有三种写法 ——已处理 12 秒、已处理 3 分 22 秒、已处理 1 小时 5 分 8 秒。我们最终用的正则要求先做 IndexOf('已处理') 粗筛 + 长度 ≤40 + 去空白,再匹配:

^已处理(?:(\d+)小时)?(?:(\d+)分(?:钟)?)?(?:(\d+)秒)?$

这一步的教训是:​先把异常样本收集够,再写解析​。早期直接用正则全表扫描,被一堆含 "处理" 字样的聊天正文误命中。

实验二:读取性能优化(从 "能用" 到 "跟手")

第一版遍历整棵控件树逐个取文本,​单次全窗口扫描 800–1000 ms​—— 意味着状态延迟接近 1 秒,呼吸动画也不跟手。

改用 UI Automation 的 CacheRequest 批量预取 NameProperty(一次请求、一次性拿回整棵树的文本):

$cr = New-Object System.Windows.Automation.CacheRequest$cr.TreeFilter = [System.Windows.Automation.Automation]::RawViewCondition[void]$cr.Add($AE::NameProperty)$cr.Push()                      # 进入缓存模式$all = $win.FindAll($ScopeDesc, $AnyCond)# ……在这里读每个元素的 $e.Cached.Name(不再逐次跨进程调用)$cr.Pop()                       # 退出缓存模式
指标 优化前 优化后
单次全窗口扫描耗时 800–1000 ms 160–182 ms
采样频率 约 1 Hz,明显滞后 1 Hz 采样绰绰有余,余量可做呼吸动画
主观感受 状态 "慢半拍" "灯比人先知道"

​结论 2​:跨进程读取的开销主要在 "调用次数",不在 "数据量"。批量缓存是数量级上的差别,不是几个百分点的优化。

实验三:状态机可靠性验证(把误报当成 bug 来查)

最初的逻辑很朴素:计时器停了就算完成,完成之后一直发 "等待"。

真实使用中暴露了一个明显缺陷:​什么都没干的时候,黄灯也会反复亮起、每 8 秒 "叮咚" 一次​,安静的书桌被它吵得很难受。

排查发现是两处逻辑叠加:

# 旧代码(有问题)if ($idleFor -lt $DoneHoldSec) { return 'DONE' }return 'WAITING'          # ← 空闲也会走到这里,永远 WAITING
# 板子端(旧代码)if key == "WAITING" and REMIND_WAIT_SEC > 0:    bell(BELL_WAIT)       # ← 没有次数上限,只要黄灯就一直响

修正方案(新增 "待机" 态 + 限定提醒次数):

# 新代码:本次运行没派过活 → 直接待机,不提醒if (-not $script:hasWorked) { return 'IDLE' }if ($idleFor -lt $DoneHoldSec)                  { return 'DONE' }if ($idleFor -lt ($DoneHoldSec + $WaitHoldSec)) { return 'WAITING' }return 'IDLE'
REMIND_WAIT_TIMES = 4      # 黄灯最多提醒 4 次就闭嘴# 只有"绿 → 黄"这一种转法才提醒;从灰/离线转过来的不响remind_n = 0 if (key == "WAITING" and prev == "DONE") else REMIND_WAIT_TIMES

为了验证修正有效,我们把电脑端的 Read-State 函数单独抽出来,喂构造的假界面数据做边界测试(这样不必等真实场景,也能把四个时间段的转移全覆盖):

用例 构造输入 期望 实测
1 开机后从未出现计时器 IDLE ✅ IDLE(灰灯、无声)
2 计时器刚停 10 秒 DONE ✅ DONE(绿灯 + 完成旋律)
3 计时器停了 130 秒 WAITING ✅ WAITING(黄灯,提醒 4 次后安静)
4 计时器停了 200 秒 IDLE ✅ IDLE(灰灯、无声)
5 计时器冻结但仍在界面上(+4 秒) DONE ✅ DONE(没被 "还在显示" 骗到)
6 手喂一行 IDLE 给板子 灰灯、不响 ✅ 状态: IDLE | 串口,无声音

​结论 3​:把 "提醒" 设计成​有限状态机 + 有上限的事件​,比 "加个延时" 可靠得多。误报不是界面读错了,而是状态设计漏了一个 "本来就没事" 的态。

实验四:链路稳定性(串口 vs 断电)

场景 观察 处理
电脑端程序没开 板子 40 秒后转去连 Wi-Fi,wifi.connect(timeout=50000) 每次阻塞 50 秒、画面僵住 超时缩到​10 秒​,实测连不上时 2–3 秒返回
COM 口被占用 报 "打不开串口",但板子仍显示上一状态 加单实例互斥 + 明确提示 "串口已释放"
拔掉 USB 再插 换了 USB 口后 COM 号变化 按 VID_303A 自动认口,插哪个口都行
早期固件声音崩溃 开机 1–2 秒内 import speaker 直接 Guru Meditation 延迟到开机 6 秒后再初始化 + 旗标文件防 "崩溃 — 重启 — 再崩溃"

​结论 4​:真实环境里的失败方式,几乎都发生在 "两条通路交接" 的时刻(串口 ↔ Wi-Fi、开机 ↔ 初始化)。这类问题只能在真机上跑出来,不能在纸上推出来。

四、软硬件清单与制作步骤

1. 清单

类别 名称 数量 说明
主控 行空板 K10(ESP32-S3) 1 板载 2.8 寸彩屏(240×320)、3 颗 RGB、扬声器、Wi-Fi,¥158
线材 Type-C 数据线(支持数据传输) 1 只供电的 "充电线" 不行
电脑 Windows 10/11 1 已安装豆包电脑客户端
可选 3.7V 锂电池 + PH2.0 插头 1 想脱离 USB 线时用;K10 无充电电路,需外配充电器
软件 MicroPython(K10 官方固件 0.9.8) — 出厂 / 可自行烧录
软件 Windows PowerShell 5.1 或 7 — 系统自带,零安装
软件 串口驱动 /mpremote — 仅上传程序时需要

​没有任何传感器、没有任何杜邦线​:屏幕、RGB、喇叭都是板载的。这一点对 "复刻性" 很关键 —— 学生打开盒子就能做。

2. 连线图

(此处在帖子里插入一张示意图:一根 Type-C 线,一端 K10、一端电脑 USB;旁边写 "无外接模块")

3. 制作步骤(三步上手)

第 1 步・给板子烧程序(2 分钟)

  1. K10 用 Type-C 连电脑,设备管理器里出现 USB-SERIAL CH340/COMx;
  2. 打开终端执行(把两个文件放同一目录):
python -m mpremote connect COM4 fs cp .\k10_main.py :main.py
  1. 按一下板子背面的 ​RST​,屏幕出现红绿灯界面即成功。

第 2 步・电脑端跑起来(双击一次)

把 start_serial.bat 和 pc_monitor_serial.ps1 放同一文件夹,双击 start_serial.bat。它会:

  1. 自动认出 K10 插在哪个 COM 口(按 VID_303A 判定,插哪个 USB 口都行);
  2. 找到豆包窗口,开始每秒读一次界面;
  3. 打印 [OK] 串口 COM4 已打开,开始给 K10 发状态。

第 3 步・调参(可选)

参数 默认 作用
-DoneHoldSec 120 绿灯保持多久
-WaitHoldSec 60 黄灯再保持多久
-PollMs 1000 采样间隔
-ComPort AUTO 想写死就填 COM7

4. 协议(想接别的东西时用)

电脑 → 板子,一行一条纯文本,\n 结尾:

WORKING 12:34DONEWAITINGIDLEOFFLINE

就这么简单。这意味着任何能发串口的设备(另一块开发板、树莓派、甚至手机 OTG)都能当 "电脑端",而这个 K10 程序不用改一行。 复刻和二次开发的门槛被压到了最低。

五、开源代码

核心 1:判活(电脑端,PowerShell)

# 计时器在走(或刚停 3 秒内)→ 正在干活if ($changed -or (($now - $script:lastTimerAt).TotalSeconds -le $TimerStallSec)) {    $active = $true; $why = '计时器在走'}# 没有计时器时,用"文字连续两次各涨 15 字"兜底if (no timer) {    if (($chars - $script:lastChars) -ge $TextGrowChars) { $growStreak++ } else { $growStreak = 0 }    if ($growStreak -ge 2) { $active = $true }}

核心 2:五态状态机(电脑端)

if (-not $script:hasWorked) { return 'IDLE' }        # 还没派过活$idleFor = ($now - $script:lastActiveAt).TotalSecondsif ($idleFor -lt $DoneHoldSec)                  { return 'DONE' }if ($idleFor -lt ($DoneHoldSec + $WaitHoldSec)) { return 'WAITING' }return 'IDLE'

核心 3:界面绘制与呼吸(板子端,MicroPython)

def _lamp(x, y, color):                     # 一颗灯 = 灯罩 + 灯面 + 高光芯    screen.draw_circle(x=x, y=y, r=RING_R, bcolor=C_RING, fcolor=C_BODY)    screen.draw_circle(x=x, y=y, r=LAMP_R, bcolor=0x000000, fcolor=color)    screen.draw_circle(x=x, y=y, r=6, bcolor=color, fcolor=_hot(color))BREATH = (1.00, 0.88, 0.74, 0.62, 0.52, 0.62, 0.74, 0.88)  # 亮→暗→亮k = BREATH[pulse_i % len(BREATH)]draw_pulse(idx, k)                          # 只重画当前那颗,省刷屏时间rgb.brightness(int(2 + 7 * k))              # 板载 RGB 一起呼吸

核心 4:提示音(实测参数)

from unihiker_k10 import speakerspeaker.reinit()                    # 必须先 reinit,否则 play_tone 报 OSError(-258)speaker.play_tone(freq, beat)       # 阻塞播放;beat ≈ 毫秒 × 8.5BELL_DONE = ((659,240),(784,240),(988,240),(1175,240),(1568,620),(1175,170),(1568,700))

📎 ​附件​:k10_main.py(板子端)、pc_monitor_serial.ps1(电脑端)、start_serial.bat、README.md(含排错对照表)。

六、踩坑记录(这部分的经验比代码值钱)

# 现象 根因 解法
1 无对话时黄灯反复响 空闲被误判成 WAITING;板子提醒无上限 新增 IDLE 态 + 提醒限 4 次
2 状态 "慢半拍" 逐控件跨进程读取 CacheRequest 批量取,1000ms → 180ms
3 拔 USB 后画面僵 50 秒 wifi.connect(timeout=50000) 超时降到 10 秒,实测 2–3 秒返回
4 开机偶尔死机重启 开机 1–2 秒内 import speaker 触发 panic 延迟 6 秒初始化 + 旗标防死循环
5 中文 .ps1 在 PS 5.1 里报语法错误 无 BOM 的 UTF-8 被按 ANSI 解码,乱码字节破坏引号配对 含中文脚本一律 UTF-8 带 BOM+ CRLF
6 客户换 USB 口后 "打不开串口" COM 号变了 按 VID_303A 自动识别
7 双击 .bat 闪黑窗 cmd 窗口 VBS WshShell.Run(..., 0, False) 隐藏启动

七、教学建议(可直接拿去上课)

这个项目天然适合拆成三课时,而且​每一课时都能落到 "测量" 上​:

课时 学生任务 对应科学方法
第 1 课时「找信号」 分组提出 3 个 "能反映 AI 在工作" 的信号,用任务管理器 / 资源监视器 / 界面观察逐条打勾或打叉 提出假设 → 设计对照 → 收集证据
第 2 课时「造状态机」 画出 5 状态转移图,填 "保持多久" 的参数,用纸笔跑 6 个用例 建模 → 边界测试 → 修正模型
第 3 课时「做出来」 上传板子程序、双击 bat、调呼吸和旋律 工程实现 → 迭代优化

​跨学科落点​:信息科技(程序与数据)、物理(光与声的感知、PWM 调光)、数学(时间区间、阈值、采样频率)、语文(把探究过程写成说明文)。

​**AI 规范使用讨论(建议放在最后 10 分钟)**​:

本项目全程​只读界面公开信息​,没有抓包、没有逆向、没有读取 AI 的对话内容。可以顺势讨论 ——"我们为什么要在设计上给自己划这条线?" 这是很好的信息伦理切入点。

八、复刻提示(给想抄作业的人)

  1. ​零依赖​:电脑端是纯 PowerShell + .NET,客户机不用装 Python,这一点是我们最在意的 "可复刻性"。
  2. ​两个文件​:客户只需要 start_serial.bat + pc_monitor_serial.ps1,双击即可,不用配 IP、不用管防火墙。
  3. ​换主控很容易​:协议就是一行文本,WORKING 12:34 / DONE / WAITING / IDLE / OFFLINE,任何带屏幕和串口的板子都能接。
  4. ​想脱离 USB 线​:K10 有 PH2.0 电池口(3.0–4.2V,推荐 3.7V 锂电或 3 节 1.5V 干电池,4 节会烧板),但​板子没有充电电路​,锂电要拿外部充电器充。此时电脑端要改成 Wi-Fi/MQTT 推送,这一版已在准备中,后续补发。

硬件清单

创作许可协议

本项目采用 CC BY(署名) 进行许可。

所需材料/产品

加载全部

    行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

    行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

    行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

    炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯

    炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯

    炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯

相关推荐

评论(0)
- 没有更多了 -

创作许可协议

本项目采用 CC BY(署名) 进行许可。

相关推荐

所需材料/产品

行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

行空板K10 AI智能体编程主板,支持ESP-Claw/DeepSeek/MCP/边缘计算

炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯

炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯

炫彩 WS2812 RGB LED可剪裁黑色灯带 120灯