更新日志
每次版本都写清“改了什么、为什么改、怎么验证”;本页与 /api/changelog
同源,直接读仓库根 CHANGELOG.md,不手抄、不二次编辑。
当前版本
v0.5.59
· 发布于 2026-11-17
· JSON
v0.3.5
2026-10-24
一句话:修掉三处「状态说谎」——告警转发通道从未接线却报 ok: true、发送失败仍推进游标导致告警永久丢失、webhook 地址(含机器人 key)被打印进 journal。同时补齐 0.3.4 里「守卫会写 kb-alerts.jsonl」这句当时并不成立的说法。
修复:告警链路的静默失真(deploy/kb/kb_alert_forward.py)
补齐:守卫的告警出口(tools/check_fd_watermark.py)
- ALERT 时除写日志外,追加一行到
--jsonl(默认 /data/danao/kb-alerts.jsonl),接入既有告警文件。0.3.4 的 CHANGELOG 曾写「守卫会把异常写进本地日志与 kb-alerts.jsonl」,当时脚本并没有写 jsonl 的实现——本版补齐,使文档与实现一致。 - 同一组告警在
ALERT_REPEAT_SECONDS(1 小时)内只写一次,避免每 10 分钟刷一条重复行(按告警内容签名去重,签名与时间戳存 state 文件)。
仍然存在(需人工决策)
/etc/danao/kb.env 与 /etc/youxi/alert.conf 都没有任何生效的 webhook 键,服务器上多套告警脚本都是「可选 webhook」且都没配。因此本版之后,告警的真实状态从「静默显示健康」变成「如实显示 degraded + pending 计数」,但仍然没有人会收到推送——要真正送达,需要提供一个 webhook 地址。
v0.3.4
2026-10-24
一句话:给 fd 事故装上可判定的回归守卫——新增连接水位采样工具并装配为每 10 分钟的 cron,同时把「告警往哪里送」这件事查清:转发通道从未配置,状态文件却报 ok: true。
新增:fd / 连接水位守卫(0.3.3 事故的回归哨兵)
- 工具
tools/check_fd_watermark.py:采样 /proc/<pid>/fd、指向 danao.db 的连接数、线程数与 Max open files。三条判据任一成立即 rc=1:① 连接数 ≥ max(64, 线程数 × 2)(事故形态是 500 连接 / 118 线程 ≈ 4.2×,正常 37 / 162 ≈ 0.23×);② fd 总数 ≥ 4096(正常约 100,留 40 倍余量);③ 与上次采样相比 fd 增长 ≥ 200(趋势判据,抓缓慢泄漏;只在同一 PID 内比较,避免重启前后串比)。 - 为什么废掉「fd 使用率 > 70%」:0.3.3 把
LimitNOFILE 提到 65536,70% = 45,824 个 fd,正常水位要涨 458 倍才触发——这是一条永不可能触发的死判据。判据的价值在于能否分辨故障。 rc=2 是一等公民:服务未运行、/proc 读不到等情况返回 2 而非 0。「测不到」与「一切正常」塌成同一件事,就是静默失效。- 装配:
scripts/install_evolution_cron.py 新增 _fd_watermark_line(),把守卫纳入既有# DANAO-BRAIN-EVOLUTION 单入口块(每 10 分钟,--quiet,异常才写 logs/fd_watermark.log)。走 installer 而非手改 crontab,避免下次安装被覆盖成两份。
验证
- 工具矩阵 8/8:正常
rc=0(fd 102/65536、conns 37、threads 162)、--json 输出、--quiet 静默、服务名不存在时 rc=2;三条判据各自变异(阈值压到 1 / 0)均按预期 ALERT + rc=1。 - 装配安全性用集合差证明:安装前后块外业务行 106 → 106,丢失 0、新增 0 (其他项目 cron 全部保留)。副作用是块从文件中段移到末尾并多一个空行——installer 既有行为,故按行号定位块的做法不可靠,只能按标记。
env -i 干净环境下执行成功,证明不依赖 PATH 与登录环境。
已知限制(未在本版解决)
- 告警没有外部出口:
/data/danao/kb-alert-forward.status 为{"configured": false, "ok": true, ...} —— /etc/danao/kb.env 里没有DANAO_KB_ALERT_FORWARD_URL,转发服务每 2 分钟空跑一次即退出。因此守卫当前只能把异常写进本地日志与 kb-alerts.jsonl(kb-alerts.jsonl 里已积压一条从未送出的 健康分偏低:36 告警)。 ok: true 与 configured: false 同时出现,属 fail-open 语义:未接上的守卫会伪装成已生效。该语义在 deploy/kb/kb_alert_forward.py,本次未改动(需先确认 webhook 目标)。
v0.3.3
2026-10-24
一句话:修复 fd 耗尽——ThreadLocalConnection 每回收一个线程就永久泄漏 2 个 fd,服务跑约 2 小时把 1024 软限额吃满,此后所有需要打开文件的请求全部 500(经验库写入失败),而 /healthz 仍报 200。本版把连接按线程 ident 归档并在建连时惰性回收,同时抬高 LimitNOFILE。
修复:连接随线程回收(生产事故复盘)
- 现象:
/kb 页面 500、/api/v1/kb/documents 写入失败;/healthz 200、无 Key 的接口仍正常 401。进程 fd 实测 1023/1024,其中 data/danao.db 500 个 + danao.db-wal 500 个,基础 fd 仅 23;首次报错 OSError: [Errno 24] Too many open files: app/web/index.html(11:11 启动,13:07 耗尽)。 - 根因:uvicorn 同步端点跑在 anyio 线程池,
WorkerThread 空闲 MAX_IDLE_TIME=10s 即被回收;ThreadLocalConnection._all 用 list 强引用每条线程连接、线程消失后无人关闭 ⇒ 每回收一个线程泄漏2 个 fd(db + wal)。两条常规修法经实测均不可行:sqlite3 连接不支持 weakref,threading.local 子类的 __del__ 也不随线程结束触发(只随对象销毁)。 - 隐藏放大项:线程 ident 会被 OS 复用(实测连续 12 个线程拿到同一 tid)。若只按 ident 归档而从不过期,旧连接既不在表内、又不属于存活线程,只能等 GC —— 这是第一版补丁仍残留
growth=44 的唯一原因。 - 修复:
_all 改为 dict[thread ident, conn];建连时在锁内回收不在 threading.enumerate() 的条目并 close(),同一 ident 覆盖前先关旧连接(alive 在锁外计算,避免业务锁与 threading 锁反序);新增只读属性 open_connections 便于排查 fd 水位。 - 容量:
danao-brain.service 增加 LimitNOFILE=65536(此前未声明,实际沿用默认 1024)。 - 验证:判定「N 个建连线程后 fd 增量必须是常数」——旧实现 50 线程
growth=100、200 线程 growth=400;修复后 50 与 500 线程均为 growth=3。变异验证:换回旧 db.py 测试立刻红(assert 400 <= 20)。生产 60 次并发 /kb 请求后 fd 稳定 92、连接 35,40 秒后不变;/kb 由 500 恢复 200(48KB)。 - 测试:新增
tests/test_threadlocal_fd_leak.py(2 用例)锁死该缺陷。