基准与透明度

这里发布生产环境的真实测量,包括不好看的数字。每一项都标注口径、测量日期和样本量;数字由脚本产出(scripts/intrecall.py 等),可复跑对账。我们不做的是:拿一个策划数据集上的漂亮分数,暗示它等于你的生产体验。

知识库规模(生产库实测)
79,265知识源 771,475文本块
2026-11-15 生产库直读(data/kb/kb.db)

规模是记忆产品的基础底座:检索质量之外,先看装了多少、分了多少块。

写入-召回自洽性 recall@5(生产轨迹回放)
0.103命中 4 / 39
2026-11-15 · 90 天窗口 · 39 个用例 · scripts/intrecall.py
轨迹:2026-10-20 首测 0.25(1/4,样本过小仅作记录)→ 2026-11-15 0.103(4/39)。两轮口径一致,分母从 4 涨到 39。

先说口径:它不问「检索器在标准题库上表现如何」,而问一个更苛刻的问题——系统把自己写下的每条记忆都想起来了吗?用真实任务的 topic 回查当初写入的 memory_id,命中才算对。再说归因:逐条核对未命中的用例,主因是写入侧跑题(任务主题是 X,写进去的却是 Y 的配置片段)——问题在「写什么」不在「找不找得到」,修在写入闸而不在检索器。这个数字我们照发,因为它鞭策的是写入质量。

混合检索延迟(用户真实路径 = 服务 API 端到端)
p50 0.65秒 max 2.5秒
2026-11-15 晚间复测 · 服务 API 连发 5 条真实查询(试用 key 全链路)

勘误声明(同日):本页早前发布的「p50 1.2~6.0s、尾部 18~41s」是独立探针进程的测量——探针与常驻服务争写锁,尾部是进程间串行化伪影,不代表用户路径。改用服务 API 端到端口径后:p50 0.65 秒、最长 2.5 秒(5 条真实查询),用户体感健康。早期数字保留在此作为方法论教训:测用户路径,就用用户的路径测。

口径对照:为什么我们不硬拼 92.5%

记忆赛道的公开基准多为策划长转写上的问答(如 LoCoMo、LongMemEval——有厂商报告 92.5% 与 71.2% 等)。那类数据集考察的是「给定固定对话史能否答对题」;我们上面发布的是生产写入-召回自洽——两者问题不同、数据不同,任何跨口径的分数换算都是误导。你要评估自己的场景,最好的办法是用我们的免费试用档装你自己的数据实测,脚本与口径全部随产品交付。

复测承诺

每季度首个工作月复测一轮,每次标注测量日期与样本量;口径改动会在页面上留变更记录,不悄悄换题(本页当日已勘误一次:检索延迟口径从探针进程改为服务 API 端到端)。下一轮重点:写入闸上线后 recall@5 的改善幅度、更大样本(≥20 条)的 API 路径 p95。

方法与脚本随开源/交付物提供:scripts/intrecall.py(写入-召回自洽)、生产库直读(规模)。对本页任何数字有疑问,欢迎通过 问题反馈 提出复算请求。