先说结论，不绕弯子：我们做了一件事——把一家 AI 公司过去一年攒下的 192 万条对话，变成一条「可检索、可验证、可复现」的记忆流水线。第一次实测，召回命中率 R@5 = 0.60，没达标；我们没有换模型，只是补上了一本「对口的领域语料」，第二次实测，客服话术域 R@5 = 0.80，达标了。
0.60 到 0.80 这 0.20 的差距，就是我们 Q4 要讲的全部故事。这篇文章拆成三部分：这 0.20 是怎么量出来的、为什么补一本账比换一个模型更有效、以及我们踩过的坑和还欠着的账。
我们是深圳一家做 AI 智能体（Agent）自运营系统的公司，叫百盛 AI。过去大半年，我们把 12 项工程底座从 76.7 分刷到了 82.9 分。直到上个月复盘，团队里有个判断让人后背一凉：
「基建堆到 82.9 分之后，边际递减了。真正的护城河，是那 192 万对话数据资产，不是再多一个 Registry。」
因为一家公司最贵的东西，从来不是服务器，是踩过的坑。一个工程师离职，经验就带走了；一个项目做完，教训就沉底了。而我们恰好攒了一整年的「坑」——192 万条对话，全是 AI 员工干活的原始记录。问题只有一个：这些「坑」躺在数据库里，像一本从没被翻开的账本。
于是 Q4 我们只做一件事——数据资产激活。说人话：把 192 万条对话，变成一家公司随时能翻的「记忆」。
做法比大多数人想的朴素，就是一条流水线：192 万条对话 → 去重、分级（S/A/B/C 四档）→ 向量化 → 加权检索（top 10）→ 精排（top 3）→ 注入下一个「接活」的 AI。
| 资产 | 数量 | 说明 |
|---|---|---|
| 累计对话 | 192 万条 | 全部 AI 员工的工作原始记录 |
| 向量化入库（去重后） | 7,115 条 | 真正可检索的「经验」 |
| S 级（可复用经验） | 755 条 | 核心资产 |
| A 级（可操作知识） | 1,553 条 | 重要资产 |
| B 级（流程日志） | 4,370 条 | 上下文参考 |
| C 级（噪音） | 737 条 | 召回时直接排除 |
每当公司派发一个新任务，AI 员工接活之前，会先自动「翻旧账」——把历史上最相关的 top 3 条经验，塞进它的任务说明里。翻译成人话：新来的 AI 员工，第一天上班，脑子里已经装满了前辈们踩过的坑。
我们衡量「记忆有没有用」的指标只有一个：召回命中率 R@5。定义很简单：给系统一个真实问题，让它从经验库里召回 top 5 条相关经验；如果这 5 条里至少有一条「真的能回答这个问题」，就算命中。测 20 个真实 case，命中了几个，命中率就是几成。
| 域 | 链路 | R@5 | R@3（精排后） | 判定 |
|---|---|---|---|---|
| 任务派发（通用经验库） | 派发前注入 | 0.60（12/20） | 0.60 | 未达标 |
| 客服话术 | 客服回复调用点注入 | 0.80（16/20） | 0.85（17/20） | 达标 |
第一次实测（任务派发域），R@5 = 0.60，我们把它原样公开。为什么敢写？因为 0.60 恰恰说明了一件事：那 192 万条对话里，91% 是 AI 员工的工作日志，在它自己干过的活上想得很准，但在它积累少的领域会大面积「失忆」。这不是算法不行，是账本里压根没有那一页。
第二次实测（客服话术域），R@5 = 0.80。我们做了一件「笨」事：不换模型，不给管线加任何黑科技，只是把「客服话术手册」单独做了一本领域语料库——8 大场景、45 条标准话术，向量化之后挂进同一条管线，接进客服回复的真实调用点。结果，同一个管线、同一个指标，命中率直接到 0.80，精排后更是 0.85。
R@5 从 0.60 到 0.80，靠的不是换更强的模型，是补上「对的那本账」。一个记性不好的员工，你逼他更努力没用；你把该给他的手册递到他手上，他立刻就答对了。
一家公司的记忆，就是它的护城河。
我们必须把边界也写清楚。两个明确的短板：第一，任务派发那条链路的 R@5 还是 0.60，没达标，因为通用经验库里缺的几块领域语料（安全、增长、财务、合规）还没补进去。第二，客服那条链路命中率虽达标，但单次召回要跑约 3.6 秒，其中 CPU 精排那一步就 3.5 秒，超出客服 800 毫秒的首响红线，目前靠非阻塞降级保证「宁可慢一点注入、绝不阻塞首响」。
为什么敢把这两条短板也写出来？因为「激活」这件事，最难的不是算法，是诚实。你得先承认你的数据里有什么、缺什么，才能知道该往哪补。
我们已经入库的经验，只有 7,115 条，占全部可向量化语料的约 1%。换句话说，跑通「长记性」流水线、接进任务派发、接进客服话术、把命中率从 0 一路测到 0.80——只是刚刚给这家公司装上了海马体，并且点亮了第二个能用它的场景。真正的 192 万条，还在等着被一条一条唤醒。
如果你也是一家「有很多数据、却不知道怎么用」的公司，或者一个「攒了一堆经验、却总在重蹈覆辙」的创业者——想用这一整年的教训跟你说一句话：
你最大的资产，不在服务器里，也不在报表里，在你每一次「早该记住、却忘了」的对话里。把它挖出来。
官网：szbsai.com