01 / CONTEXT
解决什么问题，为什么值得做？
教学场景：专家已经纠正了助手的一条错误，下周相同问题仍得到旧答案。任务是把一次纠错变成可追溯的知识更新与回归样本。
业务价值
让专家经验真正进入系统，降低重复犯错与反复人工纠正的成本。
- 协作角色
- 知识专家、内容维护人、评估工程师、FDE
02 / DISCOVERY
FDE 怎样把症状变成可解决的问题？
以下按合成情景展开现场排查与实施练习。
重放错误答案的完整路径
固定问题、检索结果、知识版本和生成版本。判断错误来自资料已过期、检索没更新，还是正确知识被误读。
追踪一次纠错去了哪里
查看反馈是否只有聊天记录、是否有维护人、是否进入发布版本。一次口头确认不能证明系统已更新。
03 / DELIVERY ROUTE
方案如何一步步落到工作里？
- 01
收集失败
记录输入、输出、引用及错误类型，避免带入个人资料。
- 02
核实修订
找权威来源确认新答案，反馈本身只作线索。
- 03
发布版本
更新知识与索引，记录变更人、有效期和可回滚版本。
- 04
回归追踪
原错误、近似问法与相反条件一起测试，监测复发。
04 / DECISIONS
哪些判断决定方案是否可靠？
不能自动把反馈当事实
用户可能误解规则或提交恶意内容。无来源、无责任人或与现行规则冲突的反馈进入待核实队列。
只修答案不够
若旧索引仍在服务，修改文档不会生效；版本信息要贯穿检索、生成和发布。
05 / WORKED EXAMPLE
规则从 7 天改为 14 天
合成教学样例
合成政策：v2 对新订单生效，旧订单仍按 v1。不能把所有答案直接替换成 14 天。
- 输入条件
- 询问订单日期与政策适用范围。
- 版本选择
- 按生效区间选 v1 或 v2；不只取最新文本。
- 回归组
- 新订单、旧订单、日期未知三种样本各有预期动作。
06 / COURSEWORK
对应课程：你要做什么、交什么？
为知识增加生效区间
- 交付物
- 知识对象与引用关系
- 通过条件
- 历史问题能选历史规则
把五条纠错写成测试
- 交付物
- 变更评估集
- 通过条件
- 原错误修复且邻近问题不退化
定义维护与回滚流程
- 交付物
- 知识发布手册
- 通过条件
- 他人能复现旧版与恢复新版
07 / ACCEPTANCE & REUSE
怎样证明完成，下一次复用什么？
验收检查
验收修订来源、版本可追踪、有效期处理和回归覆盖；纠错条数不代表质量已改善。
可复用资产
形成失败—知识—评估的维护机制，可用于售后、销售支持和内部制度助手。
延伸阅读与案例原文
- Building effective agents ↗Anthropic · 2024-12-19
- Demystifying evals for AI agents ↗Anthropic · 2026-01-09