01 / CONTEXT
解决什么问题，为什么值得做？
Morgan Stanley 与 OpenAI 先围绕内部资料检索和摘要建立评估：顾问与工程人员共同评分，用专家反馈改进检索和提示，并持续回归测试。随后扩展到经客户同意的会议摘要和跟进草稿。公开案例报告超过 98% 的顾问团队采用 Assistant；该数值表示采用，不是正确率。
业务价值
把专家认可的知识质量做成可重复检查的发布标准，让“愿意用”与“值得信任”同时成立。
- 协作角色
- 顾问、知识内容负责人、评估工程师、产品与交付团队
02 / DISCOVERY
FDE 怎样把症状变成可解决的问题？
以下为结合案例设计的 FDE 实战推演，展示同类问题的排查与实施方法；公开团队的已披露做法见上方背景。
收集真实问题形态
课堂用自编问题模拟查流程、比较规则、总结长文三类任务。记录使用者为什么不用搜索结果：太长、过时、找不到来源，还是缺少适用条件？
把“答案不好”变成错误分类
复核失败样本，区分没检到、检错版本、总结歪曲、缺证据仍回答；同一故障由不同评分者解释时要先统一标准。
03 / DELIVERY ROUTE
方案如何一步步落到工作里？
- 01
定任务
选择高频问法与必须澄清的问题，建立固定评估集。
- 02
专家评分
对事实、引用、完整性与拒答分别打分，保留争议理由。
- 03
定位修复
一次只改一个层次，对比失败样本与未见问题。
- 04
持续回归
文档、模型和提示更新都触发回归；上线后补入新失败。
04 / DECISIONS
哪些判断决定方案是否可靠？
有帮助，不等于有依据
用户点赞可以说明体验，但不能替代事实核验；采用率、正确率和任务耗时要分开呈现。
把拒答设计成下一步
不能回答时说明缺少哪份资料、需要哪个条件或应找哪类负责人；否则安全的拒答也可能让工作停滞。
05 / WORKED EXAMPLE
12 题知识评估集怎样分层
合成教学样例
合成测试设计：不是从常见问题中随机凑 12 题，而是确保系统在不同失败方式下仍作出正确动作。
- 6 题有明确依据
- 跨短文、表格和长文；答案必须引用支持该结论的片段。
- 3 题条件不全
- 缺少地区、版本或任务时间；预期动作是先澄清。
- 3 题缺证据或越权
- 正确行为是不泄露、不编造，并提供可行下一步。
06 / COURSEWORK
对应课程：你要做什么、交什么？
把问题与检索对象对应
- 交付物
- 查询样本 + 来源映射
- 通过条件
- 能解释为什么召回这些内容
建立评分与回归机制
- 交付物
- 评估集 + 错误分类 + 阈值
- 通过条件
- 修改有对照结果，关键失败不能被平均
区分质量与采用指标
- 交付物
- 验收与使用观察方案
- 通过条件
- 满意不自动等于准确或业务收益
07 / ACCEPTANCE & REUSE
怎样证明完成，下一次复用什么？
验收检查
提交检索与生成的分层分数、专家分歧处理、失败回归记录。再观察任务中是否使用、怎样修改、为什么放弃。
可复用资产
复用的是评估驱动的迭代方式，可扩展到会议纪要、内部客服和销售知识工具；新任务必须建立新的质量标准。
延伸阅读与案例原文
- Morgan Stanley uses AI evals ↗OpenAI · 查阅 / Accessed 2026-09-07
- Demystifying evals for AI agents ↗Anthropic · 2026-01-09