01 /
这次要解决什么？
一份稿件十秒就生成了，但同事花二十分钟逐条核对。只记录生成时间，会把后面的工作藏起来。
本课先核算合成记录，再设计自己的小范围对照。关注可用结果及其成本，不把小样本时间差直接外推为全年收益或因果结论。
02 /
从已有方法里，取一小步。
- Anthropic · Demystifying evals for AI agents · 2026-01-09 ↗核对日期：2026-10-17。参考任务、成功条件与实际结果的评估方法；下面的测试数据由本站独立编写。
03 /
先讲清判断，再请 AI 协助。
冻结同一份任务
人工流程与 AI 辅助流程使用相同材料、输出要求、截止范围和验收卡。记录工具与方法版本；不能一边改题一边比较。
交出：可对照的任务版本
把全部时间记下来
记录准备、处理、人工复核、返工四段。AI 辅助的等待时间与人工投入可分别记录；本页表格用单项工作历时，避免重复相加重叠时段。
交出：包含复核的总耗时
先过质量门，再谈速度
先检查引用、关键事实、计算与权限；首轮失败另列原因，修正后再验收。无法完成的任务也要保留。
交出：首轮及最终结果
保留对照的局限
若同一人先做人工再做 AI，后一次可能受熟悉材料影响。真实试点可轮换顺序、使用相近任务并增加样本，避免把练习差异当作已证实收益。
交出：下一轮验证方案
| 任务 | 人工 / AI 辅助：准备＋处理＋复核＋返工 | 首轮与最终验收 |
|---|---|---|
| R01 | 人工 5＋20＋5＋0＝30；AI 6＋4＋8＋2＝20 | 两组首轮通过；AI 的2分钟为非阻断润色 |
| R02 | 人工 5＋24＋6＋5＝40；AI 6＋5＋10＋9＝30 | 两组首轮失败；修正后均通过 |
| R03 | 人工 5＋18＋5＋2＝30；AI 6＋4＋8＋2＝20 | 两组首轮通过；2分钟为非阻断润色 |
04 /
在对话里做一遍。
环境准备见 W00 实操说明。本次直接使用下面的任务说明，不依赖样品包。
独立计算
先用计算器分别求总耗时和首轮通过比例，再让 AI 整理。不要把“全部修正后通过”写成“首轮100%通过”。
查看失败原因
假设 R02 的失败为漏写来源条件。记录它为何漏、谁发现、怎样修复，而不只保留平均值。
设计三项自己的任务
选获准使用且难度相近的样本，写好标准和计时方法；尚未实际运行的部分明确标记“计划”。
请核算以下合成记录，不补充真实收益。 R01：人工30分钟，AI辅助20分钟；两组首轮通过。 R02：人工40分钟，AI辅助30分钟；两组首轮失败，修正后通过。 R03：人工30分钟，AI辅助20分钟；两组首轮通过。 每项总时间已含准备、处理、人工复核和返工，不再重复相加。 输出：两组总耗时、差额、相对人工的时间减少比例、首轮通过数/总数、最终通过数/总数。 再列出为什么这些数据不能证明全年ROI，以及下一轮应记录什么。
05 /
交出：人工与 AI 辅助的对照记录
- 提交计算表，首轮与最终结果分开呈现。
- 列出一项质量阻断条件，及一项需要继续观察的成本。
- 提出下一轮对照安排；实际结果与计划分开，不用虚构数值填空。
另一位同事能根据记录复算出100、70、30%和2/3，并知道这些数值只属于本次合成练习。
完成后对照：参考检查点
正确计算
人工合计100分钟，AI辅助70分钟，差30分钟，相对减少30/100＝30%。两组首轮均为2/3（约66.7%），修正后均为3/3。
正确解释
样本中质量没有提高；时间差也不是净收益。尚缺工具费用、维护、培训、任务结构变化和更多实际任务证据。
下一轮记录
保留每题输入、方法与模型版本、原始回答、分段时间、失败原因和人工判定。先约定接受条件，再决定扩大、修订或停止。
06 /
把这一步用到自己的业务。
先用本页练习完成一个样本。需要配套资料或团队应用建议时，可以说明任务，我们会人工确认适用范围与可提供内容。
公开练习可直接使用；其他资料的可用版本由人工确认。
工具箱 / 方法沉淀
业务方法整理
把脑中的判断，整理成同事与 Agent 都能检查的工作方法。
先读公开方法，配套资料由人工确认。
查看资料与落地咨询 →07 /
带着这个问题，继续下一课。
下一课给已经值得试用的方法画出数据与动作边界，明确哪些工作必须由谁确认。