先用图解理解结构,再结合正文实现与验证。
完整证据包、能力复评与作品说明
按讲义完成实现并提交证据。代码片段、模拟结果与真实模型任务需要分别标注。1. 结业展示检验完整交付能力
答辩的目标不是比谁做的页面多,而是确认你能够解释并复现一条完整链路:为什么选择任务,如何处理数据与语义,模型在哪里判断,工具如何受控执行,如何评估和运行,结果能支持什么结论,哪些资产可以复用。
本站提供公开讲义、教学脚手架和建议评审标准,不提供已经排期的讲师答辩、官方证书或就业保证。个人可按此自评,企业或学习小组可组织内部评审。真实项目必须取得资料使用授权;训练沙盘应始终标为训练项目。
2. 答辩前的提交与复现清单
提交 W1–W11 必做作业、最终代码、配置样例、运行说明、数据来源和限制、测试报告、模型任务轨迹、验收与归因说明、复盘和资产清单。敏感配置用占位符,数据使用合成或获授权且适合分享的版本。不要提交密钥、内部主机地址或未经同意的访谈原文。
让评审者在干净环境按 README 运行:安装条件是否明确,命令是否有效,测试是否可重复,模型未配置时是否显示未配置而不是伪造成功。依赖外部服务的部分要说明账户、费用和权限前提,不能要求评审者在未知成本下盲目执行。
| 证据包 | 必须能够回答的问题 |
|---|---|
| 问题与范围 | 为什么做它,哪些能力不在本期? |
| 数据与语义 | 一名对象如何从源数据变成指标和建议? |
| 系统与模型 | 哪些步骤由模型选择,哪些由程序确定? |
| 执行与运行 | 如何授权、确认、幂等、回查和恢复? |
| 评估与结果 | 什么通过了,什么未测,结果有何局限? |
| 产品与资产 | 哪些来自标准产品,哪些是客户适配? |
从“完成了什么”追到版本、实际轨迹、测试与原始输入。截图用于说明,不能替代可复现证据。
3. 现场演示顺序
建议将 30 分钟分为 15 分钟展示和 15 分钟追问。展示先用 3 分钟说明问题、基线和范围;用 4 分钟说明数据、本体和关键技术决定;用 5 分钟演示正常任务及一次异常;最后 3 分钟解释结果、限制、复用和个人贡献。时间是组织建议,可按评审安排调整。
正常演示要让评审看到模型如何根据目标选择工具,并结合结果完成建议或请求确认。异常演示可以选择信息不足、过期人群、越权请求、超时未知或重复执行。只播放录屏可用于补充证据,不能完全替代可运行链路与现场解释。
如果因模型服务不可用无法演示,应说明原因,展示此前可核验轨迹并运行机制测试;这能保留部分证据,但不能假装当前真实模型验证已完成。评审应记录需要补验的项目。
4. 模拟客户委员会的追问
| 角色 | 可能的追问 | 回答需要的证据 |
|---|---|---|
| 业务负责人 | 为什么这组人值得运营?没有证据时怎么办? | 人群口径、规则版本、反例与澄清轨迹 |
| IT | 数据源升级或服务超时时怎样恢复? | 契约测试、依赖表、回退与对账演练 |
| 安全 | 能否用对话绕过门店权限? | 服务端范围测试与审计 |
| 财务 | 业务提升有多少可归因?成本是否算全? | 观察窗、对照假设、成本与局限 |
| 产品研发 | 哪部分应进入产品,为什么不是客户特例? | 第二场景验证、接口和回归 |
回答时先给结论,再指向证据,最后说明边界与下一步。遇到没准备的问题,可以准确说当前不知道,并提出验证路径。把未知说成已支持,通常比没有当场解决更严重。
5. 建议评审量表与阻断条件
本课使用六维建议量表:业务诊断 20 分、数据与语义 20 分、工程与运行 20 分、评估与安全 20 分、结果与归因 10 分、协作与复用 10 分。内部评审可采用总分至少 75、各维度达到 60% 且无关键阻断的参考标准,具体组织可在开训前调整并公开。
关键阻断包括:未经授权使用或泄露信息;虚构效果或轨迹;模型可自行获得写权限;关键链路不能运行;固定脚本冒充真实 Agent;无法解释标准产品与客户扩展边界。不能用其他得分抵消这些问题。
达到要求的作品应可复现、边界清楚并有主要异常测试。更强的作品还应在新约束下完成定位、修订与恢复,并解释结果归因和责任边界。它不是功能数量竞赛,也不是按固定比例淘汰的排名制度。
设计方案、确定性模拟、模型集成与生产运行是不同证据层级。展示已完成部分,也写清尚未验证的边界。
6. 能力复评:用同一任务比较,而不是只问信心
开训与结业使用同一组四维能力任务:业务语义建模、技术深度、现场交付与商业判断、跨职能协作。每项同时记录自评和作品证据。自信提高可以是学习体验,但不能代替能力验证。
例如,开训时你可能只会把“提升复购”转成一个聊天页面;结业时应能提供指标契约、数据适配、工具与策略、评估和验收。比较的是产物质量和独立解决问题的能力,不是代码行数或使用了多少框架。
7. 如何将训练项目写入作品集与面试材料
准确写明这是合成沙盘或内部训练项目,不写成真实客户生产部署。描述个人职责、关键决定、工程产物、验证方式与已知限制;机制测试通过不应写成模型准确率,合成 DiD 示例不应写成“为客户提升 3% 收入”。
可以采用这样的表达结构:“在合成零售数据上完成产品扩展练习,负责身份与指标契约、分群工具和受控动作;编写契约/权限/重复执行测试,提交模型轨迹;当前未覆盖真实认证、多副本事务和生产渠道。”请根据实际完成内容修改,不把示例当成默认已实现成绩。
面试准备可分编码、系统设计、问题拆解和客户情境四类,但具体公司的流程各不相同,不宣称所有 FDE 岗位都固定四轮。准备五分钟项目叙述,并能回答:为什么这样做,替代方案是什么,失败在哪里,哪些工作是你独立完成的。
8. 必做作业、思考与验收
必做:完成证据包与干净环境复现;进行内部/小组答辩或依据量表录制自评;完成开训与结业能力对照;写一段真实、可核验的作品集描述。未完成真实模型接入的项目明确列为待补,不因已经读完 12 周就自动通过工程要求。
思考:现在如何定义 FDE 的价值?请用一个改变了项目走向的判断、一个具体工程扩展、一个未被夸大的结果回答,避免只重复职位介绍。
进阶:接受一个新约束,例如数据字段缺失、活动规则变化或下游超时,在限定时间内完成定位与修订,再更新测试和交付说明。
验收要求:演示、代码、报告和描述一致;真实模型与模拟边界明确;关键失败可解释;个人贡献可核验;客户资料未泄露;标准产品、客户扩展和产品反馈清楚分层。阅读进度只是学习记录,不是认证或作业评审结果。
本周自测与学习记录
离线模拟器测试全部通过,能宣称已验证真实模型能力吗?
机制测试与模型能力验证是两种证据,缺一项就应清楚标注。
参考与进一步阅读
Anthropic ↗ · Demystifying evals for AI agents2026-01-09 · AnthropicAnthropic ↗ · Building effective agents2024-12-19 · Anthropic结合本周作业阅读原文,记录影响设计的约束与验证方法。技术规范请核对实际部署版本。