先说结论
AI 项目 ROI 应从同口径业务基线开始，用“可归因的业务收益－实施与运行总成本”衡量，并同时设置质量、采用与风险门槛。没有基线和对照，就不要宣称固定提升比例。
读完你会得到
- 建立试点前基线和同口径对照。
- 把模型费之外的集成、审核和维护计入成本。
- 用持续评测防止上线后效果退化。
如果你负责给 AI 项目批预算，真正要回答的是：谁会使用、到底省掉了哪一步、节省的时间能不能变成业务价值，以及什么证据出现时应该停止。本文提供计算框架和可复算教学示例，不提供虚构客户成果或行业均值。
配套练习与模板
无需留联系方式即可下载。先用示例熟悉方法，再填入脱敏后的业务资料；示例不是客户成果或效果承诺。
- AI 项目评估与 ROI 复盘模板（下载）
含基线、成本口径、敏感性分析、失败台账及立项决策；Markdown 可复制到团队文档。
第一步不是预测收益，而是记录当前基线
- 任务量
统一时间窗口内处理多少任务，波峰波谷如何。
- 完整周期
从收到输入到结果可用，包括等待和返工。
- 人工投入
不同角色实际参与哪些步骤，而不是只估算操作时间。
- 质量与错误
记录错误类型、发现时点、返工和业务后果。
- 现有成本
软件、外包、培训、沟通和机会成本。
把收益与总成本拆开计算
| 部分 | 应记录什么 | 常见漏项 |
|---|---|---|
| 业务收益 | 节省等待、减少返工、提高吞吐或带来可归因收入 | 把所有收入变化归因于 AI |
| 实施成本 | 咨询、开发、集成、数据治理、评测和培训 | 只算模型调用费 |
| 运行成本 | 模型、工具、监控、人工审核、故障与内容维护 | 忽略人工接管 |
| 风险成本 | 安全审查、错误处置、回滚和合规工作 | 假设零事故等于零风险投入 |
业务指标之外，还需要任务级评测
- 定义评测目标
把“效果好”改写为任务成功条件。
- 收集评测数据
覆盖典型、边界、历史失败和对抗样例。
- 定义指标
按任务选择正确性、完整性、工具选择、引用或人工评分。
- 运行并比较
在模型、提示、知识或流程变更前后跑同一评测集。
- 持续评测
把生产新失败样例纳入版本化评测集。
本节依据： [1] OpenAI Developers
一张算例：生成更快，为什么不一定回本？
| 输入项 | 教学假设 | 计算口径 |
|---|---|---|
| 候选任务与采用率 | 1,000 单；60% 使用 AI 辅助 | 只有 600 单进入收益计算；其他 400 单不计收益 |
| 原流程人工时间 | 每单 8 分钟 | 包含查资料、写回复和必要检查 |
| AI 后人工时间 | 每单复核 3 分钟＋平均返工 1 分钟 | 返工按全部采用任务摊分，不能只记录顺利样例 |
| 可释放工时 | 600 × (8 − 3 − 1) ÷ 60 = 40 小时 | 这是人工时间，不是模型响应时间或自然等待时间 |
| 工时估值 | 100 元/小时；产能价值 4,000 元 | 需要说明释放工时用到什么任务，不能直接称为利润 |
| 运行与维护 | 平台和调用 800 元＋维护 1,200 元 = 2,000 元 | 人工复核已经从收益中扣除，不再重复计成本 |
| 一次性投入 | 24,000 元 | 假设包含集成、数据整理、上线评测与培训 |
在“每月任务量、采用率和估值都保持不变，且产能价值能兑现”的假设下，每月净产能价值为 4,000 − 2,000 = 2,000 元；简单回收期为 24,000 ÷ 2,000 = 12 个月。首年收益 48,000 元，首年总成本 24,000＋24,000 = 48,000 元，因此首年产能口径 ROI 为 0%。这里未计折现、税务和季节性，不能当作财务预测。
如果公司没有减少外包支出，也没有把释放的 40 小时用于可核实的新增产出，现金收益仍未得到证明。汇报时把“产能口径”和“现金口径”分两行，不要用工资折算值制造已经省钱的印象。
| 条件变化（其余不变） | 月净产能价值 | 应该问的问题 |
|---|---|---|
| 采用率从 60% 降到 30% | 300 × 4 ÷ 60 × 100 − 2,000 = 0 元 | 为什么团队不用：入口、质量还是培训？简单回收期不成立 |
| 复核从 3 分钟升到 6 分钟 | 600 × 1 ÷ 60 × 100 − 2,000 = −1,000 元 | 是不是修改草稿比自己写更慢？先处理高返工类型 |
| 采用率 60%，但释放工时不能兑现 | 不能据此确认现金回报 | 报告产能变化，继续验证业务结果，不承诺现金回本 |
怎么采样，才能避免“拿最好样例汇报”？
- 先锁定同一类任务
例如只评估“常见售后问题回复草稿”，把投诉、退款执行与特殊承诺单列。规定任务开始和结束时点，等待时间与人工操作时间分别记。
产出：任务范围、排除条件、时间定义 - 在看结果前约定验收
由业务负责人列明必须正确的事实、不能遗漏的字段和必须转人工的情况。严重越权或错误承诺单独作为停止条件，不能被平均分抵消。
产出：评分表、严重错误定义、签字负责人 - 保留同口径对照
条件允许时将可比任务分组比较；否则按任务难度分层记录前后差异，并披露人员熟练度、促销与任务结构变化，不能把前后相关性当因果。
产出：每单原始记录和影响因素说明 - 分开调试题和保留题
调试题可用于改提示，保留题不要反复针对性优化。发布候选版本后再测保留题；人工抽查自动评分，并报告样本数量和遗漏类型。
产出：版本号、测试集划分、逐题评分
复盘时做四选一，而不是只问“继续吗”
| 决定 | 适用证据 | 下一步 |
|---|---|---|
| 扩大 | 质量过门槛、用户采用、收益可见、风险受控 | 逐步增加用户或任务范围 |
| 优化 | 价值存在但某类错误集中 | 针对数据、提示、工具或流程修正 |
| 降级 | 自动执行风险高，但辅助价值明确 | 改为建议或人工确认模式 |
| 停止 | 价值不足、成本过高或风险不可接受 | 保存结论，释放资源 |
本节依据： [2] NIST
常见问题
AI 项目多久能算出 ROI？
没有统一周期。必须覆盖足够的真实任务和异常情况，且试点前后口径一致。任务频次低或季节性强时，需要更长观察窗口。
生成质量很难量化怎么办？
先定义错误类型与使用场景，再结合结构化检查、成对比较和业务专家评分。不要强迫所有质量变成单一分数，也要保留定性失败记录。
资料来源与核对说明
文章中的行业定义与技术方法尽量引用官方或标准组织资料；表格、清单和决策框架是基于这些资料形成的编辑性整理，不代表来源机构对本站服务的背书。
- Evaluation best practicesOpenAI Developers
用于建立任务级评测：定义目标、收集数据、设置指标、运行比较并持续评估。
- NIST AI RMF PlaybookNIST
用于组织治理、场景映射、测量和风险处置四类工作。
带上流程、样例和目标，添加企业微信沟通。首次沟通先判断是否值得做，不承诺没有数据依据的结果。