AI PM Playbook

Appearance

AI 产品从 0 到 1 完整流程 — 产品生命周期指南 ​

面向 AI 产品经理，提供从问题定义到上线运营的端到端流程框架。本文按 2026-05 的 AI 产品实践更新：模型选型不再写死某个模型，而是按能力层级、成本结构、Agent 风险和评估闭环来设计。

目录 ​

  1. 概述与时间线总览
  2. Week 1-2：问题定义与用户验证
  3. Week 3-4：模型与架构选型
  4. Week 5-6：评估体系建立
  5. Week 7-8：MVP 开发
  6. Week 9-10：灰度与数据采集
  7. Week 11-12：迭代与正式上线
  8. 上线后运营与持续迭代
  9. 附录：关键模板

1. 概述与时间线总览 ​

AI 产品与传统软件的核心区别是：模型行为具有不确定性，且能力、价格、合规要求都会持续变化。因此，AI 产品从 0 到 1 不能只看功能是否开发完成，还要同时验证：

  • 用户是否真的需要 AI；
  • 当前模型能力是否足够；
  • 单位经济学是否成立；
  • 安全、合规、权限和审计是否可控；
  • 上线后是否能持续评估和回滚。
维度传统产品AI 产品
行为确定性高，代码即行为低，模型输出随输入、上下文、版本变化
评估方式功能测试通过 / 不通过多维指标 + 人工评估 + 线上反馈
风险来源Bug、性能、可用性幻觉、越权、成本失控、模型漂移、工具误用
PM 核心职责需求 + 体验 + 验收需求 + 评估 + 成本 + 风险 + 迭代闭环
发布方式功能灰度功能灰度 + 模型灰度 + Prompt / 策略灰度

12 周标准时间线 ​

text
Week 1-2   问题定义与用户验证
Week 3-4   模型与架构选型 Prototype
Week 5-6   评估体系建立
Week 7-8   MVP 开发
Week 9-10  灰度与数据采集
Week 11-12 迭代与正式上线
上线后     持续评估、成本优化、模型升级、治理复盘

各阶段会重叠，尤其是 评估体系、成本测算、安全策略，不要等到开发结束才补。

2. Week 1-2：问题定义与用户验证 ​

核心目标 ​

确认三个问题：

  1. 用户真的需要吗？ 用户是否存在高频、高痛、高价值的问题？
  2. AI 是否合适？ 这个问题是否需要生成式 AI、RAG、Agent，还是传统规则即可？
  3. 值得做吗？ 成本、风险和商业价值是否匹配？

用户访谈计划 ​

访谈对象目标典型问题
目标用户 3-5 人了解真实工作流和痛点“你现在怎么解决？卡在哪里？”
决策者 1-2 人了解预算和采购逻辑“如果节省 X 小时，你愿意付多少钱？”
一线执行者 3-5 人了解实际操作细节“哪一步最耗时？哪些错误不能接受？”
风险相关角色了解合规、安全、审批要求“哪些数据不能给模型？哪些动作必须人工确认？”

假设验证框架 ​

假设验证方法通过标准
H1：用户每周花 5h+ 处理该问题时间日志 + 访谈≥70% 目标用户确认
H2：现有方案体验差或成本高竞品 / 替代方案分析用户明确表达不满
H3：AI 有明显优势快速模型测试代表样例通过率 ≥60%
H4：错误可被接受或可被控制风险访谈 + 场景分级高风险场景有人工兜底
H5：成本可承受粗略成本测算毛利或 ROI 有成立空间

AI 适用性判断 ​

场景是否适合 AI建议
固定规则、强确定流程不一定优先规则 / 工作流引擎
需要理解自然语言适合LLM / RAG
需要访问私有知识适合RAG + 权限过滤
需要多步执行工具适合但高风险Agent + 审批 + 审计
医疗、金融、法律结论谨慎AI 辅助 + 人工复核
实时交易 / 高风险操作高度谨慎策略引擎硬控，AI 不直接决策

Go / No-Go 决策矩阵 ​

维度1 分3 分5 分
问题普遍性小众中等大规模
AI 优势传统方案已够AI 略有优势AI 明显优于传统
付费意愿 / ROI不清晰有潜力明确可量化
数据可获得缺数据需整理现成且高质量
错误容忍度零容忍可人工兜底可接受
成本可控性不可控可优化有清晰成本上限

决策规则：总分 ≥ 24 绿灯；18-23 黄灯继续验证；≤17 红灯暂缓。

3. Week 3-4：模型与架构选型 ​

核心目标 ​

  1. 选择最合适的模型组合，而不是单一“最强模型”；
  2. 验证模型在真实任务上的上限和下限；
  3. 判断是否需要 RAG、Agent、工具调用、沙箱、人工审批；
  4. 形成初版成本模型。

能力层级选型矩阵 ​

不要在长期文档里写死某个模型名和价格。建议按能力层级选型：

能力层级典型用途优点风险
规则 / 模板FAQ、表单校验、权限判断、计算稳定、低成本灵活性低
Mini 模型分类、摘要、路由、轻量改写便宜、快复杂任务质量不足
标准通用模型日常问答、文档处理、客服质量 / 成本平衡仍需评估幻觉
高级推理模型复杂分析、代码修复、规划能力强成本高、延迟高
多模态模型图片、语音、视频、OCR场景扩展成本结构复杂
本地 / 私有模型隐私、低延迟、合规数据可控运维和调优成本高

模型评估矩阵模板 ​

模型 / 层级准确性延迟 P50/P95单任务成本上下文工具调用多模态合规结论
Mini 模型 A
标准模型 B
高级推理模型 C
私有模型 D

评分建议：

text
总分 = 质量分 × 35%
     + 延迟分 × 15%
     + 成本分 × 20%
     + 工具 / RAG 适配 × 15%
     + 合规与可控性 × 15%

架构路线选择 ​

产品形态推荐架构
简单问答LLM + Prompt + 基础安全过滤
企业知识库RAG + 权限过滤 + 引用来源 + 反馈闭环
多步骤任务Agent loop + 工具白名单 + step budget + 审计
Coding Agent代码库检索 + diff 生成 + 沙箱测试 + PR 审查
高风险业务AI 建议 + 人工审批 + 策略引擎硬控
低延迟场景小模型 / 本地模型 + 缓存 + 降级策略

Prototype 三种方法 ​

方法耗时产出适用场景
Notebook / 脚本< 1 天批量测试结果模型快速筛选
Streamlit / Gradio1-2 天可交互 Demo用户访谈演示
迷你后端 + UI3-5 天接近产品体验灰度前体验验证

PM 在原型阶段的工作 ​

工作预计时间
准备 30-100 个真实用户测试用例1-2 天
编写初版 prompt / 工具 schema1-2 天
人工评估模型输出2-3 天
记录失败模式持续
粗略成本测算0.5-1 天
判断是否需要 RAG / Agent / 审批持续

关键产出物 ​

  • 模型与架构选型报告；
  • Prototype Demo；
  • 初版 Prompt / Tool schema；
  • 失败样例库；
  • 成本估算表；
  • 风险分级表。

4. Week 5-6：评估体系建立 ​

离线评估集构建原则 ​

原则说明
代表性覆盖真实用户输入分布
边缘性长文本、特殊格式、多语言、低质量输入
异常性空输入、恶意输入、越权请求、Prompt 注入
稳定性固定核心评估集，便于版本对比
可解释性每条样例有评分标准和参考答案
可回归每次 prompt / 模型 / 工具变更后能重跑

评估集规模建议 ​

阶段规模说明
Prototype30-100 条快速筛选模型
MVP100-300 条覆盖主要场景
正式上线500-1000 条覆盖关键流程和边界情况
持续迭代2000+ 条含线上失败样例和回归集

指标分层 ​

层级指标负责人
模型层准确率、幻觉率、格式合规率、工具调用正确率MLE / 算法
产品层任务完成率、首次回答满意率、重新生成率、人工接管率PM
体验层延迟、回答长度、可理解性、用户信任度PM / UX
成本层单任务成本、P95 用户成本、缓存命中率PM / 后端
安全层越权率、敏感信息泄露率、拒答正确率、注入防护通过率安全 / 合规
Agent 层run 成功率、平均 step、工具失败率、回滚率PM / 工程

Benchmark 测试用例模板 ​

json
{
  "id": "BENCH-001",
  "scenario": "退款政策问答",
  "input": "用户输入",
  "expected_behavior": "应引用退款政策并给出下一步",
  "must_include": ["退款条件", "处理时效"],
  "must_not_include": ["未经确认的承诺"],
  "risk_level": "S2",
  "eval_criteria": ["准确性", "完整性", "安全性", "可执行性"]
}

PM 在评估期间的工作 ​

工作时间
编写评估用例2-4 天
定义评分标准1 天
组织人工标注2-5 天
分析失败模式1-2 天
推动 Prompt / 工具 / RAG 迭代持续

5. Week 7-8：MVP 开发 ​

MVP 开发重点 ​

AI 产品 MVP 不只是功能可用，还要具备最小的可控性：

  • Prompt / 模型配置可版本化；
  • 评估集可自动跑；
  • 成本可观测；
  • 安全过滤可配置；
  • 高风险操作可人工确认；
  • 输出可反馈；
  • 支持回滚。

PM 在开发期间做什么 ​

工作时间占比
Prompt / 工具 schema 迭代25%
评估与失败样例分析25%
UX：加载、错误、拒答、置信度15%
成本与限额策略15%
灰度计划与用户沟通10%
合规 / 安全评审10%

质量门禁 ​

  • [ ] 核心评估集通过；
  • [ ] 主要失败模式已记录并有兜底；
  • [ ] P50 / P95 延迟达标；
  • [ ] 单任务成本在预算内；
  • [ ] 高级模型和 Agent run 有额度限制；
  • [ ] 敏感内容和 Prompt 注入测试通过；
  • [ ] 审计日志和反馈入口已上线；
  • [ ] 回滚方案可用；
  • [ ] 客服 / 运营 FAQ 已准备。

6. Week 9-10：灰度与数据采集 ​

四阶段灰度 ​

text
内部灰度 1-2 天 → 友好用户 2-3 天 → 小流量 5%-20% → 扩大到 50%-100%

灰度监控指标 ​

指标预警阈值
负面反馈率> 基线 + 1-2%
重新生成率> 基线 + 2%
对话放弃率> 基线 + 2%
人工接管率异常上升
工具调用失败率> 5% 或持续升高
P95 延迟超过体验目标
单任务成本> 预算 20%
安全拦截误报率明显高于预期
越权 / 泄露事件任何一起都需暂停分析

灰度日报模板 ​

markdown
## 灰度日报 Day X
范围：实验组 X% vs 控制组 X%

| 指标 | 实验组 | 控制组 | 差异 | 状态 |
|------|--------|--------|------|------|
| 任务完成率 |  |  |  |  |
| 负面反馈率 |  |  |  |  |
| 重新生成率 |  |  |  |  |
| P95 延迟 |  |  |  |  |
| 单任务成本 |  |  |  |  |
| 安全事件 |  |  |  |  |

主要问题：
- 

结论：继续 / 暂停 / 回滚 / 扩大灰度

放量条件 ​

  • [ ] 灰度至少覆盖一个完整业务周期；
  • [ ] 核心指标无显著退化；
  • [ ] 没有 P0 / P1 安全或合规问题；
  • [ ] 成本在预算内；
  • [ ] 主要失败模式已有处理策略；
  • [ ] 客服、运营、工程值班准备完成。

7. Week 11-12：迭代与正式上线 ​

上线前决策会 ​

参与角色：PM、工程负责人、算法 / MLE、设计、QA、安全、法务 / 合规、客服 / 运营。

会议议程：

  1. PM 汇总用户指标与体验反馈；
  2. MLE 汇报模型与评估指标；
  3. 工程汇报稳定性、延迟、成本；
  4. 安全 / 合规汇报风险项；
  5. 客服 / 运营确认支持准备；
  6. 做 Go / No-Go 决策。

上线 Checklist ​

  • [ ] 发布说明已准备；
  • [ ] 监控和告警已配置；
  • [ ] 回滚开关已验证；
  • [ ] 模型 / Prompt / 工具版本已锁定；
  • [ ] 预算和限额已配置；
  • [ ] 高风险操作审批流已配置；
  • [ ] 用户反馈入口已上线；
  • [ ] FAQ 和客服话术已准备；
  • [ ] 数据留存和审计策略已确认；
  • [ ] 上线后 48 小时值班安排已确认。

8. 上线后运营与持续迭代 ​

每周复盘 ​

复盘项关注问题
用户价值是否真的节省时间 / 提高质量？
质量幻觉、错误、格式问题是否下降？
成本单任务成本、P95 用户成本是否可控？
安全是否出现越权、敏感信息、误导性输出？
Agent平均 step、失败重试、人工接管是否合理？
留存用户是否形成稳定工作流？

版本迭代节奏 ​

变更类型发布节奏要求
Prompt 小改每周 / 按需跑核心评估集
RAG 索引更新按数据更新频率检查引用和权限
模型升级谨慎灰度跑完整评估 + 用户灰度
工具新增单独灰度权限、审计、失败回滚
Agent 工作流调整谨慎灰度step 成本、安全和成功率评估
定价 / 限额调整月度 / 季度用户沟通和账单保护

9. 附录：关键模板 ​

9.1 模型选型报告 ​

markdown
# 模型与架构选型报告

## 任务定义
- 目标用户：
- 业务场景：
- 风险等级：

## 候选方案
| 方案 | 能力层级 | 质量 | 延迟 | 成本 | 合规 | 结论 |
|------|----------|------|------|------|------|------|

## 评估结果
- 最优方案：
- 备选方案：
- 不选原因：

## 成本估算
- 单任务成本：
- 月成本：
- P95 用户成本：

## 风险与兜底
- 主要失败模式：
- 兜底策略：
- 回滚方案：

9.2 AI 产品上线 Go / No-Go ​

markdown
# Go / No-Go 决策

| 维度 | 结果 | 说明 |
|------|------|------|
| 用户价值 | ✅ / ⚠️ / ❌ |  |
| 模型质量 | ✅ / ⚠️ / ❌ |  |
| 产品体验 | ✅ / ⚠️ / ❌ |  |
| 成本 | ✅ / ⚠️ / ❌ |  |
| 安全 | ✅ / ⚠️ / ❌ |  |
| 合规 | ✅ / ⚠️ / ❌ |  |
| 运维 | ✅ / ⚠️ / ❌ |  |

结论：Go / No-Go / 延期
负责人：
日期：

结语：AI 产品从 0 到 1 的关键，不是尽快接入最强模型，而是用真实用户场景验证价值，用评估体系约束不确定性，用成本和治理设计保证可持续增长。

MIT License

Copyright © 2026 prodthinkpm