AI 产品治理清单
2026-05 更新版：面向 AI 产品经理的上线治理清单，覆盖数据、模型、Agent、工具、产品、安全、合规和业务连续性。优先级：🔴 P0 上线必需 / 🟡 P1 重要，30 天内补齐 / 🟢 P2 增强，90 天内完善。
1. 使用说明
1.1 适用范围
本清单适用于：
- LLM / 多模态 AI 产品；
- RAG 知识库产品；
- AI Agent / Coding Agent；
- 企业内部 AI 平台；
- 嵌入 SaaS 的 AI 功能。
1.2 角色职责
| 角色 | 主要职责 |
|---|---|
| PM | 推动治理清单落地，定义风险等级和上线门禁 |
| 工程 | 实现权限、日志、回滚、限流、成本控制 |
| MLE / 算法 | 模型评估、偏见评估、鲁棒性、回归测试 |
| 安全 | Prompt 注入、工具安全、数据泄露、红队测试 |
| 法务 / 合规 | 隐私政策、DPA、跨境、行业法规、高风险评估 |
| UX | 用户控制、透明度、审批、错误和拒答体验 |
| 运营 / 客服 | 申诉、事故响应、用户沟通 |
2. 数据治理
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| D-01 | 已完成数据流图，覆盖输入、RAG、工具、模型、日志、记忆 | 🔴P0 | PM+后端 |
| D-02 | 已完成数据分类分级：公开、内部、敏感、绝密 | 🔴P0 | PM+安全 |
| D-03 | 遵循最小必要原则，不采集无关数据 | 🔴P0 | PM |
| D-04 | 隐私政策包含 AI 数据处理专项说明 | 🔴P0 | 法务 |
| D-05 | 用户可导出、删除、关闭历史保存 | 🔴P0 | 后端+UX |
| D-06 | 长期记忆可查看、编辑、删除、关闭 | 🔴P0 | PM+后端 |
| D-07 | RAG 检索具备权限过滤，避免越权上下文进入模型 | 🔴P0 | 后端+安全 |
| D-08 | Embedding、索引、缓存有删除和重建机制 | 🟡P1 | 后端 |
| D-09 | 数据用于训练 / 评估 / 人工审阅有明确授权机制 | 🔴P0 | 法务+PM |
| D-10 | 第三方模型和工具供应商已列入子处理者清单 | 🟡P1 | 法务 |
| D-11 | 数据跨境、数据驻留要求已评估 | 🔴P0 | 法务 |
| D-12 | 敏感信息检测和脱敏已上线 | 🔴P0 | 安全 |
| D-13 | 审计日志有分级留存和访问控制 | 🔴P0 | 后端+安全 |
| D-14 | 备份数据清理策略已定义 | 🟡P1 | 后端 |
3. 模型治理
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| M-01 | 已记录模型名称、版本、供应商、用途、上下文长度和区域 | 🔴P0 | MLE |
| M-02 | 已定义模型能力边界和禁止场景 | 🔴P0 | PM+MLE |
| M-03 | 已建立核心评估集和回归集 | 🔴P0 | MLE+PM |
| M-04 | 评估覆盖准确性、幻觉、格式、安全、延迟、成本 | 🔴P0 | MLE |
| M-05 | 模型升级支持灰度、影子流量和回滚 | 🔴P0 | 工程 |
| M-06 | 模型输出格式有 schema 校验和修复策略 | 🟡P1 | 后端 |
| M-07 | 多模型路由策略已文档化 | 🟡P1 | PM+工程 |
| M-08 | 供应商故障有 fallback 策略 | 🔴P0 | 工程 |
| M-09 | 模型卡或等价说明已面向内部 / 企业客户准备 | 🟡P1 | PM+MLE |
| M-10 | 高风险用途完成偏见、鲁棒性和红队测试 | 🔴P0 | 安全+MLE |
4. Agent 与工具治理
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| A-01 | 每个 Agent run 有 run_id、用户、组织和版本信息 | 🔴P0 | 后端 |
| A-02 | 每个 run 有最大 step、最大时长、最大成本预算 | 🔴P0 | PM+后端 |
| A-03 | 工具注册表包含 owner、schema、风险等级、权限 | 🔴P0 | 工程 |
| A-04 | 工具调用参数有 JSON Schema / 类型 / 业务规则校验 | 🔴P0 | 工程 |
| A-05 | 工具按只读、低风险写入、高风险写入、不可逆动作分级 | 🔴P0 | PM+安全 |
| A-06 | 高风险工具调用必须人工审批 | 🔴P0 | PM+UX |
| A-07 | MCP / 插件 / 连接器来源经过验证和白名单管理 | 🟡P1 | 安全 |
| A-08 | Agent 代码执行、浏览器、文件写入运行在沙箱中 | 🔴P0 | 安全+工程 |
| A-09 | 工具调用、审批、结果写入完整 trace | 🔴P0 | 后端 |
| A-10 | Agent 失败样例自动进入 eval / 回归集 | 🟡P1 | MLE+PM |
| A-11 | Agent 支持暂停、取消、回滚或人工接管 | 🔴P0 | 工程+UX |
| A-12 | 多 Agent 协作有消息边界和错误隔离 | 🟡P1 | 工程 |
5. 产品与用户控制
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| P-01 | 明确标识 AI 身份和能力边界 | 🔴P0 | UX+PM |
| P-02 | 高风险回答有免责声明和人工建议 | 🔴P0 | PM+法务 |
| P-03 | 用户可反馈错误、幻觉和有害输出 | 🔴P0 | PM+UX |
| P-04 | 用户可申诉内容安全拦截 | 🟡P1 | 运营+PM |
| P-05 | 用户可查看和撤销连接器授权 | 🔴P0 | UX+后端 |
| P-06 | 用户可确认或拒绝高风险 Agent 动作 | 🔴P0 | UX |
| P-07 | RAG / 检索回答展示来源和时间 | 🟡P1 | PM+UX |
| P-08 | 产品说明中避免承诺“完全准确”“完全自动” | 🔴P0 | PM+法务 |
| P-09 | 错误状态、超时、降级体验已设计 | 🟡P1 | UX |
| P-10 | 企业管理员可配置模型、工具、记忆和数据策略 | 🟡P1 | PM+后端 |
6. 内容安全与滥用防护
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| S-01 | 输入安全检测覆盖 Prompt 注入、越权、危险请求 | 🔴P0 | 安全 |
| S-02 | 输出安全检测覆盖违法、有害、自残、仇恨、色情等 | 🔴P0 | 安全 |
| S-03 | 多模态输入输出有安全审核 | 🟡P1 | 安全+MLE |
| S-04 | 高风险领域：医疗、金融、法律、雇佣、教育有专项策略 | 🔴P0 | PM+法务 |
| S-05 | 未成年人场景有年龄识别和保护策略 | 🔴P0 | 法务+PM |
| S-06 | Prompt 注入红队测试已完成 | 🔴P0 | 安全 |
| S-07 | 工具注入 / 间接 Prompt 注入测试已完成 | 🔴P0 | 安全 |
| S-08 | 批量注册、脚本刷量、自动化滥用有防护 | 🟡P1 | 安全+后端 |
| S-09 | 安全策略误报率和漏报率有监控 | 🟡P1 | 安全 |
| S-10 | 安全事故响应流程和联系人已明确 | 🔴P0 | 安全+运营 |
7. 成本与可靠性治理
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| C-01 | 单任务成本、P95 用户成本、月度成本已测算 | 🔴P0 | PM+工程 |
| C-02 | 免费层、高级模型、Agent run 均有限额 | 🔴P0 | PM |
| C-03 | 组织级预算、告警、熔断已配置 | 🟡P1 | 后端 |
| C-04 | 模型供应商失败有 fallback | 🔴P0 | 工程 |
| C-05 | 关键任务有超时、重试和幂等策略 | 🔴P0 | 工程 |
| C-06 | 审计日志、trace 和成本指标进入监控面板 | 🟡P1 | 工程 |
| C-07 | 发布前完成负载测试和高峰容量评估 | 🟡P1 | 工程 |
| C-08 | 企业 SLA 和降级策略已定义 | 🟡P1 | PM+工程 |
8. 合规与业务治理
| # | 检查项 | 优先级 | 负责人 |
|---|---|---|---|
| B-01 | 已判断产品是否涉及高风险 AI 场景 | 🔴P0 | 法务+PM |
| B-02 | 服务条款包含 AI 输出限制和用户责任 | 🔴P0 | 法务 |
| B-03 | DPA、子处理者清单、数据区域说明已准备 | 🟡P1 | 法务 |
| B-04 | 企业客户安全问卷材料已准备 | 🟡P1 | 安全+PM |
| B-05 | 涉及 EU AI Act / PIPL / GDPR 等要求已复核 | 🔴P0 | 法务 |
| B-06 | 高风险行业客户有额外审批流程 | 🔴P0 | 法务+管理层 |
| B-07 | 事故报告和用户通知机制已准备 | 🔴P0 | 法务+运营 |
| B-08 | 下线、迁移、数据导出和删除流程已定义 | 🟡P1 | PM+工程 |
9. 上线 Go / No-Go
markdown
# AI 产品上线治理结论
产品 / 功能：
版本：
上线范围：
风险等级：低 / 中 / 高 / 极高
| 维度 | P0 是否通过 | 主要风险 | 责任人 |
|------|-------------|----------|--------|
| 数据治理 | ✅ / ❌ | | |
| 模型治理 | ✅ / ❌ | | |
| Agent 与工具治理 | ✅ / ❌ | | |
| 产品控制 | ✅ / ❌ | | |
| 内容安全 | ✅ / ❌ | | |
| 成本可靠性 | ✅ / ❌ | | |
| 合规业务 | ✅ / ❌ | | |
结论：Go / Conditional Go / No-Go
必须补齐项：
上线后 30 天补齐项：
审批人：
日期：10. 参考来源
- NIST AI Risk Management Framework：https://www.nist.gov/itl/ai-risk-management-framework
- NIST Generative AI Profile AI 600-1：https://www.nist.gov/itl/ai-risk-management-framework/nist-ai-600-1
- OWASP Top 10 for LLM Applications：https://genai.owasp.org/
- EU AI Act 官方信息：https://artificialintelligenceact.eu/
- Model Context Protocol：https://modelcontextprotocol.io/
结语：AI 治理不是让产品变慢，而是让产品能安全地规模化。越早把权限、评估、成本、审计和回滚做进产品，后期增长越稳。