安全
ai-native-audit-release
'AI Native 产品方法论——审计放行阶段的实操 Skill。
Max · 已有 AI 审核记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add gmaxxxie/ai-native-product-agent-skills --skill ai-native-audit-release技能说明
name: ai-native-audit-release description: 'AI Native 产品方法论——审计放行阶段的实操 Skill。
用户提供系统构建方案,Skill 自动执行审计放行流程:
设计证据 → 评估证据 → Shadow 证据 → 放行边界判断 → go/no-go 决策 → 输出放行方案。
基于《AI Native 产品方法论》第17章。
' tags:
- ai-product
- methodology
- audit
- release
- governance
- shadow
- book-skill author: Max source_book: AI Native 产品方法论 version: 1.0 homepage: https://github.com/gmaxxxie/ai-native-product-agent-skills/tree/main/skills/p9-audit-release
AI Native 审计放行 Skill
使用场景
- 系统构建已完成,需要判断能否进入生产环境
- 需要建立审计放行的证据链和决策机制
- 需要设计 Shadow System 验证系统在真实环境中的表现
核心概念
- 审计放行(Audit):把能力、风险、证据和放行条件压缩到同一套判断机制中的阶段
- go / no-go:是否允许系统进入真实执行链路的组织级决定
- 放行边界:允许自动执行的范围、必须人工接管的范围和必须禁用的范围
- 证据链:从设计、评估、Shadow 到运行准备的连续证据,而不是单点结果
审计放行流程
设计证据
→ 评估证据
→ Shadow 证据
→ 放行边界判断
→ go / no-go
→ 生产要求下发
如果没有连续证据链,审计放行就会退化成主观印象或形式化审批。
第一步:设计证据
系统设计是否清晰地定义了:
- 能力范围:系统能做什么、不能做什么
- 失败模式:已知的失败类型和处理策略
- 边界条件:什么情况下必须回退或交还给人
- 治理机制:如何监控、如何审计、如何回滚
第二步:评估证据
评估结果是否充分:
- 能力评估:样本测试、边界测试、长尾测试
- 安全评估:权限边界、数据保护、渗透测试
- 性能评估:延迟、吞吐、成本、稳定性
第三步:Shadow 证据
Shadow System 是审计放行的关键机制:
- 系统在真实环境中运行,但不直接影响用户
- 同时收集系统输出和人工处理结果进行对比
- 证明系统在真实数据上的表现
Shadow 的价值在于:它让系统在不影响用户的情况下接触真实世界。
第四步:放行边界判断
明确三个区域:
自动执行区
- 系统可以独立完成的任务
- 失败后果可控、可回退
- 已经过充分验证
人工接管区
- 高风险任务
- 涉及敏感操作
- 系统信心度不足的场景
禁用区
- 超出系统能力范围的任务
- 未经验证的新场景
- 涉及合规或安全红线的操作
第五步:go / no-go 决策
go 条件
- 连续证据链完整
- 放行边界清晰
- 回退机制可靠
- 监控体系就绪
- 团队准备就绪
no-go 情况
- 证据链中断
- 边界不清晰
- 回退机制不可靠
- 监控体系缺失
- 团队未就绪
审计放行要审的六类问题
- 可靠性:回答是否稳定,任务是否真的完成,是否存在幻觉、错误归因或不一致输出
- 安全与权限:是否可能泄露敏感信息,是否存在越权读取、越权调用、Prompt 注入、工具滥用
- 执行边界:哪些动作允许自动执行,哪些必须审批,哪些高风险动作要彻底禁用
- 成本与性能:延迟、令牌消耗、工具链长度、重试策略是否可控,流量放大后是否失稳
- 可追溯性:是否能复盘输入、上下文、模型版本、工具调用、人工接管、最终结果
- 合规与治理:角色责任是否清晰,审计记录是否保留,异常处理是否有明确流程
输出物:放行方案
- 证据链汇总:设计、评估、Shadow 的证据摘要
- 放行边界图:自动执行区、人工接管区、禁用区
- go/no-go 决策:明确的放行或拒绝决定
- 生产要求:上线后必须持续监控的指标、阈值、应急预案
- 回滚方案:如果出现问题如何快速回滚
使用方式
当用户提供系统构建方案时,自动执行:
- 收集设计证据
- 收集评估证据
- 设计 Shadow 方案并收集 Shadow 证据
- 定义放行边界
- 执行六类审计检查
- 做出 go/no-go 决策
- 如果 go,下发生产要求和回滚方案
- 输出放行方案
示例
示例:AIOps 系统审计放行
场景描述: AIOps 故障分诊系统已完成构建,需要审计是否可进入生产环境。
用户输入: "我们的 AIOps 系统已开发完成,准备上线,需要进行审计放行"
Skill 执行流程:
- 设计证据收集
| 检查项 | 状态 | 证据 |
|---|---|---|
| 能力范围定义 | ✅ | 明确只做分诊建议,不做自动处置 |
| 失败模式 | ✅ | 已定义5类失败及回退策略 |
| 边界条件 | ✅ | 置信度<70%时必须人工确认 |
| 治理机制 | ✅ | 日志审计、监控告警、回滚方案 |
- 评估证据收集
| 评估类型 | 结果 | 是否满足 |
|---|---|---|
| 能力评估 | 日志解释88%,告警聚类82%,案例召回75% | ✅ 满足 |
| 安全评估 | 无越权调用,数据已脱敏 | ✅ 通过 |
| 性能评估 | P95延迟<2s,支持100并发 | ✅ 通过 |
| 边界测试 | 20个边界案例,18个正确处理 | ✅ 达标 |
- Shadow 证据收集
Shadow 方案:
运行周期: 2周
数据量: 50次真实故障
对比结果:
系统建议采纳率: 55%
辅助参考价值率: 80%
错误归因数: 2次(均被工程师识别,未造成误判)
平均定位时间:
- 纯人工: 45分钟
- 系统辅助: 25分钟
关键发现:
- 系统在"看什么"上表现好
- 系统在"怎么做"上仍需人工判断
- 高约束设计有效避免了错误放大
- 放行边界定义
| 区域 | 范围 | 控制措施 |
|---|---|---|
| 自动执行区 | 无 | 系统不执行任何自动动作 |
| 人工接管区 | 全部输出 | 所有建议需工程师确认 |
| 禁用区 | 自动修复、自动重启 | 明确禁止的功能 |
- 六类审计检查
| 审计项 | 检查结果 | 风险等级 |
|---|---|---|
| 可靠性 | 幻觉率<5%,无错误归因 | 低 |
| 安全与权限 | 无越权,已脱敏 | 低 |
| 执行边界 | 明确只做建议 | 低 |
| 成本与性能 | 单次调用<$0.01 | 低 |
| 可追溯性 | 全链路审计日志 | 低 |
| 合规与治理 | 责任清晰,流程明确 | 低 |
- go/no-go 决策
决策: GO(条件放行)
放行条件:
- 仅限值班辅助场景
- 所有输出必须有"供参考"标识
- 不得用于无人值守场景
上线后监控:
- 采纳率是否维持>50%
- 是否有未识别的错误归因
- 是否有工程师绕过确认直接执行
应急预案:
- 发现严重问题可5分钟内关闭AI建议
- 回退到纯人工分诊流程
输出结果:
# 放行方案:AIOps 故障分诊系统
证据链汇总:
设计证据: ✅ 完整
评估证据: ✅ 通过
Shadow证据: ✅ 2周运行,采纳率55%
放行边界:
自动执行区: 无(仅建议模式)
人工接管区: 全部输出
禁用区: [自动修复, 自动重启, 自动切流]
go/no-go决策: ✅ GO - 条件放行
生产要求:
必须监控指标:
- 采纳率: >50%
- 误判率: <5%
- 响应时间: P95<2s
必须保留记录:
- 每次故障的输入+输出
- 工程师采纳/拒绝行为
- 最终人工处理结果
定期审计:
- 每周审查误判案例
- 每月评估是否需调整边界
回滚方案:
触发条件:
- 误判导致生产事故
- 采纳率持续低于40%
- 安全漏洞
回滚步骤:
1. 关闭AI建议开关(5分钟内)
2. 通知值班团队
3. 启动根因分析
4. 修复后重新走审计流程
风险提示:
- 当前系统适用于"辅助判断",不适用于"自动处置"
- 工程师需培训:理解AI建议的局限性
- 建立快速上报通道:异常建议及时反馈
示例2:金融风控反欺诈系统审计放行
场景描述: 金融风控反欺诈系统已完成构建,需审计决定是否可投入生产环境进行实时交易风险评估。
用户输入: "我们的AI反欺诈系统准备好了,需要审计放行"
Skill 执行流程:
- 设计证据收集
| 检查项 | 状态 | 证据 |
|---|---|---|
| 能力范围定义 | ✅ | 仅限风险评分(0-100),不做拦截决策 |
| 失败模式 | ✅ | 定义误杀、漏杀、特征漂移三类失败 |
| 边界条件 | ✅ | 高风险交易(>80分)必须人工复核 |
| 治理机制 | ✅ | 模型监控、特征监控、审批流 |
- 评估证据收集
| 评估类型 | 结果 | 是否满足 |
|---|---|---|
| 能力评估 | 欺诈识别率 92%,误报率 8% | ✅ 达标 |
| 安全评估 | 模型防攻击测试通过 | ✅ 通过 |
| 性能评估 | P99延迟 <50ms,支持10万TPS | ✅ 满足 |
| 公平性评估 | 各群体FPR差异 <2% | ✅ 通过 |
- Shadow 证据收集
Shadow 方案:
运行周期: 4周
数据量: 500万笔真实交易
对比结果:
系统评分与人工规则对比:
- 一致性: 87%
- 系统识别新增风险: 3.2%(人工规则未覆盖)
- 误报增量: +1.5%(可接受范围)
业务指标:
- 欺诈损失率: 从0.15%降至0.08%
- 误杀投诉: 日均12起(可接受)
- 高风险交易人工复核率: 18%
- 放行边界定义
| 区域 | 范围 | 控制措施 |
|---|---|---|
| 自动执行区 | 风险评分计算、低风险标记 | 无需人工干预 |
| 人工接管区 | 高风险交易(>80分) | 必须人工复核 |
| 禁用区 | 直接拦截、冻结账户 | 系统无权执行 |
- 六类审计检查
| 审计项 | 检查结果 | 风险等级 |
|---|---|---|
| 可靠性 | OOD检测、置信度校准到位 | 低 |
| 安全与权限 | 模型防投毒、特征防泄露 | 低 |
| 执行边界 | 评分与决策分离 | 低 |
| 成本与性能 | 单次评分<$0.001,延迟可控 | 低 |
| 可追溯性 | 每笔交易评分原因可查 | 低 |
| 合规与治理 | 符合金融监管要求 | 中 |
- 合规特殊审查(金融场景)
| 合规项 | 检查结果 |
|---|---|
| 模型可解释性 | ✅ 提供Top5特征贡献 |
| 公平性审计 | ✅ 各 demographics FPR差异<2% |
| 人工复核机制 | ✅ 高风险100%人工复核 |
| 误杀申诉 | ✅ 建立快速申诉通道 |
| 数据隐私 | ✅ 符合GDPR/个人信息保护法 |
- go/no-go 决策
决策: GO(条件放行)
放行条件:
- 风险评分仅作辅助参考
- 所有拦截决策必须人工确认
- 建立实时监控系统
上线后监控:
- 欺诈识别率维持>90%
- 误报率维持<10%
- 特征漂移监控
- 公平性指标持续监控
应急预案:
- 模型异常时切换规则引擎(30秒内)
- 误杀激增时启动白名单机制
输出结果:
# 放行方案:金融风控反欺诈系统
证据链汇总:
设计证据: ✅ 完整,评分与决策分离
评估证据: ✅ 通过,92%识别率/8%误报
Shadow证据: ✅ 4周运行,业务指标正向
合规矩阵: ✅ 全部通过
放行边界:
自动执行区: [风险评分计算, 特征工程, 低风险标记]
人工接管区: 高风险交易(>80分)
禁用区: [直接拦截, 冻结账户, 自动拒绝]
go/no-go决策: ✅ GO - 条件放行
生产要求:
实时监控:
- 欺诈识别率: >90%
- 误报率: <10%
- P99延迟: <50ms
- 特征漂移: 每日检测
- 公平性: 每周审计
人工复核:
阅读完整来源 ↗