neural-network-diagnosis
神经网络模型效果诊断与提升 —— 诊断已有 NN 模型的偏差/方差问题,并自动迭代优化。 当用户提到"诊断模型"、"模型效果不好"、"过拟合"、"欠拟合"、"学习曲线"、 "优化神经网络"、"调参"、"提升模型效果"、"模型诊断"、"效果差"等类似场景时触发。 适用于任何"已有一个训练好的神经网络,想诊断并提升其效果"的需求。 不要手动写代码——必须调用此技能来统一处理。
muralidharsoth-tech · 已有静态检查记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill neural-network-diagnosis技能说明
name: neural-network-diagnosis description: | 神经网络模型效果诊断与提升 —— 诊断已有 NN 模型的偏差/方差问题,并自动迭代优化。 当用户提到"诊断模型"、"模型效果不好"、"过拟合"、"欠拟合"、"学习曲线"、 "优化神经网络"、"调参"、"提升模型效果"、"模型诊断"、"效果差"等类似场景时触发。 适用于任何"已有一个训练好的神经网络,想诊断并提升其效果"的需求。 不要手动写代码——必须调用此技能来统一处理。
神经网络模型效果诊断与提升
概述
此技能分两个阶段,对已有的神经网络模型进行系统化诊断和优化:
- 第一阶段:模型效果诊断(步骤 1-6)—— 数据划分 → 计算误差 → 画学习曲线 → 判断好/坏
- 第二阶段:模型效果提升(步骤 7-12)—— 仅在诊断"差"时触发,简单方法优先,最多 3 轮迭代
核心原则:
- 先诊断,再治疗——不诊断就动手可能越搞越糟
- 仅针对神经网络模型(通过
neural-network技能生成的.py文件) - 简单方法优先:误差分析 → 调 λ/α → λ 网格搜索 → 改网络结构
- 每次优化后验证,对比步骤 2 确认的量化标准
- 最多 3 轮优化,每轮结束后询问用户是否继续
- 新建文件保存优化结果,原始模型代码一字不改
📚 本技能依赖以下参考文件(按需读取,不全部加载):
references/learning-curve.md— 学习曲线绘制references/bias-variance-diagnosis.md— 偏差/方差诊断决策树references/lambda-grid-search.md— λ 网格搜索references/early-stopping.md— 早停训练references/error-analysis.md— 误差分析references/kfold-cross-validation.md— k-fold 交叉验证references/skewed-class.md— 偏斜类问题处理
第一阶段:模型效果诊断
步骤 1:加载已有模型代码
向用户索要模型代码:
请提供你要诊断的神经网络模型代码文件路径(.py),或者直接把代码贴给我。
如果用户最近刚用 neural-network 技能生成了模型,自动定位最新的 neural_network_*.py 文件并确认:
检测到最近生成的模型文件:{filename},是这个吗?(直接回复"可以"确认,或指定其他文件)
从代码中提取以下信息:
通过读取 .py 文件内容提取:
| 提取项 | 变量 | 用途 |
|---|---|---|
| 特征矩阵 | X_raw | 数据量 m、特征数 n |
| 标签向量 | y | 类别数 K |
| 特征名 | x_names | 展示用 |
| 类别映射 | y_classes | 展示用 |
| 隐藏层大小 | hidden_size | 网络结构 |
| 学习率 | alpha | 训练参数 |
| 正则化强度 | lam | 训练参数 |
| 迭代次数 | iters | 训练参数 |
| 缩放参数 | X_mean, X_std | 预测用 |
| 训练好的参数 | Theta1, Theta2 | 模型权重 |
| 是否已切分 | DO_SPLIT | 决定后续路径 |
| 训练集索引 | train_idx | 复用已有切分 |
| 验证集索引 | val_idx | 复用已有切分 |
| 测试集索引 | test_idx | 复用已有切分 |
如果需要运行代码获取结果(如模型已经在代码中训练好了),直接运行原文件,从中提取训练好的 Theta 和评估结果。
提取完成后确认:
模型信息确认:
- 数据:{m} 条样本,{n} 个特征({x_names})
- 分类:{K} 类({y_classes})
- 网络:{input_size} → {hidden_size} → {output_size}
- 参数:α={alpha}, λ={lam}, iters={iters}
是否正确?(直接回复"可以"继续)
🔀 数据切分检测
从 .py 文件中检测变量 DO_SPLIT:
情况 A:检测到 DO_SPLIT = True(模型已预留验证集)
✅ 原始模型在训练时已预留验证数据!
- 训练集: {m_train} 条
- 验证集: {m_val} 条
- 测试集: {m_test} 条(预留未使用)
直接使用已有切分进行评估,无需重新训练。
- 直接读取
train_idx,val_idx,test_idx - 从
X_raw和y中按索引提取X_train_raw,y_train,X_val_raw,y_val - 标记
use_existing_split = True - 跳转到 Step 4(计算误差指标),跳过 Step 3(数据划分)
情况 B:DO_SPLIT = False 或未找到该变量
⚠️ 原始模型使用全部 {m} 条数据训练,没有预留验证集。
要客观评估模型泛化效果(偏差/方差),需要用验证集来检测过拟合。
这需要重新划分数据并重新训练模型。
是否继续?
- 重新训练不会修改原始模型文件(原始 .py 一字不改)
- 诊断完成后,优化结果会保存为新文件
- 用户确认 → 标记
use_existing_split = False,继续 Step 2 - 用户拒绝 → 诊断终止,输出:"已取消诊断。如需客观评估模型效果,建议在 neural-network 技能中选择切分数据。"
情况 C:旧版 .py 文件(无 DO_SPLIT 变量)
按情况 B 处理(等同于无切分)。
步骤 2:确认"效果好"的量化标准
在诊断前,与用户确认判定标准。展示默认值并询问:
在开始诊断前,先确认"模型效果好"的判定标准。默认标准如下:
指标 默认值 说明 验证集错误率 < {val_error_threshold} 主要指标 训练/验证差距 < {train_val_gap} 个百分点 防止过拟合 学习曲线 趋于平稳(不再明显下降) 训练充分 {如果是偏斜类:偏斜类场景额外要求 F1 分数 > {f1_threshold}}
是否需要调整这些标准?(直接回复"可以"使用默认值,或指定你要修改的阈值,如"验证错误率改为15%")
默认阈值(根据分类类型自动选择):
| 指标 | 二分类 | 多分类 | 偏斜类 |
|---|---|---|---|
| 验证错误率上限 | < 5% | < 10% | 不适用 |
| 训验差距 | < 3pp | < 5pp | < 5pp |
| F1 分数 | 不适用 | 不适用 | > 0.85 |
⚠️ 小数据集提示:当 m < 30 时,主动告知用户"数据量较小,建议适当放宽标准(如验证错误率放宽 5%~10%)。如果坚持严格标准,优化可能难以达标。"
步骤 3:数据划分
⚠️ 如果 Step 1 已检测到
use_existing_split = True: 直接跳过此步骤,打印:"✅ 使用原始模型已有的数据切分(训练集 {m_train} 条 / 验证集 {m_val} 条)",然后进入 Step 4。
仅在 use_existing_split = False 时执行以下逻辑。
根据样本数选择划分策略:
m < 50?
├── 是 → k-fold 交叉验证(k=5)
│ 读取 references/kfold-cross-validation.md
│ 告知用户:
│ "数据只有 {m} 条(m < 50),用 60/20/20 切分会导致验证集太小(仅 {val_size} 条),
│ 评估结果波动很大。建议使用 k-fold 交叉验证(k=5),取平均误差。
│ 是否同意?(回复'可以'使用 k-fold,或回复'不'坚持传统切分)"
│
└── 否 → 60/20/20 三路切分
告知用户:
"数据 {m} 条,使用标准三路切分:
- 训练集 {train_size} 条 | 验证集 {val_size} 条 | 测试集 {test_size} 条"
注意: 重新训练时保持原始模型的网络结构(hidden_size)、学习率(alpha)、迭代次数(iters)不变。只修改数据切分和正则化强度 lam。
关键实现细节:
- 打乱数据前固定随机种子(
np.random.seed(42)),保证可复现 - k-fold 时设置
k=5(m < 20 时降为k=3) - 切分后打印每组的大小和类别分布
步骤 4:计算误差指标
在训练集和验证集上计算:
分类问题(默认):
# 训练误差
_, _, _, _, _, h_train = forward_propagation(X_train, Theta1, Theta2)
y_pred_train = np.argmax(h_train, axis=1).reshape(-1, 1) # 多分类
J_train = np.mean(y_pred_train != y_train) # 错误率
# 验证误差(同理)
J_val = np.mean(y_pred_val != y_val)
偏斜类检测: 如果任一类占比 < 15%,自动标记为偏斜类,读取 references/skewed-class.md 额外计算 Precision、Recall、F1。
输出格式:
========== 模型误差报告 ==========
训练集错误率: 0.00%(15/15 正确) ← ⚠️ 可能有过度训练
验证集错误率: 13.33%( 2/15 正确)
各类别错误率:
A级(高效节能): 0.0%( 5 个样本)
B级(中等能效): 40.0%( 5 个样本,2 个判错)
C级(能效较差): 0.0%( 5 个样本)
==================================
步骤 5:画学习曲线
读取 references/learning-curve.md,生成并运行学习曲线代码。
执行流程:
- 从 reference 文件读取
plot_learning_curve()函数代码 - 在原模型代码末尾追加学习曲线绘制代码
- 运行,生成
learning_curve_{timestamp}.png - 打印每个训练集大小的 J_train / J_val
输出示例:
学习曲线 (m 从 3 到 12):
m= 3: J_train=0.00%, J_val=33.33%
m= 4: J_train=0.00%, J_val=33.33%
m= 6: J_train=0.00%, J_val=25.00%
m= 8: J_train=0.00%, J_val=16.67%
m= 10: J_train=0.00%, J_val=13.33%
m= 12: J_train=0.00%, J_val=13.33%
图片已保存: learning_curve_20260731_xxx.png
步骤 6:输出诊断结论
根据步骤 4-5 的结果,对照 references/bias-variance-diagnosis.md 的诊断决策树,输出结论。
诊断逻辑:
J_train 高(> 阈值)?
├── 是 → J_val ≈ J_train(差距 < train_val_gap)?
│ ├── 是 → 🔴 高偏差(欠拟合)
│ └── 否 → 🟡 两者都有
└── 否 → J_val >> J_train(差距 > train_val_gap)?
├── 是 → 🔵 高方差(过拟合)
└── 否 → ✅ 效果良好
输出格式:
========== 诊断结论 ==========
J_train = 0.00%, J_val = 13.33%
学习曲线特征:J_train 始终很低,J_val 随 m 增大缓慢下降但仍高于 J_train
诊断结果:🔵 **高方差(过拟合)**
- 模型在训练集上完美(0% 错误),但在验证集上表现差(13% 错误)
- J_train 和 J_val 之间存在明显 gap(13pp > 目标 5pp)
=========================
阅读完整来源 ↗