跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
其他技能

neural-network-diagnosis

神经网络模型效果诊断与提升 —— 诊断已有 NN 模型的偏差/方差问题,并自动迭代优化。 当用户提到"诊断模型"、"模型效果不好"、"过拟合"、"欠拟合"、"学习曲线"、 "优化神经网络"、"调参"、"提升模型效果"、"模型诊断"、"效果差"等类似场景时触发。 适用于任何"已有一个训练好的神经网络,想诊断并提升其效果"的需求。 不要手动写代码——必须调用此技能来统一处理。

muralidharsoth-tech · 已有静态检查记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill neural-network-diagnosis

技能说明


name: neural-network-diagnosis description: | 神经网络模型效果诊断与提升 —— 诊断已有 NN 模型的偏差/方差问题,并自动迭代优化。 当用户提到"诊断模型"、"模型效果不好"、"过拟合"、"欠拟合"、"学习曲线"、 "优化神经网络"、"调参"、"提升模型效果"、"模型诊断"、"效果差"等类似场景时触发。 适用于任何"已有一个训练好的神经网络,想诊断并提升其效果"的需求。 不要手动写代码——必须调用此技能来统一处理。

神经网络模型效果诊断与提升

概述

此技能分两个阶段,对已有的神经网络模型进行系统化诊断和优化:

  1. 第一阶段:模型效果诊断(步骤 1-6)—— 数据划分 → 计算误差 → 画学习曲线 → 判断好/坏
  2. 第二阶段:模型效果提升(步骤 7-12)—— 仅在诊断"差"时触发,简单方法优先,最多 3 轮迭代

核心原则:

  • 先诊断,再治疗——不诊断就动手可能越搞越糟
  • 仅针对神经网络模型(通过 neural-network 技能生成的 .py 文件)
  • 简单方法优先:误差分析 → 调 λ/α → λ 网格搜索 → 改网络结构
  • 每次优化后验证,对比步骤 2 确认的量化标准
  • 最多 3 轮优化,每轮结束后询问用户是否继续
  • 新建文件保存优化结果,原始模型代码一字不改

📚 本技能依赖以下参考文件(按需读取,不全部加载):

  • references/learning-curve.md — 学习曲线绘制
  • references/bias-variance-diagnosis.md — 偏差/方差诊断决策树
  • references/lambda-grid-search.md — λ 网格搜索
  • references/early-stopping.md — 早停训练
  • references/error-analysis.md — 误差分析
  • references/kfold-cross-validation.md — k-fold 交叉验证
  • references/skewed-class.md — 偏斜类问题处理

第一阶段:模型效果诊断

步骤 1:加载已有模型代码

向用户索要模型代码:

请提供你要诊断的神经网络模型代码文件路径(.py),或者直接把代码贴给我。

如果用户最近刚用 neural-network 技能生成了模型,自动定位最新的 neural_network_*.py 文件并确认:

检测到最近生成的模型文件:{filename},是这个吗?(直接回复"可以"确认,或指定其他文件)

从代码中提取以下信息:

通过读取 .py 文件内容提取:

提取项变量用途
特征矩阵X_raw数据量 m、特征数 n
标签向量y类别数 K
特征名x_names展示用
类别映射y_classes展示用
隐藏层大小hidden_size网络结构
学习率alpha训练参数
正则化强度lam训练参数
迭代次数iters训练参数
缩放参数X_mean, X_std预测用
训练好的参数Theta1, Theta2模型权重
是否已切分DO_SPLIT决定后续路径
训练集索引train_idx复用已有切分
验证集索引val_idx复用已有切分
测试集索引test_idx复用已有切分

如果需要运行代码获取结果(如模型已经在代码中训练好了),直接运行原文件,从中提取训练好的 Theta 和评估结果。

提取完成后确认:

模型信息确认:

  • 数据:{m} 条样本,{n} 个特征({x_names})
  • 分类:{K} 类({y_classes})
  • 网络:{input_size} → {hidden_size} → {output_size}
  • 参数:α={alpha}, λ={lam}, iters={iters}

是否正确?(直接回复"可以"继续)


🔀 数据切分检测

从 .py 文件中检测变量 DO_SPLIT:

情况 A:检测到 DO_SPLIT = True(模型已预留验证集)

✅ 原始模型在训练时已预留验证数据!
   - 训练集: {m_train} 条
   - 验证集: {m_val} 条
   - 测试集: {m_test} 条(预留未使用)

   直接使用已有切分进行评估,无需重新训练。
  • 直接读取 train_idx, val_idx, test_idx
  • 从 X_raw 和 y 中按索引提取 X_train_raw, y_train, X_val_raw, y_val
  • 标记 use_existing_split = True
  • 跳转到 Step 4(计算误差指标),跳过 Step 3(数据划分)

情况 B:DO_SPLIT = False 或未找到该变量

⚠️ 原始模型使用全部 {m} 条数据训练,没有预留验证集。

   要客观评估模型泛化效果(偏差/方差),需要用验证集来检测过拟合。
   这需要重新划分数据并重新训练模型。

   是否继续?
   - 重新训练不会修改原始模型文件(原始 .py 一字不改)
   - 诊断完成后,优化结果会保存为新文件
  • 用户确认 → 标记 use_existing_split = False,继续 Step 2
  • 用户拒绝 → 诊断终止,输出:"已取消诊断。如需客观评估模型效果,建议在 neural-network 技能中选择切分数据。"

情况 C:旧版 .py 文件(无 DO_SPLIT 变量)

按情况 B 处理(等同于无切分)。


步骤 2:确认"效果好"的量化标准

在诊断前,与用户确认判定标准。展示默认值并询问:

在开始诊断前,先确认"模型效果好"的判定标准。默认标准如下:

指标默认值说明
验证集错误率< {val_error_threshold}主要指标
训练/验证差距< {train_val_gap} 个百分点防止过拟合
学习曲线趋于平稳(不再明显下降)训练充分

{如果是偏斜类:偏斜类场景额外要求 F1 分数 > {f1_threshold}}

是否需要调整这些标准?(直接回复"可以"使用默认值,或指定你要修改的阈值,如"验证错误率改为15%")

默认阈值(根据分类类型自动选择):

指标二分类多分类偏斜类
验证错误率上限< 5%< 10%不适用
训验差距< 3pp< 5pp< 5pp
F1 分数不适用不适用> 0.85

⚠️ 小数据集提示:当 m < 30 时,主动告知用户"数据量较小,建议适当放宽标准(如验证错误率放宽 5%~10%)。如果坚持严格标准,优化可能难以达标。"

步骤 3:数据划分

⚠️ 如果 Step 1 已检测到 use_existing_split = True: 直接跳过此步骤,打印:"✅ 使用原始模型已有的数据切分(训练集 {m_train} 条 / 验证集 {m_val} 条)",然后进入 Step 4。

仅在 use_existing_split = False 时执行以下逻辑。

根据样本数选择划分策略:

m < 50?
  ├── 是 → k-fold 交叉验证(k=5)
  │       读取 references/kfold-cross-validation.md
  │       告知用户:
  │       "数据只有 {m} 条(m < 50),用 60/20/20 切分会导致验证集太小(仅 {val_size} 条),
  │        评估结果波动很大。建议使用 k-fold 交叉验证(k=5),取平均误差。
  │        是否同意?(回复'可以'使用 k-fold,或回复'不'坚持传统切分)"
  │
  └── 否 → 60/20/20 三路切分
           告知用户:
           "数据 {m} 条,使用标准三路切分:
            - 训练集 {train_size} 条 | 验证集 {val_size} 条 | 测试集 {test_size} 条"

注意: 重新训练时保持原始模型的网络结构(hidden_size)、学习率(alpha)、迭代次数(iters)不变。只修改数据切分和正则化强度 lam。

关键实现细节:

  • 打乱数据前固定随机种子(np.random.seed(42)),保证可复现
  • k-fold 时设置 k=5(m < 20 时降为 k=3)
  • 切分后打印每组的大小和类别分布

步骤 4:计算误差指标

在训练集和验证集上计算:

分类问题(默认):

# 训练误差
_, _, _, _, _, h_train = forward_propagation(X_train, Theta1, Theta2)
y_pred_train = np.argmax(h_train, axis=1).reshape(-1, 1)  # 多分类
J_train = np.mean(y_pred_train != y_train)                 # 错误率

# 验证误差(同理)
J_val = np.mean(y_pred_val != y_val)

偏斜类检测: 如果任一类占比 < 15%,自动标记为偏斜类,读取 references/skewed-class.md 额外计算 Precision、Recall、F1。

输出格式:

========== 模型误差报告 ==========
训练集错误率:  0.00%(15/15 正确)  ← ⚠️ 可能有过度训练
验证集错误率: 13.33%( 2/15 正确)

各类别错误率:
  A级(高效节能): 0.0%( 5 个样本)
  B级(中等能效): 40.0%( 5 个样本,2 个判错)
  C级(能效较差): 0.0%( 5 个样本)
==================================

步骤 5:画学习曲线

读取 references/learning-curve.md,生成并运行学习曲线代码。

执行流程:

  1. 从 reference 文件读取 plot_learning_curve() 函数代码
  2. 在原模型代码末尾追加学习曲线绘制代码
  3. 运行,生成 learning_curve_{timestamp}.png
  4. 打印每个训练集大小的 J_train / J_val

输出示例:

学习曲线 (m 从 3 到 12):
  m=  3: J_train=0.00%, J_val=33.33%
  m=  4: J_train=0.00%, J_val=33.33%
  m=  6: J_train=0.00%, J_val=25.00%
  m=  8: J_train=0.00%, J_val=16.67%
  m= 10: J_train=0.00%, J_val=13.33%
  m= 12: J_train=0.00%, J_val=13.33%
图片已保存: learning_curve_20260731_xxx.png

步骤 6:输出诊断结论

根据步骤 4-5 的结果,对照 references/bias-variance-diagnosis.md 的诊断决策树,输出结论。

诊断逻辑:

J_train 高(> 阈值)?
  ├── 是 → J_val ≈ J_train(差距 < train_val_gap)?
  │         ├── 是 → 🔴 高偏差(欠拟合)
  │         └── 否 → 🟡 两者都有
  └── 否 → J_val >> J_train(差距 > train_val_gap)?
              ├── 是 → 🔵 高方差(过拟合)
              └── 否 → ✅ 效果良好

输出格式:

========== 诊断结论 ==========
J_train = 0.00%, J_val = 13.33%
学习曲线特征:J_train 始终很低,J_val 随 m 增大缓慢下降但仍高于 J_train
诊断结果:🔵 **高方差(过拟合)**
  - 模型在训练集上完美(0% 错误),但在验证集上表现差(13% 错误)
  - J_train 和 J_val 之间存在明显 gap(13pp > 目标 5pp)
=========================
阅读完整来源 ↗