neural-network
神经网络预测 —— 支持二分类与多分类,纯 NumPy 从零实现反向传播。 当用户提到"神经网络"、"neural network"、"NN预测"、"深度学习"、 "帮我进行神经网络预测"、"用神经网络分类"、"用NN"等类似场景时触发。 适用于任何"给一堆 x,y 数据,想用神经网络预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。
muralidharsoth-tech · 已有静态检查记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill neural-network技能说明
name: neural-network description: | 神经网络预测 —— 支持二分类与多分类,纯 NumPy 从零实现反向传播。 当用户提到"神经网络"、"neural network"、"NN预测"、"深度学习"、 "帮我进行神经网络预测"、"用神经网络分类"、"用NN"等类似场景时触发。 适用于任何"给一堆 x,y 数据,想用神经网络预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。
神经网络预测(Neural Network)
概述
此技能支持二分类和多分类的神经网络完整流程: 收集数据 → 数据切分(可选)→ 判断分类类型 → 推荐网络结构 → 确认预测目标 → 建议参数 → 梯度检验(可选)→ 训练模型 → 预测新值 → 可视化输出。
核心原则:
- 纯 NumPy 从零实现反向传播(不依赖 TensorFlow/PyTorch)
- 内置特征缩放(z-score 标准化,梯度下降必需)
- 默认启用 L2 正则化(防止过拟合,λ 可调为 0 关闭)
- Xavier 随机初始化(打破对称性,避免神经元同质化)
- 首次训练建议运行梯度检验(验证反向传播正确性,通过后关闭)
- 自动判断二分类还是多分类
代码会自动保存到工作目录并运行,每次生成带时间戳的新文件。
交互流程
严格按以下 10 步执行,不要跳过任何一步:
步骤 1:收集数据
首先确认特征数量和标签含义:
你有几个特征(x 变量)?每个 x 叫什么名字、单位是什么? 标签 y 代表什么类别?有几个类别?分别叫什么?
然后让用户提供数据:
请提供你的训练数据。可以用任意格式发给我,例如:
二分类:
保温厚度 3cm, 窗墙比 0.20 → 不节能保温厚度 8cm, 窗墙比 0.40 → 节能...多分类:
保温厚度 3cm, 窗墙比 0.20 → A级保温厚度 8cm, 窗墙比 0.40 → B级...同时告诉我:预测的主题是什么(用于图表标题,英文)。
从用户回复中提取:
n_features(特征数量)x_names(list,如["保温厚度", "窗墙比"])x_units(list,如["cm", ""])X_raw(list of lists,每行 n 个 x 值)y_raw(list,标签值)y_classes(dict,如{0: "不节能", 1: "节能"}或{0: "A级", 1: "B级", 2: "C级"})title_topic(如"Building Energy Efficiency Classification",英文)
如果用户提供的标签是字符串(如 "节能"/"不节能"),自动编码为 0, 1, 2... 并确认映射关系。
如果用户没有给出某个信息,根据上下文合理推断并确认。
步骤 1.5:确认是否预留验证数据
在训练前,询问用户是否需要切分数据,为后续模型诊断做准备:
📊 数据切分设置
你提供了 {m} 条数据。在训练前,建议预留一部分数据作为验证集, 用于客观评估模型真实效果(避免"考试题就是练习题")。
推荐方案:60% 训练 / 20% 验证 / 20% 测试
- 训练集({train_size} 条):用来训练模型参数
- 验证集({val_size} 条):用来调参和诊断过拟合/欠拟合
- 测试集({test_size} 条):最终评估(本次训练暂不使用)
是否预留验证数据?
- A. 是(推荐)——切分数据,可得到真实泛化评估,后续还能用
neural-network-diagnosis技能诊断模型- B. 否——全部数据用于训练(简单直接,但无法客观评估泛化效果)
边界情况:
| 情况 | 处理 |
|---|---|
| m < 15 | 告知用户数据太少不建议切分,默认走"全部数据训练"。如用户坚持切分,用 70/30(训练/验证,无测试集) |
| 某类别样本数 < 3 | 告知用户该类样本不足以支撑切分,建议不切分或收集更多数据 |
用户选 A(切分)时:
- 执行 60/20/20 随机切分(
np.random.seed(42)保证可复现) - 打印切分结果摘要:
✅ 数据已切分(随机种子=42): - 训练集: {train_size} 条(用于训练模型参数) - 验证集: {val_size} 条(用于调参和诊断) - 测试集: {test_size} 条(预留,本次训练不使用) 各类别分布: {class_0}: 训练{t0_train}条, 验证{t0_val}条, 测试{t0_test}条 {class_1}: 训练{t1_train}条, 验证{t1_val}条, 测试{t1_test}条 - 检查每类在验证集中至少 1 条 → 如某类为 0,重新 shuffle 并告知用户
- 设置
do_split = True,记录train_idx,val_idx,test_idx
用户选 B(不切分)时:
⚠️ 使用全部 {m} 条数据训练。注意:后续如需诊断模型泛化效果,
需要用 neural-network-diagnosis 技能重新划分数据并重新训练。
设置 do_split = False。
步骤 3:判断分类类型
检查 y 的唯一值数量 K = len(set(y_raw)):
| K | 分类类型 | 输出层激活 | 输出神经元数 | 后续路径 |
|---|---|---|---|---|
| = 2 | 二分类 | Sigmoid | 1 | 继续步骤 4 |
| > 2 | 多分类 | Softmax | K | 继续步骤 4(网络结构推荐逻辑相同),代码走 references/multi-class-nn.md |
告知用户:
检测到 y 有 {K} 个类别,这是**{二分类/多分类}**问题。 输出层将使用 {Sigmoid / Softmax} 激活函数,{1 / K} 个输出神经元。
如果是多分类,标记 use_multiclass = True。
步骤 4:推荐网络结构
计算 m(样本数), n(特征数), K(类别数)。
推荐策略:
隐藏层数:
├── m < 50 → 1 个隐藏层(数据少,层数多极易过拟合)
├── 50 ≤ m < 200 且 n > 5 → 可考虑 2 个隐藏层
└── m ≥ 200 → 可考虑 2 个隐藏层(数据充裕)
隐藏层神经元数:
├── 第 1 层 = max(3, min(n * 3, 20))(取 n×3,最少 3,最多 20)
└── 如有第 2 层 = max(2, 第1层 // 2)(逐层减半)
总参数量计算:
# 1 隐藏层
total_params = (n+1)*h1 + (h1+1)*K
# 2 隐藏层
total_params = (n+1)*h1 + (h1+1)*h2 + (h2+1)*K
询问话术:
根据你的数据({m} 个样本,{n} 个特征),建议网络结构:
- 输入层:{n} 个神经元({x_names 列表})
- 隐藏层:{num_layers} 层,每层 {hidden_neurons} 个神经元(Sigmoid 激活)
- 输出层:{K} 个神经元({Sigmoid/Softmax})
总参数量约 {total_params} 个。
是否需要调整网络结构?(直接回复"可以"使用推荐结构,或指定你想要的层数和神经元数,如"2层,8和4")
记录:hidden_layer_sizes(list,如 [6] 表示 1 隐藏层 6 神经元,[8, 4] 表示 2 隐藏层 8 和 4 神经元)
步骤 5:确认预测目标
你想预测哪个新样本的类别?请给出对应的 x 值: {x1_name} = ?, {x2_name} = ?, ...
记录为 predict_x(list,长度等于 n_features)。
步骤 6:建议学习率 α 和正则化 λ
特征已做 z-score 标准化。根据当前场景选择建议参数:
α 建议规则:
| 场景 | 建议 α | 原因 |
|---|---|---|
| 二分类,1 隐藏层 | 0.1 | 特征缩放后梯度稳定 |
| 二分类,2 隐藏层 | 0.05 | 更深网络,梯度传播路径更长 |
| 多分类,1 隐藏层 | 0.05 | Softmax + 多个输出神经元 |
| 多分类,2 隐藏层 | 0.03 | 最复杂场景,保守步长 |
λ 建议规则(基于数据/参数比):
计算 ratio = m / total_params:
| ratio | 建议 λ | 说明 |
|---|---|---|
| < 1 | 1.0 | 参数比样本还多,强力正则化 |
| 1 ~ 3 | 0.1 | 参数较多,中度正则化 |
| 3 ~ 10 | 0.01 | 数据充裕,轻度正则化(默认情况) |
| > 10 | 0.001 | 数据很充足,微弱正则化 |
iters 建议:
| 场景 | 建议 iters |
|---|---|
| 二分类,1 隐藏层 | 3000 |
| 二分类,2 隐藏层 | 5000 |
| 多分类,1 隐藏层 | 5000 |
| 多分类,2 隐藏层 | 8000 |
询问话术:
当前场景:{场景描述}({m} 样本,{total_params} 参数,ratio={ratio:.1f})。 特征已做 z-score 标准化。建议训练参数:
- 学习率 α = {suggested_alpha}
- 正则化 λ = {suggested_lambda}(L2 正则化,λ=0 则关闭)
- 迭代次数 = {suggested_iters}
是否需要调整?(直接回复"可以"使用建议值,或指定要修改的参数)
如果用户要求调整,使用用户指定的值。确认后记录 alpha, lambda_val, iters。
步骤 7:确认是否运行梯度检验
计算总参数量 total_params,估算梯度检验耗时(每个参数约需 2 次代价函数计算,每次约 0.5-2ms):
网络共有 {total_params} 个参数,梯度检验需要计算 {total_params × 2} 次代价函数。 预估耗时约 {estimated_time} 秒。
建议首次使用此网络结构时运行一次梯度检验,验证反向传播代码的梯度计算是否正确。
原理:数值梯度 ≈ [J(θ+ε) − J(θ−ε)] / (2ε),与反向传播的解析梯度比对。
- 差异 < 1e-7 → ✅ 反向传播梯度计算无误
- 差异在 1e-4 ~ 1e-7 → ⚠️ 可能有浮点误差,通常可接受
- 差异 > 1e-4 → ❌ 反向传播存在 bug,需要检查
注意:同一网络结构只需检验一次。之前已验证过的结构可以跳过。
是否运行梯度检验?(直接回复"可以"运行,或回复"跳过"直接开始训练)
- 如果用户确认运行 → 生成代码中
ENABLE_GRADIENT_CHECK = True,先跑梯度检验,通过后再训练 - 如果用户跳过 →
ENABLE_GRADIENT_CHECK = False,直接训练
步骤 8:生成代码
在当前工作目录生成代码文件。文件名规则:
- 统一使用
neural_network_{YYYYMMDD}_{HHMMSS}.py
模板选择(决策树):
K > 2(多分类)?
│
├── 是 → 读取 references/multi-class-nn.md 生成代码
│
└── 否(二分类)
├── n_features = 1 → 使用本文件「模板 B:1 特征」
└── n_features ≥ 2 → 使用本文件「模板 A:2 特征」(最常用)
将所有 {PLACEHOLDER} 替换为实际值。
代码自适应规则:
- 如果
hidden_layer_sizes为[h1]→ 生成 1 隐藏层代码(Theta1 + Theta2) - 如果
hidden_layer_sizes为[h1, h2]→ 生成 2 隐藏层代码(Theta1 + Theta2 + Theta3) - 如果
ENABLE_GRADIENT_CHECK = True→ 梯度检验代码不注释,if True:块执行
步骤 9:运行代码
cd "e:\py 代码编辑(机器学习)" && python neural_network_{timestamp}.py
如果运行报错,分析错误并修复代码后重新运行。
步骤 10:输出结果
向用
阅读完整来源 ↗