logistic-regression
逻辑回归分类预测 —— 支持二分类与多分类,内置正则化梯度下降。 当用户提到"逻辑回归"、"logistic regression"、"分类预测"、"二分类"、 "多分类"、"帮我分类"、"预测类别"、"是否"、"会不会"等类似场景时触发。 适用于任何"给一堆 x,y 分类标签,想预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。
muralidharsoth-tech · 已有静态检查记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill logistic-regression技能说明
name: logistic-regression description: | 逻辑回归分类预测 —— 支持二分类与多分类,内置正则化梯度下降。 当用户提到"逻辑回归"、"logistic regression"、"分类预测"、"二分类"、 "多分类"、"帮我分类"、"预测类别"、"是否"、"会不会"等类似场景时触发。 适用于任何"给一堆 x,y 分类标签,想预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。
逻辑回归预测(Logistic Regression)
概述
此技能支持二分类和多分类的逻辑回归完整流程: 收集数据 → 判断分类类型 → 检测非线性 → 确认预测目标 → 建议参数 → 训练模型 → 预测新值 → 可视化输出。
核心原则:
- 一律使用梯度下降(逻辑回归无闭式解)
- 内置特征缩放(z-score 标准化,梯度下降必需)
- 默认启用 L2 正则化(防止过拟合,λ 可调为 0 关闭)
- 自动检测是否需要多项式特征(弯曲决策边界)
- 自动判断二分类还是多分类
代码会自动保存到工作目录并运行,每次生成带时间戳的新文件。
交互流程
严格按以下 8 步执行,不要跳过任何一步:
步骤 1:收集数据
首先确认特征数量和标签含义:
你有几个特征(x 变量)?每个 x 叫什么名字、单位是什么? 标签 y 代表什么类别?有几个类别?分别叫什么?
然后让用户提供数据:
请提供你的训练数据。可以用任意格式发给我,例如:
二分类:
保温厚度 3cm, 窗墙比 0.20 → 不节能保温厚度 8cm, 窗墙比 0.40 → 节能...多分类:
保温厚度 3cm, 窗墙比 0.20 → A级保温厚度 8cm, 窗墙比 0.40 → B级...同时告诉我:预测的主题是什么(用于图表标题,英文)。
从用户回复中提取:
n_features(特征数量)x_names(list,如["保温厚度", "窗墙比"])x_units(list,如["cm", ""])X_raw(list of lists,每行 n 个 x 值)y_raw(list,标签值)y_classes(dict,如{0: "不节能", 1: "节能"}或{0: "A级", 1: "B级", 2: "C级"})title_topic(如"Building Energy Efficiency Classification",英文)
如果用户提供的标签是字符串(如 "节能"/"不节能"),自动编码为 0, 1, 2... 并确认映射关系。
如果用户没有给出某个信息,根据上下文合理推断并确认。
步骤 2:判断分类类型
检查 y 的唯一值数量 K = len(set(y_raw)):
| K | 分类类型 | 后续路径 |
|---|---|---|
| = 2 | 二分类 | 继续步骤 3(非线性检测) |
| > 2 | 多分类 | 跳至步骤 4(确认预测目标),代码走 references/multi-class-logistic.md |
告知用户:
检测到 y 有 {K} 个类别,这是**{二分类/多分类}**问题。
如果是多分类,标记 use_multiclass = True。
步骤 3:检测非线性关系(仅二分类)
拿到数据后,判断两个类之间是否可能由非线性决策边界分开。根据以下信号综合判断:
| 信号类型 | 具体表现 | 结论 |
|---|---|---|
| 用户描述 | "先好后差再转好"、"分类边界是曲线"、"直线分不开" | 疑似非线性 |
| 数据分布 | 如果画出散点图,两个类交错分布,直线无法分开 | 疑似非线性 |
| 领域知识 | 如"保温越厚越节能,但超过一定值后又变差" | 可主动建议 |
如果疑似非线性,主动询问用户确认:
从你的数据来看,两个类之间的决策边界可能不是直线。使用标准逻辑回归(线性边界 θ₀+θ₁x₁+θ₂x₂=0)可能无法很好地区分两类。 建议使用多项式特征(默认 degree=2)来构建弯曲的决策边界。
- degree=2:增加 x₁², x₂² 项,能形成椭圆/双曲线边界
- degree=3:更复杂的曲线形状(需要更多数据支撑)
- 建议先用 degree=2 试试
是否使用多项式特征?(直接回复"可以"使用 degree=2,或指定 degree 值)
如果用户确认使用多项式:
- 设置标志
use_polynomial = True - 记录
degree(用户指定或默认 2) - 后续步骤将走
references/polynomial-logistic.md模板
如果用户认为直线够用(或数据无明显非线性特征),设置 use_polynomial = False,走标准二分类流程。
步骤 4:确认预测目标
你想预测哪个新样本的类别?请给出对应的 x 值: {x1_name} = ?, {x2_name} = ?, ...
记录为 predict_x(list,长度等于 n_features)。
步骤 5:建议学习率 α 和正则化 λ
特征已做 z-score 标准化。根据当前场景选择建议参数:
α 建议规则:
| 场景 | 建议 α | 原因 |
|---|---|---|
| 标准二分类(任意特征数) | 0.1 | 特征缩放后梯度稳定 |
| 多项式二分类 | 0.05 | 特征空间更大,梯度更复杂 |
| 多分类(Softmax) | 0.05 | K 组参数同时更新 |
| 多分类 + 多项式 | 0.01 | 最复杂场景 |
λ 建议规则(λ=0 关闭正则化):
计算有效特征数 n_eff(不含偏置项)和比率 ratio = m / n_eff:
- 标准二分类:
n_eff = n_features - 多项式二分类:
n_eff = n_base × degree - 多分类:
n_eff = n_features × K
| 条件 | 建议 λ |
|---|---|
| ratio < 3 | 5.0(强力正则化,样本极少) |
| 3 ≤ ratio < 5 | 1.0(中度正则化) |
| 5 ≤ ratio < 10 | 0.5(轻度正则化) |
| ratio ≥ 10 | 0.1(默认轻度正则化) |
iters 建议:
| 场景 | 建议 iters |
|---|---|
| 标准二分类 | 2000 |
| 多项式二分类 | 3000 |
| 多分类 | 3000 |
| 多分类 + 多项式 | 5000 |
询问话术:
当前场景:{场景描述}。特征已做 z-score 标准化。 建议参数:
- 学习率 α = {suggested_alpha}
- 正则化 λ = {suggested_lambda}(正则化默认开启,λ=0 则关闭)
- 迭代次数 = {suggested_iters}
是否需要调整?(直接回复"可以"使用建议值,或指定要修改的参数)
如果用户要求调整,使用用户指定的值。确认后记录 alpha, lambda_val, iters。
无论是否正则化(λ 是否为 0),都使用相同的梯度下降函数。 λ=0 时正则化项自动退化消失。
步骤 6:生成代码
在当前工作目录生成代码文件。文件名规则:
- 统一使用
logistic_regression_{YYYYMMDD}_{HHMMSS}.py
模板选择(决策树):
是逻辑回归?
│
├── K > 2(多分类)
│ └── 读取 references/multi-class-logistic.md
│
└── K = 2(二分类)
├── use_polynomial = True?
│ └── 是 → 读取 references/polynomial-logistic.md
│
└── 否(标准二分类)
├── n_features = 1 → 使用本文件「模板 B:1 特征」
└── n_features ≥ 2 → 使用本文件「模板 A:多特征」(最常用)
将所有 {PLACEHOLDER} 替换为实际值。
步骤 7:运行代码
cd "e:\py 代码编辑(机器学习)" && python logistic_regression_{timestamp}.py
如果运行报错,分析错误并修复代码后重新运行。
步骤 8:输出结果
向用户报告:
- 模型公式(原始空间参数)
- 二分类:
g(x) = sigmoid(θ₀ + θ₁x₁ + θ₂x₂) - 决策边界:
θ₀ + θ₁x₁ + θ₂x₂ = 0
- 二分类:
- 训练集准确率(及多分类的各类别指标)
- 预测结果:概率值 + 预测类别
- 最终代价 J(θ) 和使用的 λ 值
- 图片保存路径和代码文件路径
代码模板 A:标准二分类 + 多特征(≥ 2 个特征)
这是最常用的模板。3 张图输出(决策边界 + 收敛曲线 + 3D 概率曲面)。 替换所有
{PLACEHOLDER}。中文字符用 ASCII 替代。Windows GBK 兼容。
import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from matplotlib.gridspec import GridSpec
# ========== 1. 加载数据 ==========
X_raw = np.array([{X_DATA}]) # 特征矩阵 (m, n)
y = np.array([{Y_DATA}]).reshape(-1, 1) # 标签 (m, 1),值为 0 或 1
m, n = X_raw.shape
x_names = {X_NAMES} # 特征名列表(中文)
x_units = {X_UNITS} # 特征单位列表
y_classes = {Y_CLASSES} # 类别映射,如 {0: "Not Efficient", 1: "Efficient"}
print(f"样本数: {m}, 特征数: {n}")
print(f"X_raw:\n{X_raw}")
print(f"y:\n{y.flatten()}")
# ========== 2. 特征缩放(z-score)==========
X_mean = X_raw.mean(axis=0, keepdims=True) # (1, n)
X_std = X_raw.std(axis=0, keepdims=True) # (1, n)
X_scaled = (X_raw - X_mean) / X_std # (m, n)
# 构造 X(加偏置列)
X = np.hstack([np.ones((m, 1)), X_scaled]) # (m, n+1)
print(f"\nX_mean: {X_mean}")
print(f"X_std: {X_std}")
# ========== 3. Sigmoid 函数 ==========
def sigmoid(z):
"""逻辑函数,将任意实数映射到 (0,1)"""
return 1 / (1 + np.exp(-z))
# ========== 4. 正则化梯度下降(逻辑回归 + L2)==========
def logisticRidgeGD(X, y, theta, alpha, lam, iters):
"""
逻辑回归 + L2 正则化梯度下降。
代价函数:
J(theta) = -(1/m) * sum(y*log(h) + (1-y)*log(1-h))
+ (lam/(2m)) * sum(theta[1:]^2)
梯度:
grad = (1/m) * X^T @ (h - y)
grad[1:] += (lam/m) * theta[1:] (theta0 不参与惩罚)
参数:
X - 特征矩阵 (m, n+1),第 0 列为全 1(偏置)
y - 标签向量 (m, 1)
theta - 参数向量 (n+1, 1)
alpha - 学习率
lam - L2 正则化强度(>0 岭回归,=0 退化为标准梯度下降)
iters - 迭代次数
"""
m_samples = len(y)
J_history = np.zeros(iters)
for i in range(iters):
z = X @ theta
阅读完整来源 ↗