跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
其他技能

logistic-regression

逻辑回归分类预测 —— 支持二分类与多分类,内置正则化梯度下降。 当用户提到"逻辑回归"、"logistic regression"、"分类预测"、"二分类"、 "多分类"、"帮我分类"、"预测类别"、"是否"、"会不会"等类似场景时触发。 适用于任何"给一堆 x,y 分类标签,想预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。

muralidharsoth-tech · 已有静态检查记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill logistic-regression

技能说明


name: logistic-regression description: | 逻辑回归分类预测 —— 支持二分类与多分类,内置正则化梯度下降。 当用户提到"逻辑回归"、"logistic regression"、"分类预测"、"二分类"、 "多分类"、"帮我分类"、"预测类别"、"是否"、"会不会"等类似场景时触发。 适用于任何"给一堆 x,y 分类标签,想预测新样本类别"的需求。 不要手动写代码——必须调用此技能来统一处理。

逻辑回归预测(Logistic Regression)

概述

此技能支持二分类和多分类的逻辑回归完整流程: 收集数据 → 判断分类类型 → 检测非线性 → 确认预测目标 → 建议参数 → 训练模型 → 预测新值 → 可视化输出。

核心原则:

  • 一律使用梯度下降(逻辑回归无闭式解)
  • 内置特征缩放(z-score 标准化,梯度下降必需)
  • 默认启用 L2 正则化(防止过拟合,λ 可调为 0 关闭)
  • 自动检测是否需要多项式特征(弯曲决策边界)
  • 自动判断二分类还是多分类

代码会自动保存到工作目录并运行,每次生成带时间戳的新文件。

交互流程

严格按以下 8 步执行,不要跳过任何一步:

步骤 1:收集数据

首先确认特征数量和标签含义:

你有几个特征(x 变量)?每个 x 叫什么名字、单位是什么? 标签 y 代表什么类别?有几个类别?分别叫什么?

然后让用户提供数据:

请提供你的训练数据。可以用任意格式发给我,例如:

二分类: 保温厚度 3cm, 窗墙比 0.20 → 不节能 保温厚度 8cm, 窗墙比 0.40 → 节能 ...

多分类: 保温厚度 3cm, 窗墙比 0.20 → A级 保温厚度 8cm, 窗墙比 0.40 → B级 ...

同时告诉我:预测的主题是什么(用于图表标题,英文)。

从用户回复中提取:

  • n_features(特征数量)
  • x_names(list,如 ["保温厚度", "窗墙比"])
  • x_units(list,如 ["cm", ""])
  • X_raw(list of lists,每行 n 个 x 值)
  • y_raw(list,标签值)
  • y_classes(dict,如 {0: "不节能", 1: "节能"} 或 {0: "A级", 1: "B级", 2: "C级"})
  • title_topic(如 "Building Energy Efficiency Classification",英文)

如果用户提供的标签是字符串(如 "节能"/"不节能"),自动编码为 0, 1, 2... 并确认映射关系。

如果用户没有给出某个信息,根据上下文合理推断并确认。

步骤 2:判断分类类型

检查 y 的唯一值数量 K = len(set(y_raw)):

K分类类型后续路径
= 2二分类继续步骤 3(非线性检测)
> 2多分类跳至步骤 4(确认预测目标),代码走 references/multi-class-logistic.md

告知用户:

检测到 y 有 {K} 个类别,这是**{二分类/多分类}**问题。

如果是多分类,标记 use_multiclass = True。

步骤 3:检测非线性关系(仅二分类)

拿到数据后,判断两个类之间是否可能由非线性决策边界分开。根据以下信号综合判断:

信号类型具体表现结论
用户描述"先好后差再转好"、"分类边界是曲线"、"直线分不开"疑似非线性
数据分布如果画出散点图,两个类交错分布,直线无法分开疑似非线性
领域知识如"保温越厚越节能,但超过一定值后又变差"可主动建议

如果疑似非线性,主动询问用户确认:

从你的数据来看,两个类之间的决策边界可能不是直线。使用标准逻辑回归(线性边界 θ₀+θ₁x₁+θ₂x₂=0)可能无法很好地区分两类。 建议使用多项式特征(默认 degree=2)来构建弯曲的决策边界。

  • degree=2:增加 x₁², x₂² 项,能形成椭圆/双曲线边界
  • degree=3:更复杂的曲线形状(需要更多数据支撑)
  • 建议先用 degree=2 试试

是否使用多项式特征?(直接回复"可以"使用 degree=2,或指定 degree 值)

如果用户确认使用多项式:

  • 设置标志 use_polynomial = True
  • 记录 degree(用户指定或默认 2)
  • 后续步骤将走 references/polynomial-logistic.md 模板

如果用户认为直线够用(或数据无明显非线性特征),设置 use_polynomial = False,走标准二分类流程。

步骤 4:确认预测目标

你想预测哪个新样本的类别?请给出对应的 x 值: {x1_name} = ?, {x2_name} = ?, ...

记录为 predict_x(list,长度等于 n_features)。

步骤 5:建议学习率 α 和正则化 λ

特征已做 z-score 标准化。根据当前场景选择建议参数:

α 建议规则:

场景建议 α原因
标准二分类(任意特征数)0.1特征缩放后梯度稳定
多项式二分类0.05特征空间更大,梯度更复杂
多分类(Softmax)0.05K 组参数同时更新
多分类 + 多项式0.01最复杂场景

λ 建议规则(λ=0 关闭正则化):

计算有效特征数 n_eff(不含偏置项)和比率 ratio = m / n_eff:

  • 标准二分类:n_eff = n_features
  • 多项式二分类:n_eff = n_base × degree
  • 多分类:n_eff = n_features × K
条件建议 λ
ratio < 35.0(强力正则化,样本极少)
3 ≤ ratio < 51.0(中度正则化)
5 ≤ ratio < 100.5(轻度正则化)
ratio ≥ 100.1(默认轻度正则化)

iters 建议:

场景建议 iters
标准二分类2000
多项式二分类3000
多分类3000
多分类 + 多项式5000

询问话术:

当前场景:{场景描述}。特征已做 z-score 标准化。 建议参数:

  • 学习率 α = {suggested_alpha}
  • 正则化 λ = {suggested_lambda}(正则化默认开启,λ=0 则关闭)
  • 迭代次数 = {suggested_iters}

是否需要调整?(直接回复"可以"使用建议值,或指定要修改的参数)

如果用户要求调整,使用用户指定的值。确认后记录 alpha, lambda_val, iters。

无论是否正则化(λ 是否为 0),都使用相同的梯度下降函数。 λ=0 时正则化项自动退化消失。

步骤 6:生成代码

在当前工作目录生成代码文件。文件名规则:

  • 统一使用 logistic_regression_{YYYYMMDD}_{HHMMSS}.py

模板选择(决策树):

是逻辑回归?
  │
  ├── K > 2(多分类)
  │     └── 读取 references/multi-class-logistic.md
  │
  └── K = 2(二分类)
        ├── use_polynomial = True?
        │     └── 是 → 读取 references/polynomial-logistic.md
        │
        └── 否(标准二分类)
              ├── n_features = 1 → 使用本文件「模板 B:1 特征」
              └── n_features ≥ 2 → 使用本文件「模板 A:多特征」(最常用)

将所有 {PLACEHOLDER} 替换为实际值。

步骤 7:运行代码

cd "e:\py 代码编辑(机器学习)" && python logistic_regression_{timestamp}.py

如果运行报错,分析错误并修复代码后重新运行。

步骤 8:输出结果

向用户报告:

  • 模型公式(原始空间参数)
    • 二分类:g(x) = sigmoid(θ₀ + θ₁x₁ + θ₂x₂)
    • 决策边界:θ₀ + θ₁x₁ + θ₂x₂ = 0
  • 训练集准确率(及多分类的各类别指标)
  • 预测结果:概率值 + 预测类别
  • 最终代价 J(θ) 和使用的 λ 值
  • 图片保存路径和代码文件路径

代码模板 A:标准二分类 + 多特征(≥ 2 个特征)

这是最常用的模板。3 张图输出(决策边界 + 收敛曲线 + 3D 概率曲面)。 替换所有 {PLACEHOLDER}。中文字符用 ASCII 替代。Windows GBK 兼容。

import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt
from matplotlib.gridspec import GridSpec

# ========== 1. 加载数据 ==========
X_raw = np.array([{X_DATA}])    # 特征矩阵 (m, n)
y = np.array([{Y_DATA}]).reshape(-1, 1)   # 标签 (m, 1),值为 0 或 1

m, n = X_raw.shape
x_names = {X_NAMES}     # 特征名列表(中文)
x_units = {X_UNITS}     # 特征单位列表
y_classes = {Y_CLASSES}  # 类别映射,如 {0: "Not Efficient", 1: "Efficient"}

print(f"样本数: {m}, 特征数: {n}")
print(f"X_raw:\n{X_raw}")
print(f"y:\n{y.flatten()}")

# ========== 2. 特征缩放(z-score)==========
X_mean = X_raw.mean(axis=0, keepdims=True)   # (1, n)
X_std  = X_raw.std(axis=0, keepdims=True)    # (1, n)
X_scaled = (X_raw - X_mean) / X_std           # (m, n)

# 构造 X(加偏置列)
X = np.hstack([np.ones((m, 1)), X_scaled])   # (m, n+1)

print(f"\nX_mean: {X_mean}")
print(f"X_std: {X_std}")

# ========== 3. Sigmoid 函数 ==========
def sigmoid(z):
    """逻辑函数,将任意实数映射到 (0,1)"""
    return 1 / (1 + np.exp(-z))

# ========== 4. 正则化梯度下降(逻辑回归 + L2)==========
def logisticRidgeGD(X, y, theta, alpha, lam, iters):
    """
    逻辑回归 + L2 正则化梯度下降。

    代价函数:
      J(theta) = -(1/m) * sum(y*log(h) + (1-y)*log(1-h))
                 + (lam/(2m)) * sum(theta[1:]^2)

    梯度:
      grad = (1/m) * X^T @ (h - y)
      grad[1:] += (lam/m) * theta[1:]    (theta0 不参与惩罚)

    参数:
      X      - 特征矩阵 (m, n+1),第 0 列为全 1(偏置)
      y      - 标签向量 (m, 1)
      theta  - 参数向量 (n+1, 1)
      alpha  - 学习率
      lam    - L2 正则化强度(>0 岭回归,=0 退化为标准梯度下降)
      iters  - 迭代次数
    """
    m_samples = len(y)
    J_history = np.zeros(iters)

    for i in range(iters):
        z = X @ theta                       
阅读完整来源 ↗