跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
其他技能

linear-regression

线性回归预测 —— 智能选择正规方程或梯度下降,支持单变量与多变量。 当用户提到"线性回归"、"线性拟合"、"线性预测"、"直线拟合"、"回归预测"、 "帮我做回归"、"预测一下"、"拟合一条线"、"多变量回归"等类似场景时触发。 适用于任何"给一堆 x,y 数据,想拟合并预测新值"的需求。 不要手动写代码——必须调用此技能来统一处理。

muralidharsoth-tech · 已有静态检查记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill linear-regression

技能说明


name: linear-regression description: | 线性回归预测 —— 智能选择正规方程或梯度下降,支持单变量与多变量。 当用户提到"线性回归"、"线性拟合"、"线性预测"、"直线拟合"、"回归预测"、 "帮我做回归"、"预测一下"、"拟合一条线"、"多变量回归"等类似场景时触发。 适用于任何"给一堆 x,y 数据,想拟合并预测新值"的需求。 不要手动写代码——必须调用此技能来统一处理。

线性回归预测(正规方程 + 梯度下降)

概述

此技能支持单变量和多变量的线性回归和多项式回归完整流程: 收集数据 → 检测非线性 → 算法选择 → 训练模型 → 预测新值 → 可视化输出。

核心原则:

  • 多项式回归一律使用梯度下降(可集成 L2 正则化防止过拟合),不管特征数多少
  • 普通线性回归:n < 1000 使用正规方程(一步求解、精确),n >= 1000 使用梯度下降 自动检测数据是否需要多项式回归(曲线拟合),避免"直线拟合曲线数据"效果差的情况。

代码会自动保存到工作目录并运行,每次生成带时间戳的新文件。

交互流程

严格按以下 7 步执行,不要跳过任何一步:

步骤 1:收集数据

首先确认是单变量还是多变量:

你有几个特征(x 变量)?每个 x 叫什么名字、单位是什么?

然后让用户提供数据:

请提供你的训练数据。可以用表格格式发给我,例如:

单变量: 面积 500, 能耗 3.1;面积 800, 能耗 4.8;...

多变量: 面积 500, 房间数 5, 能耗 3.0 面积 800, 房间数 8, 能耗 5.5 ...

同时告诉我:y 代表什么(含单位),以及预测的主题是什么(用于图表标题)。

从用户回复中提取:

  • n_features(特征数量)
  • x_names(list,如 ["面积", "房间数"])
  • x_units(list,如 ["m^2", "间"])
  • x_values(list of lists,每行 n 个 x 值,或单变量时就是一维 list)
  • y_values(list)
  • y_name(如 "能耗")
  • y_unit(如 "万 kWh")
  • title_topic(如 "Building Energy Prediction",英文)

如果用户没有给出某个信息,根据上下文合理推断并确认。

步骤 2:检测非线性关系(多项式回归判断)

拿到数据后,判断 x 和 y 之间是否可能是非线性关系。根据以下信号综合判断:

信号类型具体表现结论
用户描述"先快后慢"、"增长放缓"、"边际递减"、"U型"、"S型"、"先降后升"疑似非线性
数据趋势如果画出散点图,肉眼可见弯曲疑似非线性
领域知识建筑能耗随面积"边际递减"是普遍规律可主动建议

如果疑似非线性,主动询问用户确认:

从你的数据和描述来看,x 和 y 的关系可能是非线性的({具体描述,如"面积越大,能耗增量逐渐变小"})。 建议使用多项式回归来处理。请确认以下参数:

  • 最高次数(degree):默认 2(在模型中加入 x² 项)
    • degree=2:能拟合 ∪ 型或 ⋂ 型曲线(最常见)
    • degree=3:能拟合 S 型曲线(更灵活,但需要更多数据)
    • 建议先用 degree=2 试试
  • 是否需要调整?(直接回复"可以"使用 degree=2)

如果用户确认使用多项式回归:

  • 设置标志 use_polynomial = True
  • 记录 degree(用户指定或默认 2)
  • 后续步骤将走梯度下降 + 正则化路径(详见步骤 4)
  • 文件名前缀改为 polynomial_regression_(区别于普通线性回归)

如果用户明确表示是线性关系(或数据无明显非线性特征),设置 use_polynomial = False,走普通线性回归流程。

步骤 3:确认预测目标

你想预测哪个样本的 {y_name}?请给出对应的 x 值: {x1_name} = ?, {x2_name} = ?, ...

记录为 predict_x(list,单变量时长度为 1)。

步骤 4:算法选择

首先判断是否为多项式回归:

判断回归类型
    │
    ├── 多项式回归(use_polynomial = True)
    │     │
    │     └── 一律使用梯度下降(不管构造后特征数 n_poly 多少)
    │           原因:正规方程 + 多项式 = 极高过拟合风险;
    │                 梯度下降可以方便集成 L2 正则化。
    │           │
    │           ├── 进入步骤 4b(正则化判断 + λ 确认)
    │           └── 然后进入步骤 4c(学习率确认)
    │
    └── 普通线性回归(use_polynomial = False)
          │
          ├── n < 1000 ──→ 正规方程 → 读取 references/normal-equation.md
          │                 不需要特征缩放、不需要学习率、一步求解
          │                 跳过步骤 4b、4c,直接到步骤 5
          │
          └── n >= 1000 ──→ 梯度下降 → 使用本文件「梯度下降代码模板」
                            跳过步骤 4b(正则化判断),进入步骤 4c

步骤 4b:正则化判断(仅多项式回归分支)

计算 n_poly = n_base × degree(构造后的特征总数),ratio = m / n_poly。

根据以下条件综合判断是否建议正则化,以及建议的 λ 值:

条件建议
m / n_poly < 3强烈建议正则化,建议 λ = 5.0
3 <= m / n_poly < 5建议正则化,建议 λ = 1.0
5 <= m / n_poly < 10,或 degree=3 且 ratio < 10轻度建议正则化,建议 λ = 0.5
m / n_poly >= 10 且 degree <= 2可不正则化(λ = 0),数据充裕

询问用户:

当前数据:{m} 个样本,构造后 {n_poly} 个特征(m/n_poly = {ratio:.1f}),degree={degree}。

{根据上表生成具体建议} 建议使用**岭回归(梯度下降 + L2 正则化,λ={suggested_lambda})**来控制模型复杂度,防止过拟合。

是否启用正则化?(直接回复"可以"使用建议,或回复"不需要"关闭正则化)

如果用户同意正则化,进一步确认 λ:

建议正则化强度 λ = {suggested_lambda}。

  • λ 越大 → 惩罚越强 → 模型越简单、越不容易过拟合
  • λ = 0 → 无正则化 = 标准梯度下降
  • 常用范围:0.1(轻度)~ 10(强力)

是否需要调整 λ?(直接回复"可以"使用建议值,或输入新值如 0.5、2.0)

确认后记录:

  • use_regularization = True,lambda_val = 用户确认的 λ
  • 如果用户拒绝正则化:use_regularization = False,lambda_val = 0

无论是否正则化,都使用 references/ridge-regression.md 模板(λ=0 时等价于标准梯度下降多项式回归)。


步骤 4c:学习率确认(仅梯度下降分支)

特征已做 z-score 标准化,建议学习率为 0.01。 是否需要调整?(直接回复"可以"使用建议值)

  • 普通线性回归:iters 默认 500
  • 多项式回归:iters 默认 1000(特征空间更复杂,需要更多迭代)

步骤 5:生成代码

在当前工作目录生成代码文件。文件名规则:

  • 普通线性回归:linear_regression_{YYYYMMDD}_{HHMMSS}.py
  • 多项式回归:polynomial_regression_{YYYYMMDD}_{HHMMSS}.py

模板选择:

  • 正规方程(普通线性,n < 1000):参照 references/normal-equation.md 中的代码模板
  • 梯度下降(普通线性,n >= 1000):使用下方「梯度下降代码模板」
  • 多项式回归(任何 n,含/不含正则化):参照 references/ridge-regression.md 中的代码模板
    • {LAMBDA} 占位符:有正则化填建议值,无正则化填 0

将所有 {PLACEHOLDER} 替换为实际值。

步骤 6:运行代码

cd "{工作目录}" && python {FILENAME_BASE}.py

普通线性: linear_regression_{timestamp}.py;多项式: polynomial_regression_{timestamp}.py

Error → 分析修复后重试。

步骤 7:输出结果

向用户报告:

  • 模型公式
    • 普通线性:y = θ₀ + θ₁x₁ + θ₂x₂ + ...
    • 多项式:y = θ₀ + θ₁·x + θ₂·x² + ...(展示曲线形状:θ₂ < 0 → ⋂ 型增长放缓;θ₂ > 0 → ∪ 型)
  • 预测结果
  • 正规方程额外输出:R² 和 RMSE
  • 岭回归额外输出:R²、RMSE、最终代价 J(θ)、使用的 λ 值
  • 图片保存路径和代码文件路径

正规方程代码模板(主模板,n < 1000)

完整模板见 references/normal-equation.md。

关键特点:

  • 不需特征缩放、不需学习率、不需迭代
  • 左图:真实值 vs 预测值诊断图
  • 右图:残差图(用于检查拟合质量)
  • 输出 R² 和 RMSE 指标

核心代码:

# 构造 X(加偏置列)
X = np.hstack([np.ones((m, 1)), X_raw])

# 正规方程 —— 一步求解(O(n³),n<1000 完全无感)
theta = np.linalg.inv(X.T @ X) @ X.T @ y

梯度下降代码模板(备用,n >= 1000)

多变量兼容。{PLACEHOLDER} 需要替换。中文字符一律用 ASCII(theta0 不用 θ₀)。

import numpy as np
import matplotlib
matplotlib.use('Agg')
import matplotlib.pyplot as plt

# ========== 1. 加载数据 ==========
# X_raw: (m, n) 矩阵,每行一个样本,每列一个特征
# y: (m, 1) 向量
X_raw = np.array([{X_DATA}])   # 每行 [{x1_i}, {x2_i}, ...]
y = np.array([{Y_DATA}]).reshape(-1, 1)

m, n = X_raw.shape  # 样本数, 特征数

# ========== 2. 特征缩放(逐列 z-score)==========
X_mean = X_raw.mean(axis=0, keepdims=True)   # (1, n)
X_std  = X_raw.std(axis=0, keepdims=True)    # (1, n)
X_scaled = (X_raw - X_mean) / X_std           # (m, n)

# 构造 X(加偏置列)
X = np.hstack([np.ones((m, 1)), X_scaled])   # (m, n+1)

# ========== 3. 梯度下降 ==========
def gradientDescent(X, y, theta, alpha, iters):
    """批量梯度下降(多变量兼容)"""
    m = len(y)
    J_history = np.zeros(iters)
    for i in range(iters):
        predictions = X @ theta
        errors = predictions - y
        gradient = (1 / m) * (X.T @ errors)
        theta = theta - alpha * gradient
        J_history[i] = (1 / (2 * m)) * np.sum(errors ** 2)
    return theta, J_history

theta_scale
阅读完整来源 ↗