跳至正文
OpenAgentSkill
浏览已开放 · 目录记录日期 2026-11-21 · 自动更新和账户服务暂时关闭。
其他技能

anomaly-detection

异常检测(Anomaly Detection)—— 基于高斯分布的一元/多元异常检测,纯 NumPy 实现。 当用户提到"异常检测"、"anomaly detection"、"找异常"、"离群点"、"异常值检测"、 "outlier detection"、"高斯异常检测"、"检测异常数据"、"帮我检测异常"、"异常样本"、 "找出异常的"、"哪些数据有问题"、"不正常的数据"、"反常数据"等类似场景时触发。 适用于任何"给一堆数据,想找出哪些样本不太正常"的需求。 不要手动写代码——必须调用此技能来统一处理。

muralidharsoth-tech · 已有静态检查记录

安装与使用

运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。

npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill anomaly-detection

技能说明


name: anomaly-detection description: | 异常检测(Anomaly Detection)—— 基于高斯分布的一元/多元异常检测,纯 NumPy 实现。 当用户提到"异常检测"、"anomaly detection"、"找异常"、"离群点"、"异常值检测"、 "outlier detection"、"高斯异常检测"、"检测异常数据"、"帮我检测异常"、"异常样本"、 "找出异常的"、"哪些数据有问题"、"不正常的数据"、"反常数据"等类似场景时触发。 适用于任何"给一堆数据,想找出哪些样本不太正常"的需求。 不要手动写代码——必须调用此技能来统一处理。

异常检测(Anomaly Detection)

概述

基于吴恩达课程第 9 周的异常检测算法,核心原理:

  • 训练阶段:假设正常数据服从高斯分布,从数据中学习分布参数(均值 μ、方差 σ²)
  • 检测阶段:计算新样本的 p(x),若 p(x) < ε(阈值)则标记为异常
  • 一元高斯:各特征独立建模,p(x) = Π p(x_j; μ_j, σ²_j)
  • 多元高斯:用协方差矩阵 Σ 捕获特征间相关性(需 m > n)
  • 所有代码使用纯 NumPy + Matplotlib,自动保存为带时间戳的 .py 文件

核心规则

  • 数据输入支持三种方式:粘贴数组、CSV 文件、口头描述
  • 自动检验每个特征是否符合高斯分布,不符合则尝试 log/sqrt/Box-Cox 变换
  • 自动检测特征间相关性,智能选择一元或多元高斯
  • ε 阈值智能推荐(有标签用 F1 最大化,无标签用分位数法),推荐后可调整
  • 输出包含:检测结果、.py 代码文件、.png 可视化图表

交互流程

步骤 1:数据输入

请提供你的数据。支持三种方式:

A. 粘贴数组 — 直接粘贴 Python 格式的数据 B. CSV 文件 — 提供文件路径,我来读取 C. 口头描述 — 描述数据含义和范围,我来构造示例

如果有异常标签(0=正常, 1=异常),也请一并提供。

自动判断输入类型:

包含 ".csv"                            → CSV 文件模式
包含 "[[", "np.array", "X =" 等       → 数组粘贴模式
包含 "大概", "模拟", "比如" 等         → 口头描述模式

模式 A:粘贴数组

请粘贴你的数据。格式示例:

# 多特征数据:
x1: [14.2, 13.8, 14.5, 25.0, 13.9]
x2: [2.8,  2.9,  3.0,  8.5,  2.7]
# 或二维数组:
[[14.2, 2.8], [13.8, 2.9], [14.5, 3.0], [25.0, 8.5], [13.9, 2.7]]

如果有标签:y: [0, 0, 0, 1, 0](0=正常, 1=异常)

还需提供:每个特征的名字(用于图表标注)、检测主题(用于图表标题)

提取:X_raw(m×n 数组)、y_raw(可选,0/1 数组)、feature_names、title_topic

模式 B:CSV 文件

请提供 CSV 文件路径。

  • 文件要求:每行一条样本,每列一个特征
  • 如果有标签列,请告知列名或列索引

读取逻辑:先尝试 UTF-8,失败则尝试 GBK,再失败尝试 latin-1。自动跳过非数值列。

模式 C:口头描述

请描述你的数据:

  • 有多少个特征?每个特征代表什么?值范围大概多少?
  • 异常样本大概长什么样?
  • 大概有多少条数据?

根据描述用 np.random.seed(42) 生成模拟数据并打印,让用户确认。


步骤 2:数据初探确认

解析完成后,打印数据摘要,确认无误再继续:

📊 数据概览

指标值
样本数 (m){m}
特征数 (n){n}
有标签{是/否}
特征名{feature_names}
特征均值标准差最小值最大值
{name1}{mean1}{std1}{min1}{max1}
...............

数据看起来正确吗?(回复"可以"继续,或指出问题)

同时做数据健康检查:

检查项处理
m < 10⚠️ 警告样本太少,高斯估计不可靠
某特征方差 ≈ 0⚠️ 建议删掉该特征(无区分度)
n > m⚠️ 提示后续只能走一元高斯路线

步骤 3:高斯分布检验

对每个特征逐一检测:

检测方法(在生成的 .py 中实现):

  1. 计算偏度 (skewness):衡量对称性,0 = 完全对称
  2. 计算峰度 (kurtosis):衡量尾部厚度,3 = 标准正态
  3. 绘制 Q-Q 图(理论分位数 vs 实际分位数)
  4. 绘制直方图 + 正态曲线叠加

判断标准:

|skewness| < 1 且 Q-Q 图大致呈直线  →  ✅ 符合高斯
|skewness| >= 1 或 Q-Q 图明显偏离   →  ❌ 不符合,需要变换

汇报结果:

🔍 高斯分布检验结果

特征偏度峰度Q-Q图判断
{name1}0.322.95直线✅ 符合
{name2}2.508.12弯曲❌ 不符合

当有特征不符合时——执行变换

按顺序尝试,任一方法使 |skewness| < 1 即停止:

右偏(偏度 > 0,长尾在右边):
  1. log(x + offset)   — offset 使所有值为正的最小常数
  2. sqrt(x + offset)  — 比 log 温和
  3. Box-Cox           — (x^λ - 1) / λ,自动搜索最优 λ

左偏(偏度 < 0,长尾在左边):
  1. x²                — 平方拉伸左侧
  2. exp(x / c)         — 指数拉伸
  3. Box-Cox            — 同上

三种都失败 → ⚠️ 警告 + 继续运行 + 详细记录到 references/gaussian-transform.md

对用户说:

特征 {name} 不符合高斯分布(偏度={skew:.2f})。 建议:{推荐变换方法},预期偏度可降至 {estimated_skew}。

选项:

  • A. 按推荐变换(推荐)
  • B. 尝试其他变换
  • C. 不变换(结果可能不准)

变换完成后汇报:

✅ 变换完成!偏度变化:

  • {name}:{before} → {after}({method}变换)

将变换细节写入 references/gaussian-transform.md。


步骤 4:特征相关性分析

计算相关系数矩阵 np.corrcoef(X.T),汇报:

📈 特征相关性矩阵

feat1feat2feat3
feat11.000.12-0.85
feat20.121.000.08
feat3-0.850.081.00

检测到:feat1 与 feat3 显著负相关 (r=-0.85)

决策分支

任意 |r| > 0.6 ?
  ├── 否 → 无显著相关 → 使用【一元高斯】
  │
  └── 是 → 进入 m vs n 判断:
            ├── m > n  → 推荐【多元高斯】
            │   原因:Σ 可逆(不会奇异),自动捕获相关性
            │   写入 references/multivariate-gaussian.md
            │
            └── m ≤ n  → 强制【一元高斯 + 构造组合特征】
                原因:Σ 奇异不可逆,多元高斯不可用
                写入 references/feature-engineering.md

对用户说(m > n 时):

检测到特征间存在显著相关性,且样本数({m}) > 特征数({n})。 推荐:多元高斯模型,用协方差矩阵自动捕获特征间的关联。

是否使用多元高斯?(回复"可以"确认,或回复"不用"退回到一元高斯)

对用户说(m ≤ n 时):

检测到特征间存在显著相关性,但样本数({m}) ≤ 特征数({n}),无法使用多元高斯。 推荐:构造组合特征 + 一元高斯。

建议构造:x_new = feat1 / feat2(或其他捕获相关性的组合)

是否接受?(回复"可以"确认,或自行指定组合方式)

两种情况只选一种,不两者都做。


步骤 5:训练模型

根据步骤 3-4 的决策:

路线 A:一元高斯

mu = X.mean(axis=0)                    # 每个特征的均值
sigma2 = X.var(axis=0)                 # 每个特征的方差
# p(x) = Π_j (1/√(2π·σ²_j)) · exp(-(x_j - μ_j)² / (2σ²_j))

路线 B:多元高斯

mu = X.mean(axis=0)                    # 均值向量 (n,)
Sigma = np.cov(X.T, bias=True)         # 协方差矩阵 (n, n)
# p(x) = 1/((2π)^(n/2)·|Σ|^(1/2)) · exp(-½(x-μ)ᵀ Σ⁻¹ (x-μ))

使用 log 空间计算避免数值下溢(高维时乘积 p(x) 可能趋近 0)。


步骤 6:推荐 ε 并询问用户

有标签数据 → F1-score 最大化

1. 在 [min(p), max(p)] 区间均匀采样 1000 个候选 ε
2. 对每个候选:算 precision, recall, F1
3. 选 F1 最大的 ε

汇报:

🎯 F1-score 最大化结果

最佳 ε = {value:.6f}(F1 = {f1:.4f})

  • 精确率 (Precision):{prec:.1%}(报警中有多少是真异常)
  • 召回率 (Recall):{rec:.1%}(真异常中有多少被检出)

F1 vs ε 曲线已生成。是否需要调整 ε? (直接回复"可以"确认,或输入新值)

无标签数据 → 分位数法

1. 计算所有训练样本的 p(x)
2. ε = 第 1% 分位数(约 1% 的数据被标为异常)

汇报:

🎯 分位数法推荐

ε = {value:.6f}(p(x) 最小的 1% 分位) 约 {m*0.01:.0f} 条样本会被标记为异常。

是否需要调整?你可以:

  • 回复"可以"使用 1%
  • 输入新比例(如 2%、0.5%)
  • 直接输入新的 ε 值

步骤 7:输出检测结果

用最终确定的 ε 运行检测:

📋 异常检测结果

指标值
模型类型{一元高斯 / 多元高斯}
ε 阈值{epsilon}({选择方法})
总样本{m}
检出异常{n_anomalies}({pct:.1%})

Top 异常样本(p(x) 最小):

序号p(x){feat1}{feat2}...
#3{p3:.2e}{val}{val}...
#17{p17:.2e}{val}{val}...
...............

异常样本 vs 正常样本的特征均值对比:

特征异常组均值正常组均值差异
............

步骤 8:生成图表

生成一张多子图大图,保存为 `{f

阅读完整来源 ↗