anomaly-detection
异常检测(Anomaly Detection)—— 基于高斯分布的一元/多元异常检测,纯 NumPy 实现。 当用户提到"异常检测"、"anomaly detection"、"找异常"、"离群点"、"异常值检测"、 "outlier detection"、"高斯异常检测"、"检测异常数据"、"帮我检测异常"、"异常样本"、 "找出异常的"、"哪些数据有问题"、"不正常的数据"、"反常数据"等类似场景时触发。 适用于任何"给一堆数据,想找出哪些样本不太正常"的需求。 不要手动写代码——必须调用此技能来统一处理。
muralidharsoth-tech · 已有静态检查记录
安装与使用
运行命令前先阅读来源与依赖说明。复制命令不会自动安装或执行。
npx skills add muralidharsoth-tech/andrew-ng-ml-claude-skills --skill anomaly-detection技能说明
name: anomaly-detection description: | 异常检测(Anomaly Detection)—— 基于高斯分布的一元/多元异常检测,纯 NumPy 实现。 当用户提到"异常检测"、"anomaly detection"、"找异常"、"离群点"、"异常值检测"、 "outlier detection"、"高斯异常检测"、"检测异常数据"、"帮我检测异常"、"异常样本"、 "找出异常的"、"哪些数据有问题"、"不正常的数据"、"反常数据"等类似场景时触发。 适用于任何"给一堆数据,想找出哪些样本不太正常"的需求。 不要手动写代码——必须调用此技能来统一处理。
异常检测(Anomaly Detection)
概述
基于吴恩达课程第 9 周的异常检测算法,核心原理:
- 训练阶段:假设正常数据服从高斯分布,从数据中学习分布参数(均值 μ、方差 σ²)
- 检测阶段:计算新样本的 p(x),若 p(x) < ε(阈值)则标记为异常
- 一元高斯:各特征独立建模,p(x) = Π p(x_j; μ_j, σ²_j)
- 多元高斯:用协方差矩阵 Σ 捕获特征间相关性(需 m > n)
- 所有代码使用纯 NumPy + Matplotlib,自动保存为带时间戳的
.py文件
核心规则
- 数据输入支持三种方式:粘贴数组、CSV 文件、口头描述
- 自动检验每个特征是否符合高斯分布,不符合则尝试 log/sqrt/Box-Cox 变换
- 自动检测特征间相关性,智能选择一元或多元高斯
- ε 阈值智能推荐(有标签用 F1 最大化,无标签用分位数法),推荐后可调整
- 输出包含:检测结果、
.py代码文件、.png可视化图表
交互流程
步骤 1:数据输入
请提供你的数据。支持三种方式:
A. 粘贴数组 — 直接粘贴 Python 格式的数据 B. CSV 文件 — 提供文件路径,我来读取 C. 口头描述 — 描述数据含义和范围,我来构造示例
如果有异常标签(0=正常, 1=异常),也请一并提供。
自动判断输入类型:
包含 ".csv" → CSV 文件模式
包含 "[[", "np.array", "X =" 等 → 数组粘贴模式
包含 "大概", "模拟", "比如" 等 → 口头描述模式
模式 A:粘贴数组
请粘贴你的数据。格式示例:
# 多特征数据: x1: [14.2, 13.8, 14.5, 25.0, 13.9] x2: [2.8, 2.9, 3.0, 8.5, 2.7] # 或二维数组: [[14.2, 2.8], [13.8, 2.9], [14.5, 3.0], [25.0, 8.5], [13.9, 2.7]]如果有标签:
y: [0, 0, 0, 1, 0](0=正常, 1=异常)还需提供:每个特征的名字(用于图表标注)、检测主题(用于图表标题)
提取:X_raw(m×n 数组)、y_raw(可选,0/1 数组)、feature_names、title_topic
模式 B:CSV 文件
请提供 CSV 文件路径。
- 文件要求:每行一条样本,每列一个特征
- 如果有标签列,请告知列名或列索引
读取逻辑:先尝试 UTF-8,失败则尝试 GBK,再失败尝试 latin-1。自动跳过非数值列。
模式 C:口头描述
请描述你的数据:
- 有多少个特征?每个特征代表什么?值范围大概多少?
- 异常样本大概长什么样?
- 大概有多少条数据?
根据描述用 np.random.seed(42) 生成模拟数据并打印,让用户确认。
步骤 2:数据初探确认
解析完成后,打印数据摘要,确认无误再继续:
📊 数据概览
指标 值 样本数 (m) {m} 特征数 (n) {n} 有标签 {是/否} 特征名 {feature_names}
特征 均值 标准差 最小值 最大值 {name1} {mean1} {std1} {min1} {max1} ... ... ... ... ... 数据看起来正确吗?(回复"可以"继续,或指出问题)
同时做数据健康检查:
| 检查项 | 处理 |
|---|---|
| m < 10 | ⚠️ 警告样本太少,高斯估计不可靠 |
| 某特征方差 ≈ 0 | ⚠️ 建议删掉该特征(无区分度) |
| n > m | ⚠️ 提示后续只能走一元高斯路线 |
步骤 3:高斯分布检验
对每个特征逐一检测:
检测方法(在生成的 .py 中实现):
- 计算偏度 (skewness):衡量对称性,0 = 完全对称
- 计算峰度 (kurtosis):衡量尾部厚度,3 = 标准正态
- 绘制 Q-Q 图(理论分位数 vs 实际分位数)
- 绘制直方图 + 正态曲线叠加
判断标准:
|skewness| < 1 且 Q-Q 图大致呈直线 → ✅ 符合高斯
|skewness| >= 1 或 Q-Q 图明显偏离 → ❌ 不符合,需要变换
汇报结果:
🔍 高斯分布检验结果
特征 偏度 峰度 Q-Q图 判断 {name1} 0.32 2.95 直线 ✅ 符合 {name2} 2.50 8.12 弯曲 ❌ 不符合
当有特征不符合时——执行变换
按顺序尝试,任一方法使 |skewness| < 1 即停止:
右偏(偏度 > 0,长尾在右边):
1. log(x + offset) — offset 使所有值为正的最小常数
2. sqrt(x + offset) — 比 log 温和
3. Box-Cox — (x^λ - 1) / λ,自动搜索最优 λ
左偏(偏度 < 0,长尾在左边):
1. x² — 平方拉伸左侧
2. exp(x / c) — 指数拉伸
3. Box-Cox — 同上
三种都失败 → ⚠️ 警告 + 继续运行 + 详细记录到 references/gaussian-transform.md
对用户说:
特征
{name}不符合高斯分布(偏度={skew:.2f})。 建议:{推荐变换方法},预期偏度可降至 {estimated_skew}。选项:
- A. 按推荐变换(推荐)
- B. 尝试其他变换
- C. 不变换(结果可能不准)
变换完成后汇报:
✅ 变换完成!偏度变化:
{name}:{before} → {after}({method}变换)
将变换细节写入 references/gaussian-transform.md。
步骤 4:特征相关性分析
计算相关系数矩阵 np.corrcoef(X.T),汇报:
📈 特征相关性矩阵
feat1 feat2 feat3 feat1 1.00 0.12 -0.85 feat2 0.12 1.00 0.08 feat3 -0.85 0.08 1.00 检测到:feat1 与 feat3 显著负相关 (r=-0.85)
决策分支
任意 |r| > 0.6 ?
├── 否 → 无显著相关 → 使用【一元高斯】
│
└── 是 → 进入 m vs n 判断:
├── m > n → 推荐【多元高斯】
│ 原因:Σ 可逆(不会奇异),自动捕获相关性
│ 写入 references/multivariate-gaussian.md
│
└── m ≤ n → 强制【一元高斯 + 构造组合特征】
原因:Σ 奇异不可逆,多元高斯不可用
写入 references/feature-engineering.md
对用户说(m > n 时):
检测到特征间存在显著相关性,且样本数({m}) > 特征数({n})。 推荐:多元高斯模型,用协方差矩阵自动捕获特征间的关联。
是否使用多元高斯?(回复"可以"确认,或回复"不用"退回到一元高斯)
对用户说(m ≤ n 时):
检测到特征间存在显著相关性,但样本数({m}) ≤ 特征数({n}),无法使用多元高斯。 推荐:构造组合特征 + 一元高斯。
建议构造:
x_new = feat1 / feat2(或其他捕获相关性的组合)是否接受?(回复"可以"确认,或自行指定组合方式)
两种情况只选一种,不两者都做。
步骤 5:训练模型
根据步骤 3-4 的决策:
路线 A:一元高斯
mu = X.mean(axis=0) # 每个特征的均值
sigma2 = X.var(axis=0) # 每个特征的方差
# p(x) = Π_j (1/√(2π·σ²_j)) · exp(-(x_j - μ_j)² / (2σ²_j))
路线 B:多元高斯
mu = X.mean(axis=0) # 均值向量 (n,)
Sigma = np.cov(X.T, bias=True) # 协方差矩阵 (n, n)
# p(x) = 1/((2π)^(n/2)·|Σ|^(1/2)) · exp(-½(x-μ)ᵀ Σ⁻¹ (x-μ))
使用 log 空间计算避免数值下溢(高维时乘积 p(x) 可能趋近 0)。
步骤 6:推荐 ε 并询问用户
有标签数据 → F1-score 最大化
1. 在 [min(p), max(p)] 区间均匀采样 1000 个候选 ε
2. 对每个候选:算 precision, recall, F1
3. 选 F1 最大的 ε
汇报:
🎯 F1-score 最大化结果
最佳 ε = {value:.6f}(F1 = {f1:.4f})
- 精确率 (Precision):{prec:.1%}(报警中有多少是真异常)
- 召回率 (Recall):{rec:.1%}(真异常中有多少被检出)
F1 vs ε 曲线已生成。是否需要调整 ε? (直接回复"可以"确认,或输入新值)
无标签数据 → 分位数法
1. 计算所有训练样本的 p(x)
2. ε = 第 1% 分位数(约 1% 的数据被标为异常)
汇报:
🎯 分位数法推荐
ε = {value:.6f}(p(x) 最小的 1% 分位) 约 {m*0.01:.0f} 条样本会被标记为异常。
是否需要调整?你可以:
- 回复"可以"使用 1%
- 输入新比例(如
2%、0.5%)- 直接输入新的 ε 值
步骤 7:输出检测结果
用最终确定的 ε 运行检测:
📋 异常检测结果
指标 值 模型类型 {一元高斯 / 多元高斯} ε 阈值 {epsilon}({选择方法}) 总样本 {m} 检出异常 {n_anomalies}({pct:.1%}) Top 异常样本(p(x) 最小):
序号 p(x) {feat1} {feat2} ... #3 {p3:.2e} {val} {val} ... #17 {p17:.2e} {val} {val} ... ... ... ... ... ... 异常样本 vs 正常样本的特征均值对比:
特征 异常组均值 正常组均值 差异 ... ... ... ...
步骤 8:生成图表
生成一张多子图大图,保存为 `{f
阅读完整来源 ↗