← 中文资源

简体中文版本

用四分位距检测离群值

用四分位距在离群值扭曲聚合与模型训练前标记它们。

阅读英文原文

目标

少量极端值拉偏均值并让本应反映典型行为的看板失真。本配方计算 Q1 与 Q3 得到 IQR,再按 1.5 倍 IQR 计算上下界并标记越界行,随后报告被标记的数量与边界,使你在处理前先了解影响范围;提醒离群值可能是值得关注的信号,删除前应复核。

步骤要点

  1. 计算 Q1、Q3 与 IQR 得到上下界。
  2. 按 1.5 倍 IQR 标记越界行。
  3. 报告被标记数量与边界。
  4. 删除前复核被标记行是否为真实信号。
import pandas as pd
q1, q3 = df['latency'].quantile([0.25, 0.75])
iqr = q3 - q1
low, high = q1 - 1.5 * iqr, q3 + 1.5 * iqr
df['outlier'] = (df['latency'] < low) | (df['latency'] > high)

排错提示

  • 偏态数据会标记过多,可放宽倍数或用 MAD。
  • 离群值可能是合法数据,需复核。
  • 不处理多变量离群。

适用边界

  • 假设分布大致对称。
  • 只标记不自动删除。