目标
少量极端值拉偏均值并让本应反映典型行为的看板失真。本配方计算 Q1 与 Q3 得到 IQR,再按 1.5 倍 IQR 计算上下界并标记越界行,随后报告被标记的数量与边界,使你在处理前先了解影响范围;提醒离群值可能是值得关注的信号,删除前应复核。
步骤要点
- 计算 Q1、Q3 与 IQR 得到上下界。
- 按 1.5 倍 IQR 标记越界行。
- 报告被标记数量与边界。
- 删除前复核被标记行是否为真实信号。
import pandas as pd
q1, q3 = df['latency'].quantile([0.25, 0.75])
iqr = q3 - q1
low, high = q1 - 1.5 * iqr, q3 + 1.5 * iqr
df['outlier'] = (df['latency'] < low) | (df['latency'] > high)
排错提示
- 偏态数据会标记过多,可放宽倍数或用 MAD。
- 离群值可能是合法数据,需复核。
- 不处理多变量离群。
适用边界
- 假设分布大致对称。
- 只标记不自动删除。