異常値とは

2024年7月23日

異常値とは、データセット内で他のデータポイントから大きく逸脱している値を指します。異常値は、データ分析や機械学習において重要な問題となります。なぜなら、異常値が存在すると、分析結果やモデルの性能に大きな影響を与える可能性があるためです。

異常値の原因

異常値が発生する原因は様々ですが、以下は一般的な原因の一部です：

データ入力のミス：手動でデータを入力する際に、誤って非常に大きな値や小さな値を入力してしまう場合。
測定エラー：センサーや測定器具の故障により、誤った値が記録される場合。
データの自然な変動：データの性質上、特定の条件下で異常に高いまたは低い値が発生する場合。
意図的な操作：調査対象者が意図的に極端な回答をする場合。

異常値の検出方法

異常値を検出する方法はいくつかあります。以下は一般的な手法の一部です：

視覚的な方法
- 箱ひげ図（Box Plot）：データの分布を視覚的に表示し、外れ値（アウトライアー）を確認することができます。
- 散布図（Scatter Plot）：2つの変数間の関係を視覚化し、異常に離れた点を確認することができます。
統計的な方法
- zスコア（z-score）：データポイントが平均からどれだけ離れているかを標準偏差の単位で測定し、一定の閾値を超えるものを異常値とみなします。
- IQR（四分位範囲）法：データの第1四分位数（Q1）と第3四分位数（Q3）を用いて、Q1 – 1.5 * IQR より小さい値、または Q3 + 1.5 * IQR より大きい値を異常値とみなします。
機械学習的な方法
- クラスタリング：データをクラスタリングし、どのクラスターにも属さないデータポイントを異常値とみなします。
- 異常検知アルゴリズム：Isolation ForestやOne-Class SVMなどのアルゴリズムを用いて、異常値を検出します。

異常値の確認方法

異常値を検出する具体的な例として、Pythonのpandasやnumpyライブラリを使用した方法を示します

import pandas as pd
import numpy as np

# サンプルデータの作成
data = {
'A’: [1, 2, 3, 4, 1000], # 異常値が含まれている
'B’: [2, 3, 4, 5, 6],
'C’: [1, 2, 3, 4, 5]
}

df = pd.DataFrame(data)

# zスコアによる異常値の検出
from scipy import stats
z_scores = np.abs(stats.zscore(df))
print(z_scores)

# zスコアが3以上の値を異常値とみなす
threshold = 3
print(np.where(z_scores > threshold))

# IQRによる異常値の検出
Q1 = df.quantile(0.25)
Q3 = df.quantile(0.75)
IQR = Q3 – Q1

print(IQR)

# IQRの1.5倍を超える異常値の検出
print(df[((df < (Q1 – 1.5 * IQR)) | (df > (Q3 + 1.5 * IQR))).any(axis=1)])