Как найти аномальные значения в выборке

Чтобы понять, как найти аномальные значения в выборке, используют статистические методы выявления выбросов. При нормальном распределении применяют критерий трех сигм или Z-оценку, где выбросами считают элементы вне интервала $\mu \pm 3\sigma$. Если распределение отличается от нормального, используют межквартильный размах IQR = Q_3 - Q_1.

Значения за пределами отрезка [$Q_1 - 1.5 \cdot IQR, Q_3 + 1.5 \cdot IQR$] признаются выбросами и требуют проверки или удаления.

$[Q_1 - 1.5 \cdot IQR, Q_3 + 1.5 \cdot IQR]$

Разбор по случаям

Примеры

Метод межквартильного размаха. Дана выборка с $Q_1 = 10$ и $Q_3 = 20$. Сначала вычисляем межквартильный размах: $IQR = 20 - 10 = 10$. Затем определяем допустимый диапазон: нижняя граница равна $10 - 1.5 \cdot 10 = -5$, а верхняя граница составляет $20 + 1.5 \cdot 10 = 35$. Если в наборе данных присутствует число $40$, оно выходит за пределы отрезка $[-5, 35]$. Следовательно, число $40$ — это аномальные значения в выборке.

Правило трех сигм. В нормальной выборке среднее значение равенство $\mu = 50$, а стандартное отклонение $\sigma = 5$. Найдем допустимый интервал по правилу трех сигм: нижняя граница $50 - 3 \cdot 5 = 35$, верхняя граница $50 + 3 \cdot 5 = 65$. Значение $70$ проверяется на аномальность: $|70 - 50| = 20$, что больше $15$ ($3\sigma$). Значит, число $70$ является выбросом и его нужно исключить.

Частые ошибки

• Удаление всех нестандартных значений без предварительного анализа причин их возникновения в данных.
• Применение правила трех сигм к выборкам с сильной асимметрией или некорректным распределением.
• Расчет среднего арифметического и отклонения вместе с выбросами, что искажает сами границы поиска.

Коротко

Ответ на вопрос, как найти аномальные значения в выборке, заключается в выборе подходящего математического критерия под тип распределения. Метод $IQR$ и Z-оценка помогают быстро очистить массив данных от искажающих результат наблюдений.