Критерий Рябкова первого порядка R1

Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Критерий Рябкова первого порядка R1

Непрочитанное сообщение texadmin »

Критерий Рябкова первого порядка (R1) статистический тест, применяется для оценки на грубые ошибки (выбросы) сомнительного значения выборки в одномерном наборе данных, имеющей нормальное распределение.
Вычисляют критерии Рябкова первого порядка предполагая, что наибольший или наименьший результат измерений вызван грубыми ошибками.
Сравнивают наименьшее R1min и R1max с критическим значением критерия при выбранном p-value.
Расчётное значение критерия R1 определяют по формуле:
Поиск R1 мин.png
для минимального числа

Поиск R1 макс.png
Поиск R1 макс.png (9.41 КБ) 109 просмотров
для максимального числа
Если, R1расчётное<R1табличное то значение считают выбросом.
При исключении выброса, за одну иттерацию следует удалять одно значение с наименьшим R1расчётное. Затем критические значения для нового набора данных пересчитывают.

Критические значения для R1
► Показать
Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Критерий Рябкова первого порядка R1

Непрочитанное сообщение texadmin »

Зарезервированно
Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Исследование критерия R1

Непрочитанное сообщение texadmin »

Определения:
1. Точность обнаружения — количество ошибок первого рода, количество ошибок второго рода, для разных критериев можно выбрать одинаковое. Но если к выборкам намеренно добавлять выбросы, процент их обнаружения у разных критериев будет различаться. Не существует единого подхода к оценке эффективности критериев. Конкретно для этой статьи мы будем использовать термин «точность обнаружения», как субъективная оценка критерия на основе полученных данных (графиков).
2. Правило трёх сигм заключается в том, что при нормальном распределении практически все значения величины с вероятностью 0,9973 лежат не далее трёх сигм в любую сторону от математического ожидания, то есть находятся в диапазоне [μ−3σ;μ+3σ]
3. Выборка— множество случаев (испытуемых, объектов, событий, образцов), с помощью определённой процедуры выбранных из генеральной совокупности для участия в исследовании.
Выборку можно описать некоторыми статистиками, среднее, медиана, мода, стандартное отклонение, размах, и. т. д.
Искажения нормального распределения по-разному влияют на разные описательные статистики.
4. Критерий Граббса находит выбросы по оценке соотношения стандартного отклонения (или дисперсий, кому как удобнее) с проверяемым значением и без него.
5. Стандартное отклонение — наиболее распространённый показатель рассеивания значений случайной величины относительно её математического ожидания
6. Среднее абсолютное отклонение (АAD) — является мерой статистической дисперсии. АAD — это надёжная статистика, более устойчивая к выбросам в наборе данных чем стандартное отклонение (не значит, что лучше). В стандартном отклонении расстояния от среднего возводятся в квадрат, поэтому большие отклонения имеют больший вес, и поэтому выбросы могут сильно на него влиять. В общем виде центральной точкой может быть среднее (АAD), медиана (MAD).
Утверждения:
1. Проверять необходимо число с наибольшим критическим значением.
2. p-value Процент ложного обнаружения.
3. Ссылка на авторитет не является доказательством.
4. Нет смысла тестировать критерии на распределениях отличных от нормального, а потом сравнивать полученные результаты, т. к. для практического применения в этом нет смысла. При этом не отрицается возможность намеренного искажения нормального распределения для оценки критериев.

Здесь мы рассмотрели критерий Граббса. В этой статье будет рассмотрен альтернативные способы проверки на выбросы.
Критериев существует огромное количество, порядка 30
Например: Метод Ирвина, Критерий Стьюдента, Критерий наибольшего абсолютного отклонения, Критерий максимального относительного отклонения, Критерий Романовского, Метод вариационного размаха, Критерий 3 Сигм, Критерий Райта, Критерий Граббса, Q-критерий (Диксона), Критерий Львовского, Критерий Шовене, Критерий Дэвида, Критерий Хоглина-Иглевича, L-критерий (Критерий Титьена-Мура), Критерий Смоляка-Титаренко, Критерий Бродского-Быцаня-Власенко. Критерий Кимбера.
Описание некоторых, корыте могут заслуживать внимание.
Критерий 3 Сигм
— К данному критерию у меня претензий, нет, грубость при небольшом количестве данных, компенсируется упрощением.
Горячо любимый, и воспетый критерий Диксона.
— Реализация, на ПК, вызывает небольшие затруднения, с этими «X3-X1»
— Критические значения только до 30n
— Критерий Диксона теряет часть информации о выборке (большая часть значений просто не учитывается).
— Скачкообразное изменение свойств (для разных n формулы могут быть разные).
— Использует для вычислений критического значения числа с большим разбросом (числа ближе к минимальному и максимальному имеют больший разброс, чем числа, которые ближе к среднему значению).
— Попытки использовать критерий Диксона в качестве альтернативы критерию Граббса не увенчались успехом.
Пример вариантов результата при добавлении к выборке числа 4σ:
а) Критерий Граббса обнаружил выброс, критерий Диксона обнаружил Выброс.
б) Критерий Граббса обнаружил выброс, критерий Диксона не обнаружил Выброс.
г). Практически отсутствует вариант — Критерий Граббса не обнаружил выброс, критерий Диксона обнаружил Выброс.
— Критические значения рассчитаны для одностороннего критерия, что уже в большинстве случаев приведёт к неправильному использованию и выводам.
Метод Ирвина
— Я бы его охарактеризовал как смесь критерия Диксона, и критерия Граббса. Зачем нам половинчатые меры? Первый забраковали, второй уже есть.
Критерий Стьюдента, и разные вариации.
— Критерий может составить конкуренцию критерию Граббcа. Любое p-value, любое n, без статистических таблиц. Результаты обоих критериев должны быть похоже, т. к. работают с одинаковыми свойствами нормального распределения.
Критерии, которые используют медиану.
— Возможно, мы их, когда ни будь рассмотрим.
Остальные критерии откровенно бесполезны.
Причины:
— Сомнительные критические значения. Стоить только вспомнить многолетний спор про неправильные коэффициенты Граббса, да работы которые основаны на неправильных выводах предыдущих работ.
— Повторяют Критерий Граббса, или Диксона в разных вариациях.
— Не подвергались анализу.
— Наверное самое главное, практический все вариации друг друга, используют либо нормальное распределение, либо разность крайних значений. Это должно приводить к одинаковым результатам (если критические значения посчитаны правильно). В итоге никаких альтернативных данных мы не получим, а вот ошибочные выводы вполне вероятно.

Повествование.
В практике не всегда, а скорее никогда, идеального нормального распределения не будет, помимо этого, бывают редкие события. Всё это по-разному может повлиять на описательные статистики, которые используют критерии, и в итоге может привести к неверным выводам.
Для подтверждения своих выводов можно использовать арбитражные методы, вычисляющие через другие свойства нормального распределения.
Для обнаружения выбросов рассмотрим критерий Рябкова первого порядка (R1), основанного на среднем абсолютном отклонении.
Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Сравним критерии.

Непрочитанное сообщение texadmin »

С помощью генератора случайных чисел получим массивы данных, содержащие несколько тысяч выборок n= 7; n= 20; n=59 с нормальным законом распределения, заранее заданными средними величинами и дисперсиями.
Добавляем к каждой выборке значение из диапазона от 0σ до 6σ (можно от 0σ до −6σ), где σ — это среднеквадратичное отклонение (это будет выброс, значение не принадлежит выборке), назовём его «промах». Итоговое кол-во в выборках будет n= 8; n= 21; n=60

Исследуем каждую выборку на наличие выбросов и промахов. Исследование будем проводить для минимального и максимального числа, при p-value = 0,01 (граница на которой необходимо принимать решение об исключении значения). Оценивать будем число с наибольшим критическим значением (это будет наибольшее, или наименьшее значение).
Построим графики 1.
По оси X на графике располагаются значения величины i из выражения iσ (добавленное значение 0σ-6σ),
По оси Y
1. Процент обнаружения выброса «промаха». (промах был определён как выброс), положительный результат (выброс обнаружен).
2. Чёрная линия процент одинаковых результатов для обоих критериев «корреляция» (оба критерия выброс обнаружили, оба критерия выброс не обнаружили). С одной стороны если критерии будут выдавать максимально близкие результаты, смысл их параллельного использования пропадает. С другой результаты абсолютно отличные от результатов критерия Граббса, будут иметь максимум ошибок.
График 2
3. Процент чисел, определенных как выброс, но не являющихся «промахом», ложноположительный результат (ошибка). По факту — это две ошибки, ошибка первого и второго рода, так как реальный выброс мы не обнаружили..
Под графиками даны дополнительные данные.

-Красная линия, критерий Граббса
-Оранжевая линия Критерий R1
-Синяя штрихпунктирная, результаты обоих критериев с логической операцией или. Например: критерий Граббса обнаружил выброс, или критерий R1обнаружил выброс. Для графика 2 Ошибка первого и второго рода у критерия Граббса или критерия R1
-Зелёная штрихпунктирная, результаты обоих критериев с логической операцией и. Например: критерий Граббса обнаружил выброс, и критерий R1 обнаружил выброс. Для графика 2 Ошибка первого и второго рода у критерия Граббса и критерия R1
-Чёрная линия процент одинаковых результатов для обоих критериев
Сравнение критерий Граббса Рябкова 8n.jpg
Результаты для n = 8
99% промахов будет обнаружено: для критерия Граббса при ≈μ+10,3σ, для критерия R1 при ≈ μ+11,7σ
Без добавленного промаха процент ошибок с логической операцией "или" 1,32%, с логической операцией "и" 0,68%, корреляция 99,3%


Сравнение критерий Граббса Рябкова 21n.jpg
Результаты для n = 21
99% промахов будет обнаружено: для критерия Граббса при ≈μ+6σ, для критерия R1 при ≈μ+7,2σ
Без добавленного промаха процент ошибок с логической операцией "или" 1,45%, с логической операцией "и" 0,55%, корреляция 99,1%


Сравнение критерий Граббса Рябкова 60n.jpg
Результаты для n = 60
99% промахов будет обнаружено: для критерия Граббса при ≈μ+5σ, для критерия R1 при ≈ μ+5,6σ
Без добавленного промаха процент ошибок с логической операцией "или" 1,40%, с логической операцией "и" 0,60%, корреляция 99,2%

Из графиков видно что чаще промахи удаётся обнаружить когда мы используем вариант (или) один из критериев обнаружил выброс, (что и логично), при этом при количество ошибок в два раза больше чем с вариантом, оба критерия обнаружили выброс. Точность обнаружения у критерия Граббса лучше (красная линия), чем у критерия R1(оранжевая линия). Уровень ошибок у обоих критериев примерно одинаков.
Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Выводы

Непрочитанное сообщение texadmin »

1. Большинство критерии на определение выбросов бесполезны.
2. Критерий Граббса является наиболее точным критерием, исследуемым мной.
Заключение, не скажу что однозначно верное.
Поиск выбросов с использованием арбитражных методов, некоторые варианты реализации:
— Если один из критериев обнаружил выброс(вариант или), выброс следует исключить, не является оптимальным, так как увеличивается количество ложных срабатываний, при незначительном увеличении точности.
— Если оба критерия одновременно обнаружили выброс(вариант и), выброс следует исключить, может быть использован:
а) когда выбросы крайне маловероятны.
б) есть предположения о искажении нормального распределения.
в) необходимо уменьшить количество ложных срабатываний (например, большое количество исследуемых выборок, автоматическая обработка данных).
При этом точность будет немного хуже, чем у менее точного из используемого критерия, а количество ложных срабатываний в некоторых случаях будет меньше на 40%
Аватара пользователя
texadmin
Администратор
Сообщения: 3987
Стаж: 5 лет 4 месяца
Поблагодарили: 505 раз
Пол:

Сравнение критериев при n=5

Непрочитанное сообщение texadmin »

Критерий Граббса Рябкова 5n Выбросы обнаружены.jpg
Результаты для n= 5
99% промахов будет обнаружено: для критерия Граббса при ≈μ+22σ, для критерия R1 при ≈ μ+23σ
Без добавленного промаха процент ошибок с логической операцией или 1,08%, с логической операцией и 0,90%, корреляция 99,8%
В данном примере показано что чем выборка меньше, тем сложнее обнаружить выброс, любым критерием. Это не недостаток критериев — это свойство.
Точность обнаружения для обоих критериев при малом n практический одинаковая.
:оригинальный текст

Вернуться в «Статьи»