Выбросы, (грубые ошибки)

Вложения 4
Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 05 Ноябрь 2018

Вообще есть люди которых выбросы интересуют, для себя сделал небольшую табличку Excel, с расчётами, если найдётся желающие в новогодние праздники мог бы привести в употребляемый вид и выложить.


dats
 
 
Сообщения: 28
Стаж: 3 года 2 месяца
Поблагодарили: 5 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 07 Ноябрь 2018

Выбросы по критерию Граббса?

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 07 Ноябрь 2018

Я наверное критериев 8 пробовал, кстати в госте написано используйте критерий грабса, или другие.

Отправлено спустя 2 минуты:
И Грабс и Кохрен. Причём прям вероятность выброса рассчитываю, а не более 0,95 и 0,99


avsha
 
 
Сообщения: 141
Стаж: 2 года 6 месяцев
Поблагодарили: 20 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение avsha » 08 Ноябрь 2018

Мне интересно, ознакомился бы


ВладимирЗаляжных
Сообщения: 1
Стаж: 1 год 3 месяца

Выбросы, (грубые ошибки)

Непрочитанное сообщение ВладимирЗаляжных » 23 Апрель 2019

Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны, а именно: уровни значимости завышены в 2 раза. См. http://arhiuch.ru/lab4a.html

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Апрель 2019

ВладимирЗаляжных писал(а):
23 Апрель 2019
Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны
Табличные значения верны, именно этим и занимаюсь,
1. Мои данные полностью совпали с табличными (почти, необходимо будет всё перепроверить)
2. Я сделал файл в котором любой сможет проверить экспериментально коэффициенты которые я вычислил (способ проверки описан)

Единственная проблема у меня всё вычисляется долго для требуемой точности, делаю в excel, так вычисление для одной таблицы с критерием уходит где то месяц. Если где то ошибся ещё месяц, если перепроверяю ещё месяц. Конечно педали не кручу, запустил и пашет потихоньку. Ну и оформление нужно.

Хотелось бы спросить мнение пользователей форума вот есть Таблица 5 - Критические значения для критерия Граббса Два наибольших или два наименьших. Описание:
Проверка на два выброса
Чтобы проверить, могут ли два наибольших результата наблюдений быть выбросами, вычисляют статистику Граббса
Соответственно, чтобы проверить два наименьших результата наблюдений, вычисляют статистику Граббса

Теперь описываю что такое выбросы своими словами.
Это значения которые не принадлежат данной выборке, и появились в результате ошибки, например неправильно записали, поставили лишний ноль, не туда запятую, неправильно считал с прибора, неправильно сосчитали, некорректно измерили, сломался прибор, и.т.д и т.п. При МСИ как раз некоторые лаборатории присылают неверные данные в силу определённых причин.

Если все измерения прошли правильно вся выборка принадлежит измерению и среднеарифметическое будет наиболее близким значением к истинному. Я к тому что стоит проанализировать перепроверить перед тем одно из полученных значение отнести в выбросу.

Возвращаюсь к Проверка на два выброса Если подумать то два выброса (а так как они случайны то их значения могут быть абсолютно любыми), и ещё раз представим у нас точно два выброса. Эти значения могут быть,
1. два наименьших,
2. два наибольших,
3. одно наибольшее и одно наименьшее.
Я ещё считаю расширенное применение для критериев и пошёл по этому пути. Есть ли пользователи способные провести рецензию данного текста. Я просто не математик, и порою могу изъясняться неправильно.

Таблицу из ГОСТа и свои полученные данные прикладываю для одного выброса где по ГОСТу 5% у меня это 95(так как вычисляю вероятность выброса)
Вложения
Критерий Граббса.jpg
Критерий Граббса ГОСТ Р ИСО 5725-2-2002.jpg


retros
 
 
Сообщения: 4
Стаж: 1 год 3 месяца

Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 25 Апрель 2019

texadmin писал(а):
23 Апрель 2019
ВладимирЗаляжных писал(а): ↑23 Апрель 2019
Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны
Табличные значения верны, именно этим и занимаюсь,
Тем не менее табличные значения в ГОСТе неверны. Для одного выброса они впервые приведены в статье:
Смирнов Н.В. Оценка максимального члена в ряду наблюдений // Доклады АН СССР, 1941. – Т. 33. – № 5. – С. 346-349
Затем - работах Граббса, например:
Frank E. Grubbs, Glenn Beck. Extension of sample sizes and percent¬age points for significance tests of outlying observations // Technomet¬rics, 1972. ¬– Vol. 14. ¬– No. 4. – P.847-854.
И в этих статьях таблицы не соответствуют таблице ГОСТа. На это было указано в статье:
Б.Ю. Лемешко, С.Б.Лемешко Расширение области применения критериев типа Граббса, используемых при отбраковке аномальных измерений. - Измерительная техника. 2005. № 6
Эти авторы проверили табличные значения методом статистического моделирования (Монте-Карло, по существу) и получили то же, что у Смирнова и Граббса.
Я также многократно проверял табличные значения критерия Граббса статистическим моделированием в ЭКСЕЛЕ, и они соответствовали тому, что у Граббса и Смирнова.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 25 Апрель 2019

Файл для проверки критических значений Граббса. До n 15-17 уровень значимости соответствует ГОСТ. формулы не сложные что бы где то ошибиться. Метод Монте-Карло. Правда после по моему n - 18 вычисляемые значения действительно не соответствуют ГОСТ.
Обещать не буду но постараюсь выложить описание как все считается.
Необходимо включить макросы.
Вводите n, критическое значение (можно своё, можно из ГОСТ), количество иттераций (больше точнее, но дольше),
В жёлтом поле расчёт (в статистических таблицах это проценты).
Вложения
Граббс_1.xlsm
(35.82 КБ) 191 скачивание


retros
 
 
Сообщения: 4
Стаж: 1 год 3 месяца

Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 26 Апрель 2019

По существу, Вы использовали критерий наибольшего абсолютного отклонения, описанный. в частности, в книге Кобзаря "Прикладная математическая статистика" (стр. 547), только там в знаменателе при расчёте СКО стоит n, а у Вас n-1.
Критерий Граббса предполагает исследование на грубую ошибку только одного сомнительного значения - максимального или минимального.
Поскольку Вы и ГОСТ учитываете два значения, то отсюда и получается завышенный в два раза уровень значимости.


dats
 
 
Сообщения: 28
Стаж: 3 года 2 месяца
Поблагодарили: 5 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 23 Февраль 2020

Поздно увидел развитие этой темы про выбросы.

texadmin, я не математик, но хотел бы поправить.
Вы находите не вероятность выброса, а фактически достигаемый уровень значимости, p-level (p-значение).
p-значение - это вероятность получения значения критерия, которое вы получили при исследовании или еще большего значения критерия, при условии что нулевая гипотеза верна.

Отправлено спустя 26 минут:
По поводу различия данных в таблицах критерия Граббса.

Пробовал рассчитывать статистику критерия Граббса в Excel, но получалось очень медленно, более 100000 выборок обсчитать не реально, excel тупо виснет. А считается, что для расчета статистики критерия надо миллион выборок.

Поэтому считал в R, где -то 60-120 сек на обсчет миллиона выборок размером до 40.

В таблицах Н.В. Смирнова и Граббса критические значения статистики получены видимо при условии, что берется для проверки либо минимальное, либо максимальное значение из выборки.
Насколько это логично? Вот взяли мы для проверки, например, минимальное значение и получили, что оно выбросом не является. Ну и что? А вдруг максимальное значение отстоит от среднего значения в выборке дальше, чем проверяемое минимальное? Т.е. после проверки минимального значения необходимо проверить максимальное.

В ГОСТ Р ИСО 5725-2-2002 критические значения статистики Граббса рассчитаны исходя из того, что проверяться будет не минимальное или максимальное значение в выборке, а значение, максимально удаленное от среднего значения выборки.

Поэтому табличные значения критерия Граббса проверки выбросов в ГОСТ Р ИСО 5725-2 по существу правильные.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Февраль 2020

Я тоже не математик, жена математик, но когда я пытаюсь ей объяснить что мне надо, она ничего не понимает, говорит что я несу чушь.
dats писал(а):
23 Февраль 2020
фактически достигаемый уровень значимости,
В официальных источниках это так и называется, но если озвучить задачу которую решаем мы то мы как раз оцениваем вероятность что значение будет выбросом, вы же когда генерируете, все ваши значения входят в вашу выборку, с нормальным распределением, вы отсеиваете например 1% крайних (которые по факту не выбросы)
dats писал(а):
23 Февраль 2020
Поэтому табличные значения критерия Граббса проверки выбросов в ГОСТ Р ИСО 5725-2 по существу правильные.
Да и в иностранных источниках берётся одно максимально удалённое, и проверяется.

Мы переписывались с оппонентом, он генерирует значения, и считает с одни значением например минимальным, у него и получается в два раза меньше.

Я уже год эти таблицы кручу, компьютер работает по несколько месяцев. Есть файлы которыми генерирую, есть файлы которыми проверяю (валидация, верификация, всё как положено), всё время какая то утечка, никак не приближусь к той точности которую хочу.
Вчера опять ошибку нашел.

Вот заложил начало цикла статей, может звёзды сложатся и доделаю работу.
Почему нормальное распределение не нормальное


Не знаю насколько но вроде как быстрее должен считать, только после выполнения макроса надо включать "true"

Sub Макрос6()
'Больше не обновляем страницы после каждого действия
Application.ScreenUpdating = False

'Расчёты переводим в ручной режим, для пересчёта станицы ActiveSheet.Calculate, включаю потом в меню.
Application.Calculation = xlCalculationManual

'Отключаем события
Application.EnableEvents = False

'Не отображаем границы ячеек
If Workbooks.Count Then
ActiveWorkbook.ActiveSheet.DisplayPageBreaks = False
End If

'Отключаем статусную строку
Application.DisplayStatusBar = False

'Отключаем сообщения Excel
Application.DisplayAlerts = False


dats
 
 
Сообщения: 28
Стаж: 3 года 2 месяца
Поблагодарили: 5 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 23 Февраль 2020

Тем не менее, p-значение это не вероятность выброса, а, как я писал выше, вероятность получения значения критерия, которое вы получили при исследовании или еще большего значения критерия, при условии что нулевая гипотеза верна.

p-значение наверное как то связано с вероятностью того, выброс проверяемое значение или нет. но не равно этой вероятности.

Это Вам любой математик, знающий теорию вероятностей и мат. статистику скажет. На это обращают внимание во многих книгах по мат. статистике.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Февраль 2020

Что не говорите, p=свыше 1% например для n=30, для числа, говорит о том что если у Вас нормальное распределение, 30 значений, вы берёте (назовём его сомнительное), в сколки случаях из ста оно будет дальше этой границы. Неправильно наверное выразился при нормальном распределении и N=30, G для сомнительного значения > 3,236 в 1% случаях. (без всяких выбросав)


Геотранс
 
 
Сообщения: 12
Стаж: 1 год 10 месяцев
Поблагодарили: 2 раза

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение Геотранс » 16 Март 2020

Подскажите дилетанту, если методика измерений требует провести три измерения оптической плотности для "проверки на выбросы и дальнейшего усреднения результатов", могу ли я использовать критерий Граббса для выявления выброса. В методике не указанно об этом ничего

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 16 Март 2020

Граббса Да, самый стандартный вариант. Побольше почитайте, выброс получается только в результате ошибок, поломок. При обнаружении выброса стоит проанализировать причину появления, и если причина не установлена уже принимать решение учитывать ли значение в результатах измерения, ведь это крайнее значение может быть частью результатов измерений.
Я бы поступал так, если обнаружен выброс (при не затратных измерениях), провести ещё одно, если при 4n выброс остался, исключать. Вроде не противоречит методике.


retros
 
 
Сообщения: 4
Стаж: 1 год 3 месяца

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 25 Апрель 2020

dats писал(а):
23 Февраль 2020
В таблицах Н.В. Смирнова и Граббса критические значения статистики получены видимо при условии, что берется для проверки либо минимальное, либо максимальное значение из выборки.
Насколько это логично? Вот взяли мы для проверки, например, минимальное значение и получили, что оно выбросом не является. Ну и что? А вдруг максимальное значение отстоит от среднего значения в выборке дальше, чем проверяемое минимальное? Т.е. после проверки минимального значения необходимо проверить максимальное.
Почему бы не проверять. Никаких затруднений здесь нет. Проверка максимально удалённого значения тоже предполагает дополнительную операцию - нахождение этого максимально удалённого. В первоисточниках - Н.В.Смирнов, Граббс, предполагается расчёт по одному из крайних значений - минимальному или максимальному. То, что считают по ГОСТу, отличается от первоисточников, поэтому и название критерия следовало бы дать другое. В упомянутой книге Кобзаря так и есть, название другое - критерий наибольшего абсолютного отклонения. Не знаю, откуда этот автор взял название, ссылки нет, но, видимо, из какого-то источника.
dats писал(а):
23 Февраль 2020
Пробовал рассчитывать статистику критерия Граббса в Excel, но получалось очень медленно, более 100000 выборок обсчитать не реально, excel тупо виснет. А считается, что для расчета статистики критерия надо миллион выборок.
У меня при n = 40 считает 1 млн. выборок часа за 3. Но у меня довольно слабый компьютер. На более быстром будет считать намного быстрее. И зависаний нет.
Определять допускаемый уровень значимости, видимо, имеет смысл, если он не более 0,1. Если уровень больше 0,1, что можно увидеть по полученному расчётному значению критерия, до достаточно констатировать, что грубой ошибки нет.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 25 Апрель 2020

retros писал(а):
25 Апрель 2020
Проверка максимально удалённого значения тоже предполагает дополнительную операцию - нахождение этого максимально удалённого.
Нет, так как удалять выбросы правильнее по одному начиная с самого грубого вам так или иначе придётся считать два.
retros писал(а):
25 Апрель 2020
То, что считают по ГОСТу, отличается от первоисточников, поэтому и название критерия следовало бы дать другое.
Двухсторонний, односторонний, уже всё придумали.


retros
 
 
Сообщения: 4
Стаж: 1 год 3 месяца

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 25 Апрель 2020

Геотранс писал(а):
16 Март 2020
Подскажите дилетанту, если методика измерений требует провести три измерения оптической плотности для "проверки на выбросы и дальнейшего усреднения результатов", могу ли я использовать критерий Граббса для выявления выброса.
texadmin писал(а):
16 Март 2020
Граббса Да, самый стандартный вариант.
В приложенной статье корректность применения Граббса для 3х значений ставится под сомнение. Кроме того, можно ли считать нормальным распределение случайной величины , из которой получена выборка с n = 3?
Для 3х значений иногда делают так: отбрасывают то, которое сильнее удалено от среднего арифметического, а среднее по двум оставшимся принимают за результат.

Отправлено спустя 5 минут:
texadmin писал(а):
25 Апрель 2020
Нет, так как удалять выбросы правильнее по одному начиная с самого грубого вам так или иначе придётся считать два.
Да, два. Но не придётся искать максимально удалённое.
texadmin писал(а):
25 Апрель 2020
Двухсторонний, односторонний, уже всё придумали.
Известные критерии Шовене и Шарлье, по сути, отличаются от Граббса только уровнями значимости, но названия у них другие.
Вложения
КОРЕКТНОСТЬ ГРАББСА ПО ТРЁМ ЗНАЧ..pdf
(214.91 КБ) 135 скачиваний

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2877
Стаж: 3 года 6 месяцев
Поблагодарили: 313 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 25 Апрель 2020

1. Бесспорно чем меньше n тем больше вероятность принятия ошибочного решения (не найти реальный выброс), так некоторые проводили эксперименты подсовывая отличные от нормального распределения данные, и сравнивали критерии с небольшими n, вывод и так очевиден что бы заниматься подобным.
2. Стоит понять что такое выброс - неправильно полученные данные в результате ошибки (неправильно списали, и.т.д.), а не то на что указал критерий, критерий лишь ставит по сомнение значение, если у Вас нет поводов его исключать, исключать его не следует, это является частью измерительной информации.
3.
retros писал(а):
25 Апрель 2020
Для 3х значений иногда делают так:
Такой вариант предусмотрен в случае дорогих, или продолжительных измерений, я бы предложил в случае сомнения провести ещё одно измерение четвёртое, и если вероятность выброса вырастит, исключить.
4. Данные из статьи некорректны, рассматривается частный случай, и дискретность у них с большим шагом.

Вложения 4

Вернуться в «Метрология»