Выбросы, (грубые ошибки)

Вложения 3
Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 05 Ноябрь 2018

Вообще есть люди которых выбросы интересуют, для себя сделал небольшую табличку Excel, с расчётами, если найдётся желающие в новогодние праздники мог бы привести в употребляемый вид и выложить.


dats
 
 
Сообщения: 28
Зарегистрирован: 04 июн 2017
Поблагодарили: 5 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 07 Ноябрь 2018

Выбросы по критерию Граббса?

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 07 Ноябрь 2018

Я наверное критериев 8 пробовал, кстати в госте написано используйте критерий грабса, или другие.

Отправлено спустя 2 минуты:
И Грабс и Кохрен. Причём прям вероятность выброса рассчитываю, а не более 0,95 и 0,99


avsha
 
 
Сообщения: 146
Зарегистрирован: 12 фев 2018
Поблагодарили: 21 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение avsha » 08 Ноябрь 2018

Мне интересно, ознакомился бы


ВладимирЗаляжных
Сообщения: 1
Зарегистрирован: 23 апр 2019

Выбросы, (грубые ошибки)

Непрочитанное сообщение ВладимирЗаляжных » 23 Апрель 2019

Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны, а именно: уровни значимости завышены в 2 раза. См. http://arhiuch.ru/lab4a.html

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Апрель 2019

ВладимирЗаляжных писал(а):
23 Апрель 2019
Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны
Табличные значения верны, именно этим и занимаюсь,
1. Мои данные полностью совпали с табличными (почти, необходимо будет всё перепроверить)
2. Я сделал файл в котором любой сможет проверить экспериментально коэффициенты которые я вычислил (способ проверки описан)

Единственная проблема у меня всё вычисляется долго для требуемой точности, делаю в excel, так вычисление для одной таблицы с критерием уходит где то месяц. Если где то ошибся ещё месяц, если перепроверяю ещё месяц. Конечно педали не кручу, запустил и пашет потихоньку. Ну и оформление нужно.

Хотелось бы спросить мнение пользователей форума вот есть Таблица 5 - Критические значения для критерия Граббса Два наибольших или два наименьших. Описание:
Проверка на два выброса
Чтобы проверить, могут ли два наибольших результата наблюдений быть выбросами, вычисляют статистику Граббса
Соответственно, чтобы проверить два наименьших результата наблюдений, вычисляют статистику Граббса

Теперь описываю что такое выбросы своими словами.
Это значения которые не принадлежат данной выборке, и появились в результате ошибки, например неправильно записали, поставили лишний ноль, не туда запятую, неправильно считал с прибора, неправильно сосчитали, некорректно измерили, сломался прибор, и.т.д и т.п. При МСИ как раз некоторые лаборатории присылают неверные данные в силу определённых причин.

Если все измерения прошли правильно вся выборка принадлежит измерению и среднеарифметическое будет наиболее близким значением к истинному. Я к тому что стоит проанализировать перепроверить перед тем одно из полученных значение отнести в выбросу.

Возвращаюсь к Проверка на два выброса Если подумать то два выброса (а так как они случайны то их значения могут быть абсолютно любыми), и ещё раз представим у нас точно два выброса. Эти значения могут быть,
1. два наименьших,
2. два наибольших,
3. одно наибольшее и одно наименьшее.
Я ещё считаю расширенное применение для критериев и пошёл по этому пути. Есть ли пользователи способные провести рецензию данного текста. Я просто не математик, и порою могу изъясняться неправильно.

Таблицу из ГОСТа и свои полученные данные прикладываю для одного выброса где по ГОСТу 5% у меня это 95(так как вычисляю вероятность выброса)
Вложения
Критерий Граббса.jpg
Критерий Граббса ГОСТ Р ИСО 5725-2-2002.jpg


retros
 
 
Сообщения: 2
Зарегистрирован: 25 апр 2019

Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 25 Апрель 2019

texadmin писал(а):
23 Апрель 2019
ВладимирЗаляжных писал(а): ↑23 Апрель 2019
Табличные значения критерия Граббса в ГОСТ Р ИСО 5725-2-2002 и ГОСТ Р 8-736-2011 неверны
Табличные значения верны, именно этим и занимаюсь,
Тем не менее табличные значения в ГОСТе неверны. Для одного выброса они впервые приведены в статье:
Смирнов Н.В. Оценка максимального члена в ряду наблюдений // Доклады АН СССР, 1941. – Т. 33. – № 5. – С. 346-349
Затем - работах Граббса, например:
Frank E. Grubbs, Glenn Beck. Extension of sample sizes and percent¬age points for significance tests of outlying observations // Technomet¬rics, 1972. ¬– Vol. 14. ¬– No. 4. – P.847-854.
И в этих статьях таблицы не соответствуют таблице ГОСТа. На это было указано в статье:
Б.Ю. Лемешко, С.Б.Лемешко Расширение области применения критериев типа Граббса, используемых при отбраковке аномальных измерений. - Измерительная техника. 2005. № 6
Эти авторы проверили табличные значения методом статистического моделирования (Монте-Карло, по существу) и получили то же, что у Смирнова и Граббса.
Я также многократно проверял табличные значения критерия Граббса статистическим моделированием в ЭКСЕЛЕ, и они соответствовали тому, что у Граббса и Смирнова.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 25 Апрель 2019

Файл для проверки критических значений Граббса. До n 15-17 уровень значимости соответствует ГОСТ. формулы не сложные что бы где то ошибиться. Метод Монте-Карло. Правда после по моему n - 18 вычисляемые значения действительно не соответствуют ГОСТ.
Обещать не буду но постараюсь выложить описание как все считается.
Необходимо включить макросы.
Вводите n, критическое значение (можно своё, можно из ГОСТ), количество иттераций (больше точнее, но дольше),
В жёлтом поле расчёт (в статистических таблицах это проценты).
Вложения
Граббс_1.xlsm
(35.82 КБ) 130 скачиваний


retros
 
 
Сообщения: 2
Зарегистрирован: 25 апр 2019

Выбросы, (грубые ошибки)

Непрочитанное сообщение retros » 26 Апрель 2019

По существу, Вы использовали критерий наибольшего абсолютного отклонения, описанный. в частности, в книге Кобзаря "Прикладная математическая статистика" (стр. 547), только там в знаменателе при расчёте СКО стоит n, а у Вас n-1.
Критерий Граббса предполагает исследование на грубую ошибку только одного сомнительного значения - максимального или минимального.
Поскольку Вы и ГОСТ учитываете два значения, то отсюда и получается завышенный в два раза уровень значимости.


dats
 
 
Сообщения: 28
Зарегистрирован: 04 июн 2017
Поблагодарили: 5 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 23 Февраль 2020

Поздно увидел развитие этой темы про выбросы.

texadmin, я не математик, но хотел бы поправить.
Вы находите не вероятность выброса, а фактически достигаемый уровень значимости, p-level (p-значение).
p-значение - это вероятность получения значения критерия, которое вы получили при исследовании или еще большего значения критерия, при условии что нулевая гипотеза верна.

Отправлено спустя 26 минут:
По поводу различия данных в таблицах критерия Граббса.

Пробовал рассчитывать статистику критерия Граббса в Excel, но получалось очень медленно, более 100000 выборок обсчитать не реально, excel тупо виснет. А считается, что для расчета статистики критерия надо миллион выборок.

Поэтому считал в R, где -то 60-120 сек на обсчет миллиона выборок размером до 40.

В таблицах Н.В. Смирнова и Граббса критические значения статистики получены видимо при условии, что берется для проверки либо минимальное, либо максимальное значение из выборки.
Насколько это логично? Вот взяли мы для проверки, например, минимальное значение и получили, что оно выбросом не является. Ну и что? А вдруг максимальное значение отстоит от среднего значения в выборке дальше, чем проверяемое минимальное? Т.е. после проверки минимального значения необходимо проверить максимальное.

В ГОСТ Р ИСО 5725-2-2002 критические значения статистики Граббса рассчитаны исходя из того, что проверяться будет не минимальное или максимальное значение в выборке, а значение, максимально удаленное от среднего значения выборки.

Поэтому табличные значения критерия Граббса проверки выбросов в ГОСТ Р ИСО 5725-2 по существу правильные.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Февраль 2020

Я тоже не математик, жена математик, но когда я пытаюсь ей объяснить что мне надо, она ничего не понимает, говорит что я несу чушь.
dats писал(а):
23 Февраль 2020
фактически достигаемый уровень значимости,
В официальных источниках это так и называется, но если озвучить задачу которую решаем мы то мы как раз оцениваем вероятность что значение будет выбросом, вы же когда генерируете, все ваши значения входят в вашу выборку, с нормальным распределением, вы отсеиваете например 1% крайних (которые по факту не выбросы)
dats писал(а):
23 Февраль 2020
Поэтому табличные значения критерия Граббса проверки выбросов в ГОСТ Р ИСО 5725-2 по существу правильные.
Да и в иностранных источниках берётся одно максимально удалённое, и проверяется.

Мы переписывались с оппонентом, он генерирует значения, и считает с одни значением например минимальным, у него и получается в два раза меньше.

Я уже год эти таблицы кручу, компьютер работает по несколько месяцев. Есть файлы которыми генерирую, есть файлы которыми проверяю (валидация, верификация, всё как положено), всё время какая то утечка, никак не приближусь к той точности которую хочу.
Вчера опять ошибку нашел.

Вот заложил начало цикла статей, может звёзды сложатся и доделаю работу.
Почему нормальное распределение не нормальное


Не знаю насколько но вроде как быстрее должен считать, только после выполнения макроса надо включать "true"

Sub Макрос6()
'Больше не обновляем страницы после каждого действия
Application.ScreenUpdating = False

'Расчёты переводим в ручной режим, для пересчёта станицы ActiveSheet.Calculate, включаю потом в меню.
Application.Calculation = xlCalculationManual

'Отключаем события
Application.EnableEvents = False

'Не отображаем границы ячеек
If Workbooks.Count Then
ActiveWorkbook.ActiveSheet.DisplayPageBreaks = False
End If

'Отключаем статусную строку
Application.DisplayStatusBar = False

'Отключаем сообщения Excel
Application.DisplayAlerts = False


dats
 
 
Сообщения: 28
Зарегистрирован: 04 июн 2017
Поблагодарили: 5 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение dats » 23 Февраль 2020

Тем не менее, p-значение это не вероятность выброса, а, как я писал выше, вероятность получения значения критерия, которое вы получили при исследовании или еще большего значения критерия, при условии что нулевая гипотеза верна.

p-значение наверное как то связано с вероятностью того, выброс проверяемое значение или нет. но не равно этой вероятности.

Это Вам любой математик, знающий теорию вероятностей и мат. статистику скажет. На это обращают внимание во многих книгах по мат. статистике.

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 23 Февраль 2020

Что не говорите, p=свыше 1% например для n=30, для числа, говорит о том что если у Вас нормальное распределение, 30 значений, вы берёте (назовём его сомнительное), в сколки случаях из ста оно будет дальше этой границы. Неправильно наверное выразился при нормальном распределении и N=30, G для сомнительного значения > 3,236 в 1% случаях. (без всяких выбросав)


Геотранс
 
 
Сообщения: 11
Зарегистрирован: 05 окт 2018
Поблагодарили: 2 раза

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение Геотранс » 16 Март 2020

Подскажите дилетанту, если методика измерений требует провести три измерения оптической плотности для "проверки на выбросы и дальнейшего усреднения результатов", могу ли я использовать критерий Граббса для выявления выброса. В методике не указанно об этом ничего

Аватара пользователя

Автор темы
texadmin
Администратор
Сообщения: 2616
Зарегистрирован: 19 янв 2017
Поблагодарили: 257 раз

Re: Выбросы, (грубые ошибки)

Непрочитанное сообщение texadmin » 16 Март 2020

Граббса Да, самый стандартный вариант. Побольше почитайте, выброс получается только в результате ошибок, поломок. При обнаружении выброса стоит проанализировать причину появления, и если причина не установлена уже принимать решение учитывать ли значение в результатах измерения, ведь это крайнее значение может быть частью результатов измерений.
Я бы поступал так, если обнаружен выброс (при не затратных измерениях), провести ещё одно, если при 4n выброс остался, исключать. Вроде не противоречит методике.

Вложения 3

Вернуться в «Измерения, испытания, методики»