Валидация, верификация методик измерений

[texadmin]

и 17025
7.2.1.3 ....................При необходимости для применения метода должны быть разработаны дополнительные уточнения, чтобы обеспечить его непротиворечивое применение.

7.2.1.7 Отклонение от методов для всех видов лабораторной деятельности должно допускаться только тогда, когда это отклонение оформлено документально, технически обосновано, утверждено и принято заказчиком.

Примечание - Согласие заказчика на отклонения может быть заранее оговорено в договоре.

7.2.2.1 Лаборатория должна проводить валидацию нестандартных методов, методов, разработанных лабораторией, и стандартных методов, используемых за пределами их области применения или каким-либо иным образом модифицированных. Валидация должна быть настолько полной, насколько это необходимо, чтобы отвечать потребностям данного применения или области применения.

[Minaeva]

cordek, Спасибо. В случае проведения валидации, все отступления потом необходимо фиксировать в протоколе? или проведение валидации избавляет от этой необходимости? и должно ли отступление быть отражено в области аккредитации?

[cordek]

cordek, Спасибо. В случае проведения валидации, все отступления потом необходимо фиксировать в протоколе? или проведение валидации избавляет от этой необходимости? и должно ли отступление быть отражено в области аккредитации?

Здесь есть небольшая правовая колизия.
По хорошему в протоколе вы должны к данной методике дописывать "с изменениями, утверждёнными руководителем ИЛ (число, номер)", соотественно в таком же виде надо вносить в область аккредитации.
Но например в области законодательной метрологии, гостехрегулирования и обязательного подтверждения соответствия, методику необходимо ещё аттестовать, а значит присвоить ей номер в федеральном реестре, поэтому многие просто валидируют, проводят влк, и показывают экспертам. Вроде как и требования гост 17025-2019 соблюли, и аттестовывать методику не надо, поскольку эксперты по аккредитации законодательную метрологию вроде как не проверяют.

[texadmin]

эксперты по аккредитации законодательную метрологию вроде как не проверяют.

Не знаю, нас всё время этими ФРамии тыкают.
Видимо из Об утверждении методических рекомендаций по описанию области аккредитации испытательной лаборатории (центра) (с изменениями на 21 марта 2019 года).
Приложение N 5. Пример N 5 - уточнение пунктов документов (методов), фактически реализуемых в лаборатории

[cordek]

Не знаю, нас всё время этими ФРамии тыкают.
Видимо из Об утверждении методических рекомендаций по описанию области аккредитации испытательной лаборатории (центра) (с изменениями на 21 марта 2019 года).

Тыкать то это одно.
Я говорю, что если есть стандартная методика, то её в тихушку дополнить, валидировать и использовать можно. Конечно эксперт будет эти валидации проверять, и может сказать, что вам бы надо аттестовать эту методику. Но можно же и сказать, что метод используется лабораторией не в сфере гостехрегулирования и обязательной проверки соответствия.

[texadmin]

Но можно же и сказать, что метод используется лабораторией не в сфере гостехрегулирования и обязательной проверки соответствия.

Да я не спорю, в этих же рекомендациях вроде в качестве методики есть "статья из журнала"

[cordek]

Что явно не запрещено, то разрешено.

[Гость]

Добрый вечер.
Помогите пожалуйста разобраться в вопросе. В методике указаны весы с определенной погрешностью. В ИЛ используются весы с погрешностью выше. При проведении верификации методики провели оценку приемлимости по повторяемости, оценку правильности. При участии в МСИ результаты удовлетворительны. Можем ли мы работать на таких весах и при ПК будет достаточно данного материала. Или есть необходимость в приобретении СИ согласно методике?

[texadmin]

Нет, ваше оборудование не соответствует методике.
6.4.5 Оборудование, используемое для измерений, должно обеспечивать точность и/или неопределенность измерений, требуемые для обеспечения достоверного результата. Вот это что ли пришьют - уже не помню.

Есть какие то варианты с калибровкой весов, но конкретных действий не подскажу. Вероятно необходимо получить свидетельство о калибровке с необходимой неопределённостью, но как то класс весов и неопределённость соотнести надо.
Если рассматривать вариант как отклонение от методики с перечнем мероприятий, для меня сомнительно, так как пункт то всё равно нарушен.

[DigitalError]

пункт то всё равно нарушен

у нас МУ по радону были, там было требование к погрешности измерения влажности не более 2%. А имевшийся на тот момент прибор обеспечивал погрешность 3%. В акт попало несоответствие, на устранение которого дали 20 рабочих дней - мы успели (пришлось просить поставщика отсканировать все документы включая счет-фактуру и свидетельство о поверке) отчитаться об устранении, а сама посылка с прибором пришла только через неделю

[Гость]

Я правильно понимаю, что при условии верификации, указав отклонение от методики даже определив оценку влияния и доказав что на результат влияния не происходит, а так же при наличии удовлетворительных результатов участия в МСИ несоответствия не избежать?😓

[Lenore]

верификации, указав отклонение от методики даже определив оценку влияния и доказав что на результат влияния не происходит, а так же при наличии удовлетворительных результатов участия в МСИ

Комплекс вами перечисленных мер - это, по сути, валидация методики. Дальше, как cordek выше писал

Конечно эксперт будет эти валидации проверять, и может сказать, что вам бы надо аттестовать эту методику. Но можно же и сказать, что метод используется лабораторией не в сфере гостехрегулирования и обязательной проверки соответствия.

[cordek]

В методике указаны весы с определенной погрешностью. В ИЛ используются весы с погрешностью выше. При проведении верификации методики провели оценку приемлимости по повторяемости, оценку правильности

Нужно проводить валидацию. Погрешность весов влияет на неопределённость методики. Если вы посчитаете неопределенность, и она у вас будет не больше, чем по методике, то можете пользоваться такими весами.
Ну и вариант с калибровкой тоже работает. При поверке простите приложить протокол калибровки и берёте действительную погрешность. Сейчас у многих весов допустимаяпогрешность по ГОСТ составляет 5-10 единиц дискретности, а по факту погрешность может быть 1-2 единицы.

[texadmin]

Тут с вами не соглашусь, наши эксперты брали методику, что то не подходит, или нет, не можете выполнить требование методики, а надо это не надо, письма от разработчиков не важны. СОУТ вроде от этого постоянно страдают.

[cordek]

СОУТ вроде от этого постоянно страдают

В соут все методики должны быть аттестованы, простой валидацией не отделаетесь.
А с весами просто пишут в гостах кто во что горазд, кто-то погрешность, кто-то предельный вес, кто-то дискретность. Одну запятую не там поставили,а лаборатория в десять раз дороже должна весы покупать.

[Алексей23]

Добрый день. Недавно проходили аудит и эксперт проверяя методики из области аккредитации запросил, естественным образом, процедуру внедрения. Процедура внедрения или "верификации" была проведена по РМГ 76-2014 с вычислением СКО r, R, правильности и точности. Методика была, на наш взгляд, стандартизированная(не Российский ГОСТ, а забугорный AOCS), но в ней отсутствовали диапазон действия, а показатели пределов сходимости и воспроизводимости были представлены в таблице для различных матриц как дополнительная информация. Эксперт,видимо посчитав данную методику нестандартизированной и ссылаясь на п 7.6 ИСО 17025, в котором говорится о том, что "Лаборатории должны определять вклад(ы) в неопределенность измерений", сказала, что нам необходимо проводить валидацию, а не верификацию, что в моем понятии значительно шире и трудозатратнее и предусматривает проведение измерений нескольких СО во всем диапазоне методики и гораздо более сложный процесс вычисления показателей качества методики, а так же оценивать НЕОПРЕДЕЛЕННОСТЬ измерений по данной методике. И на этой почве возник еще один вопрос, не в одном ГОСТе и методике, применяемых у нас, нет показателя НЕОПРЕДЕЛЕННОСТИ, что нам теперь необходимо проводить ВАЛИДАЦИЮ абсолютно всех методов, дабы оценить НЕОПРЕДЕЛЕННОСТЬ по каждому из них.

[texadmin]

Показатели пределов сходимости и воспроизводимости были представлены в таблице для различных матриц как дополнительная информация.

На мой взгляд методика была валидированна, у Вас же даны характеристики методики, и Вы её надеюсь применяете в соответствии с назначением.
А вот если Вы не можете посчитать неопределённость, может в методике есть, может во время измерения, по мне это уже другое нарушение (хотя часть форумчан имеют другую точку зрения).

не в одном ГОСТе и методике, применяемых у нас, нет показателя НЕОПРЕДЕЛЕННОСТИ,

На этот случай есть полно НД, и руководств.

[Алексей 23]

texadmin писал(а):
> На этот случай есть полно НД, и руководств.
Если есть вариант расчета неопределенности по СКО сходимости и внутрилабораторной воспроизводимости (Sr и SR), подскажите пожалуйста как проще это сделать.

[texadmin]

Если есть вариант расчета неопределенности по СКО сходимости и внутрилабораторной воспроизводимости (Sr и SR), подскажите пожалуйста как проще это сделать.

Я Вас немного обманул.
1. Надо смотреть требования к методикам для вашей продукции, например для некоторых измерений есть требования, методика должна обеспечивать диапазон, неопределённость. В этом случае Вы должны предоставить объективные доказательства.

Если есть вариант расчета неопределенности по СКО сходимости и внутрилабораторной воспроизводимости (Sr и SR), подскажите пожалуйста как проще это сделать.

Нет необходима опорная точка с которой сравните свой результат, её можно получить либо через стандартный образец, либо через погрешность прибора (либо расчёт вклада всех величин), неопределённость методики если дана.

[Геотранс]

А если методика стандартизованная, прошла в лаборатории верификацию, внесена в область аккредитации, но нам требуется поменять одно из средств измерений (не тип, а марку), обозначенных в методике, метрологические характеристики которого лучше, то мы должны валидировать методику с учетом применения другого средства измерения? И правильно ли я понимаю, что процесс валидации неумолимо повлечет расширение области аккредитации?

[texadmin]

одно из средств измерений (не тип, а марку), обозначенных в методике,

В методике написано - средство измерения X или - средство измерения X, или диапазон не хуже, не понял вопроса?

правильно ли я понимаю, что процесс валидации неумолимо повлечет расширение области аккредитации?

Нет как в области есть методика, с границами, объектами, так и будет.

[Геотранс]

В методике: термометры стеклянные для испытаний нефтепродуктов типа ТИН 5 по ГОСТ 400, а нас термометр электронный (для испытания жидких сред). Но по метрологии (погрешность) он лучше чем ТИН 5.

[texadmin]

7.2.2 Валидация методов
7.2.2.1 Лаборатория должна проводить валидацию нестандартных методов, методов, разработанных лабораторией, и стандартных методов, используемых за пределами их области применения или каким-либо иным образом модифицированных.
Ну разочек мне кажется сравнить бы стоило.

[texadmin]

Руководство ЕВРАХИМ «Валидация аналитических методик»_2016.djvu

(3.15 МБ) 1079 скачиваний

[texadmin]

От пользователя Pussya пришёл емаил ,
Здравствуйте) отправляю вам экселевские файлы для форума. Чтобы люди если что смотрели) мб что-то полезное нашли или вдруг ошибки увидели у меня

[Жесткова]

В методике: термометры стеклянные для испытаний нефтепродуктов типа ТИН 5 по ГОСТ 400, а нас термометр электронный (для испытания жидких сред).

у нас была похожая ситуация. в методике был заявлен гигрометр с диапазонами который наш гигрометр, имеющийся в наличии, не перекрывал. При том у нашего гигрометра еще и погрешность больше чем у того, что был заявлен в методике. Написали письмо разработчику, он на официальном бланке ответ прислал что все ок, пользуйтесь тем что есть, на результат, получаемый согласно данной МИ это не повлияет. Письмо предъявили эксперту при расширении на данную методу, все прокатило, расширили без вопросов.

[Evgenia]

От пользователя Pussya пришёл емаил ,

Что-то совсем мало понятного. ОФС 1.1.0013.15 используется для статистической обработки результатов, то бишь применяется для обсчета результатов анализа. Для валидации применяется ОФС 1.1.0012.15. У вас как-то получается, что вы анализируете сам препарат, получаете 21 одно значение, берете его среднее, и смотрите попало ли оно в допустимый диапазон. Если попало, то что методика пригодна? А если не попало? Где доказательство пригодности методики в вашей ИЛ?

[Pussya]

Evgenia, извините, что не смогла донести свои мысли. Я сделала этот файл, в меру своих знаний.

Передо мной стояла задача провести не валидацию, а верификацию (Верификация аналитической методики – оценка возможности применения в лаборатории аналитической методики для определения показателей качества лекарственного средства). Я не стала вносить в этот файл данные, в которых говорилось бы о том, что у нас есть все реактивы, сотрудники, оборудование итд. И перешла к обсчету цифр)

применяется для обсчета результатов анализа

а я брала эти формулы, для расчета РАЗНЫХ серий препарата

Далее с помощью Фишера можно сравнить два метода анализа на воспроизводимость и узнать по какой формуле считать критерий стьюдента.

А Стьюдент позволяет сравнить средние результаты двух выборок (1 выборка -ИЛ, 2 выборка - Производитель).

методика пригодна

тогда, когда t-стьюдент меньше табличного значения t-критерия стьюдента

А если не попало

тогда рассчитываем доверительный интервал

Где доказательство пригодности методики в вашей ИЛ

доказательство в том, что наши результаты входят в нормы НД.

ПС: не ругайте сильно, мне одной трудно . если бы был какой-то утвержденный алгоритм ВЕ-РИ-ФИ-КА-ЦИИИИ, то я бы не мучила вас тут)

Evgenia, если будут мысли я буду рада поговорить)

[Evgenia]

Evgenia, если будут мысли я буду рада поговорить)

Я не ругаюсь ни в коем разе. Сами потратили кучу времени на изучение столь сложной темы и не могу сказать что познали Дзэн.
В данном случае, верификация - это урезанная/упрощенная валидация.
Если дадите почту, могу поделиться материалами добытыми на просторах интернета по этой теме.

[tatiana_samoilova]

Здравствуйте! Объясните, пожалуйста, как проводить верификацию КАЧЕСТВЕННЫХ методов в химической и микробиологической лабораториях? В таких методиках отсутствуют приписанные характеристики погрешности, показатели повторяемости и воспроизводимости. Как доказать, что мы правильно проводим измерения по такой методике, ведь никаких данных для расчета правильности у нас нет?

[texadmin]

У Вас образцы с известной характеристикой есть.
В случае возможности, должны можно определить специфичность, чувствительность, относительная правильность, положительное отклонение, отрицательное отклонение, предел обнаружения, эффект матрицы, повторяемость и воспроизводимость

[Гость]

texadmin писал(а):
> У Вас образцы с известной характеристикой есть.
В том-то и дело, что образцов нет!

[texadmin]

Я написал по возможности. А что нельзя пробу изготовить, могут быть нулевые пробы, МСИ?, если объективно невозможно, читайте выше как внедрит без СО

[Гузель]

Здравствуйте! Подскажите, пожалуйста, лаборатория анализирует качество сточных вод предприятия. Несколько методик,которыми пользуется лаборатория, распространяется на ОЧИЩЕННЫЕ сточные воды. Эксперт во время прохождения ПК Сказала отвалидировать методики на очищенную сточную воду, то есть доказать что эти методики применимы и для НЕОЧИЩЕННОЙ сточной воды. Необходимо разработать процедуру проведения валидации методик измерений/исследований (Инструкцию, СОП). Может быть, у кого-нибудь есть пример проведения валидации и сможет со мной поделиться? Не нашла документ, на который можно было бы опереться при проведении валидации. Везде только верификация.
Верификация-внедрение, валидация - подтверждение того,что методика применима и для других целей.

[cordek]

Не нашла документ, на который можно было бы опереться при проведении валидации

У нас у стране есть понятие "аттестация методик измерений"

[Гость]

Добрый день.
Подскажите пожалуйста.
Хотим внедрить в область Руководство по эксплуатации газоанализатора(промышленные выбросы). Как правильно оформить внедрение.

[Lenore]

Хотим внедрить в область Руководство по эксплуатации газоанализатора(промышленные выбросы). Как правильно оформить внедрение.

Руководства по эксплуатации внедряются так же, как и методики.
Оформляете те же документы, тут в теме выше формы программы, акта, протокола внедрения были, проводите тестовые испытания и все)

[texadmin]

https://youtu.be/SpyfmTlpuOE

[Гость]

Добрый день!Подскажите пожалуйста нужна ли валидация методик, по которым работаешь уже 15-20 лет.Ведь это как то странно проводить валидацию таких методик, верификацию понятно нужно. И если не нужно каким образом доказать проверяющим?

[Lenore]

Подскажите пожалуйста нужна ли валидация методик, по которым работаешь уже 15-20 лет.Ведь это как то странно проводить валидацию таких методик, верификацию понятно нужно. И если не нужно каким образом доказать проверяющим?

Валидация - для нестандартных методов, методов разработанных лабораторией и стандартных, которые используются за пределами целевой области.
Верификация - подтверждение того, что лаборатория правильно использует стандартные методики.
У вас какие методики? Стандартные или нет?

[Minaeva]

Здравствуйте!
на предприятии внедрены новые ТУ. На готовую продукцию. В них приведен новый для нас метод испытания. Сам метод описан только в ТУ. Здесь требуется валидация или верификации достаточно будет? Показатель повторяемости приведен в ТУ

[texadmin]

По идее раз методика приведена в ТУ, то она для этого ТУ подходит, и валидация не нужна (но вероятно при условии что её проводили при разработку ТУ). Там даны характеристики методики?

[Minaeva]

По идее раз методика приведена в ТУ, то она для этого ТУ подходит, и валидация не нужна (но вероятно при условии что её проводили при разработку ТУ). Там даны характеристики методики?

В методике ТУ приведино относительное расхождение между параллельными определениями

[aleks203]

Коллеги,требуется внедрить руководства по эксплуатации на ЭЛАН-СО и МАРК-302. Интересует, как проводится экспериментальная проверка правильности использования руководств по эксплуатации, как установить показатели точности и прецизионности, на какие НД опираться. А может, верификация в данном случае вообще не требуется? Буду признателен за любую полезную информацию.

[texadmin]

Экспериментальная проверка: если есть СО с помощью СО, если есть СОС с помощью СОС, а так протокол составьте.

[Вика_Химик]

У меня стоит задача отработать методику определение ОКП пестицида в зерне.
Методика определения подходящая по объекту (старая МУ) не подходит, не работает, если честно.
Делаю по МУК правда в рисе. Получается мне нужно провести валидацию. На какой нормативный документ опираться, чтобы правильно провести процедуру валидации (и верификации сразу)?

[Lenore]

Вика_Химик, попробуйте по книге, которую техадмин в 74 ответе к этой теме выложил, там валидация очень хорошо пошагово расписана.

[Вика_Химик]

попробуйте по книге, которую техадмин в 74 ответе к этой теме выложил, там валидация очень хорошо пошагово расписана.

Скачала, не открывается. Надо попросить перезакачать что ли. Или ворд не подходит.

[Lenore]

Вика_Химик, а, увидела, там формат, который через приложение открывается.
Прикрепляю пдф)

[Вика_Химик]

#74 Re: Валидация, верификация методик измерений

Не могу скачать документы, не распознает Word. Можете перезалить?

Отправлено спустя 1 минуту:

Прикрепляю пдф)

Хорошо бы. Заранее спасибо.

Отправлено спустя 15 часов 31 минуту:

Прикрепляю пдф)

Очень уж много всего. Хотелось бы кратко и по делу. Берем, исследуем столько-то проб, расчитываем результаты. Почему нельзя все упростить.

Отправлено спустя 51 минуту:
Хотелось бы узнать ваше мнение по поводу параллельных определения (расчет повторяимости) согласно Р 50.2.060-2008 в моих исследлованиях: метод определения остаточного количества пестицидов в почве и раст. объектах (овощи, зерно). Методика старая, конкретнее МУ 5350-91 определение тебуконазола в растительном материале, почве и воде методом ГЖХ. По области и пределу подходит. Поэтому пока верефицируем. Как мне лучше расчитать повторяимость:
1) это 1 подготовленная проба с добавкой (поскольку в рабочей пробе остаточное количество пестицидов как правило ниже придела определения) И 16 определений ее на хроматографе, так сказать получений 16 хроматограм (1 пробы) соотвественно п. 5.5.2.1
2) или лучше несколько рабочих проб с добавкой (одинаковой) допустим 2 пробы по 9 измерений каждой либо 3 по 6 соответственно , чтобы соответствовать требованиям п.5.5.3.2.
Сложность как раз состоит в том, что в рабочих пробах нет анализируемого компонента (или значение ниже придела).
Это имеено для оценки повторяимости. Если делать 16 образцов, которые трудоемкий процесс подготовки имеют, очень долго получится.
Заодно по полученным данным оценить смещение, то есть я так понимаю правильность определения (точность).

Отправлено спустя 1 день 3 часа 35 минут:
Мне кто-нибудь поможет разобраться с р 50.2.060-2008? Пост #100
И еще такой момент!
Цитирую Р 50.2.060-2080 (верификация по способу II) 5.5.1 Экспериментальная проверка правильности использования МКХА в лаборатории способом II требует проведения:

- специального эксперимента для проверки соответствия повторяемости требованиям МКХА;

- специального эксперимента для проверки соответствия лабораторного смещения требованиям МКХА.

Специальный эксперимент для проверки соответствия повторяемости требованиям МКХА может быть осуществлен с использованием одной рабочей пробы (см. 5.5.2), нескольких рабочих проб (см. 5.5.3).
________________
Допустимо использование образцов для контроля - ОК: СО или аттестованных смесей (АС), адекватных по составу анализируемым пробам, т.е. ОК, для которых возможные различия в составах ОК и анализируемых проб не вносят в результаты анализа дополнительную статистически значимую погрешность.

Специальный эксперимент для проверки соответствия лабораторного смещения требованиям МКХА может быть осуществлен с использованием образцов для контроля (ОК) (см. 5.5.4), метода добавок (см. 5.5.5), другой (контрольной) методики анализа (см. 5.5.6).
Я так понимаю для ОКП пестицидов в растительно продукции нет ОК, а АС со статистической погрешностью минимальной мне не сделать, следовательно мне необходимо оценить только лабораторное смещение методом добавок. Или я смогу оценивать повторяимость проверкой приготовленным растором пестицида с известным содежанием определяемого компонента, как в случае проверки градуировочного графика?