Валидация, верификация методик измерений

[Евгений Школин]

Гость, если у вас при расширении обнаружатся записи, которые не предусмотрены СМК, то эксперт может посчитать это как несоответствие. Если в СМК написано, что записи не ведутся, то их и вести не надо.
Но тут может быть нарушение ГОСТ 17025, касающихся правил ведения записей. По-хорошему, сначала нужно добавить в СМК правила ведения записей об испытаниях при верификации, и после этого начать их вести

[Венера]

Харламова Ольга, добрый день. Скажите, пожалуйста, а вы в итоге смогли разработать верификацию методик? У нас строительная лаборатория, нужно верифицировать, а никак не получается. Не могли бы вы помочь, подсказать?

[Гость]

пробных испытаний

Это что?
В рамках верификации вы должны подтвердить, что вы провели серию испытаний, получили показатели точности, они не хуже установленных. Все.

Мы провели испытания, оформили отчет о проведенной верификации. В отчете первичных записей, разумеется, нет. Эксперты могут запросить предоставить первичные записи в рабочих тетрадях по испытаниям, которые были проведены в рамках верификации?

[Olga_Nesterova]

Гость, могут.

[Вика_Химик]

Нужно ли фиксировать первичные записи в рабочих тетрадях/журналах при проведении пробных испытаний в рамках верификации? Данный момент в СМК прописан не был. Могут эксперты запросить предоставить эти записи при расширении области аккредитации? И что будет, если не предоставим?

Мы просто в рабочих тетрадях исполнителей записи ведем . В СМК прописаны такие рачие тетради - простые 48 листов в клетку, пронумерованные и подписанные. Опять же допускается проводить верификацию с использованием архивных данных, только не помню в каком НД такое видела. Вроде в рекомендациях.

[Olga_Nesterova]

Эксперты могут запросить предоставить первичные записи в рабочих тетрадях по испытаниям, которые были проведены в рамках верификации?

В соответствии с 8.4.1 вы должны вести записи, которые подтверждают выполнение требований стандарта. Записи, в том числе первичные, в том числе по верификации, вы тоже должны вести. Следовательно и запросить могут.

[Евгения Николаевна]

Здравствуйте,подскажите пожалуйста!
Прошли ПК и в акте в заключении замечание по пункту 7.2.1.5 "До внедрения методов в работу лаборатория должна подтвердить, что она может надлежащим образом применять выбранные методы, обеспечивая требуемое исполнение. Записи о верификации должны сохраняться. Если изменения в метод были внесены организацией-разработчиком, то верификация должна быть проведена повторно в необходимом объеме."
Может у кого то было такое замечание и у кого-нибудь есть информация, или может кто-то сможет скинуть пример РК с этим пунктом?

[Lenore]

Евгения Николаевна, у вас замечание какое - что нет описания процедуры? что вы верификацию не проводите? или записи не сохранены? или изменения в метод внесены, а верификация повторно не проведена? Уточните, пожалуйста.
В РК нужно описать, как до внедрения в работу вы верифицируете методики, какие документы оформляете, кто ответственный, что и каким образом проверяете.

[Гость]

Как можно верифицировать методику руководства средства измерения с показателем точности погрешность без опорного значения? И отдельный случай, если прибор мерит с неопределенностью, а в паспорте указана погрешность? Сделала расчёт дисперсии, Грабса и Корхена. А с чем сравнивать?

[texadmin]

Как можно верифицировать методику руководства средства измерения с показателем точности погрешность без опорного значения?

Верифицировать с показателем точности без опорного никак. Неопределённость для методики можете рассчитать.

если прибор мерит с неопределенностью, а в паспорте указана погрешность?

В паспорте максимально допускаемая погрешность для типа СИ. Неопределённость для измерения.

[Золотарева]

Добрый день.
Прошу помочь в решении вопроса о необходимости валидации и верификации в принципе. У нас не аккредитованная лаборатория. Мы занимаемся проверкой качества покрытия труб и деталей для нефтепровод. Была проверка, выписали замечание об отсутствии пункта валидации и верификации. Методик у нас нет, мы работаем по ГОСТам или тех. условиям. Как нам быть?

[texadmin]

У нас не аккредитованная лаборатория

А кто был, и зачем?

[cordek]

мы работаем по ГОСТам или тех. условиям. Как нам быть?

делаете верификацию

[Татьяна_ВЛ]

Здравствуйте! Срочно нужны протоколы верификации методик измерений. Лаборатория аккредитована для испытаний троллейбусов и трамваев.
Может кто сбросить хотя бы пару готовых протоколов, чтобы хотя бы иметь представление как они должны быть оформлены и в чем суть. В интернете много информации для медицинских лабораторий, а для ТС совсем нет. Просто нет времени разбираться, а я совсем новичок. Заранее благодарна.

[nebbbo]

Здравствуйте! Верификацию методик из ГОСТов на определение пределов текучести, прочности сплавов,твердости по Викерсу и др. как проводить? у них ведь нет показателей прецизионности и точности?

[cordek]

Верификацию методик из ГОСТов на определение пределов текучести, прочности сплавов,твердости по Викерсу и др. как проводить

Сопоставляйте оборудование.
Проводите контроль за сотрудником при выполнении методики.

[texadmin]

Обсуждаем подходы к верификации методик анализа

Литература по верификации:
- Р 50.2.090-2013 ГСИ. Методики количественного химического анализа. Общие требования к разработке, аттестации и применению (п. 5.5)
- РМГ 76-2014 ГСИ. Внутренний контроль качества результатов количественного химического анализа (приложение Б)
- Р 50.2.060-2008 Внедрение стандартизованных методик количественного химического анализа в лаборатории. Подтверждение соответствия установленным требованиям
- The Fitness for Purpose of Analytical Methods: A Laboratory Guide to Method Validation and Related Topics: Second edition (2014) (Eurachem Guide), раздел 4 “When should methods be validated or verified?”
- Кулешова С.И. Перенос (трансфер) методик, параметры валидации/верификации. Ведомости Научного центра экспертизы средств медицинского применения. 2017; 7(2):77-80
- Терещенко А.Г., Пикула Н.П. Внутрилабораторный контроль качества результатов химического анализа, Томск: STT, 2017, глава “внедрение и использование методики анализа в лаборатории”

[Гость]

подскажит5е пожалуйста, по какому документу правильнее производить верификацию методик, по РМГ 61-2010 или Р 50.2.060-2008?
На вид похожие, только рмг более расширенный.

[Olga_Nesterova]

правильнее

По РМГ 61 менее правильно, по Р 50.2.060 более правильно :)
Тут нет разных мер степени правильности: вы можете сослаться в своей СМ на Р, а можете разработать свою процедуру верификации на основании РМГ. А еще можно вообще с нуля описать процедуру верификации. А еще можно взять 5725 и тоже разработать процедуру верификации. А можно взять неопределенность и на ней верифицировать. И все будет правильно!

[Медведево]

Здравствуйте! При длительных испытаниях с продолжительностью испытаний кратно 24 часа -48ч; 72 часа и т.д , время начала и завершения регистрировали по обычным настенным часам, т.к. отклонения по времени допускаются от +/-0,5 часа (для 24ч) до +/- 1 часа. При оформлении протокола верификации задумались- а настенные часы тоже должны быть с поверкой? Подскажите пожалуйста кто знает какие часы нужно применять? где такие часы можно приобрести? Пытались искать- пока не нашли.

[cordek]

Используйте точное время с сайта ВНИИФТРИ

[Медведево]

Используйте точное время с сайта ВНИИФТРИ

Спасибо большое за совет, а как это нужно прописать в СМК? Распоряжением назначить ответственного? Или ?

[texadmin]

Рабочий журнал

[cordek]

Спасибо большое за совет, а как это нужно прописать в СМК? Распоряжением назначить ответственного? Или

Пропишите в процедуре проведения испытаний, что точное время сотрудники смотрят на сайте ВНИИФТРИ, и научите сотрудников пользоваться.

[Медведево]

Пропишите в процедуре проведения испытаний, что точное время сотрудники смотрят на сайте ВНИИФТРИ,

простое полезное решение, спасибо

[Гость]

кто ни будь верифицировал ПНДФ 14.1:2:4.135-98?
не могу разобраться, как верифицировать его по Р 50.2.060.-2008, там только неопределенность дана в методике и станд отклонение промежуточной прецезионности.

[cordek]

Делайте 16 анализов в условиях воспроизводимости и сравниваете полученное стандартное отклонение со стандартным отклонением промежуточной прецизионности.

[Гость]

Здраствуйте. Подскажите пожалуйста как валидировать ГОСТ ISO 20847:2009 для измерения серы до 30 мг/кг?

[Olga_Nesterova]

ГОСТ ISO 20847:2009

Я его даже найти не могу. Есть только ГОСТ ISO 20847-2014

[Гость]

ГОСТ ISO 20847:2009

Я его даже найти не могу. Есть только ГОСТ ISO 20847-2014

Это я не так написала. По ГОСТ ISO 20847-2014 определение серы в диапазоне значений от 30 до 500 мг/кг. Раньше делали до 30 мг/кг и делали примечание: " Метод устанавливает определение от 30 мг/кг ", сейчас сказали делать валидацию. Я не совсем пойму как.

[texadmin]

сейчас сказали делать валидацию. Я не совсем пойму как.

У меня ощущение что кто Вам сказал не особо понимает фронт работ. Вряд ли можно описать одним постом. Берите руководство по валидации, ещё Вам необходимо будет СО, либо какая то реферальная методика. Образно говоря Вам необходимо будет много измерять СО в диапазоне который необходим, и сравнивать с тем что получилось, после рассчитывать характеристики методики в этом диапазоне. Что бы Вам понимать, я ни разу не слышал чтобы ИЛ сами валидировали (хотя и не исключаю).
Да, и не просто так диапазон в ГОСТе дан, может это предел чувствительности.
Легче найти кто этим занимается, либо заказать методику.

[Olga_Nesterova]

я ни разу не слышал чтобы ИЛ сами валидировали (хотя и не исключаю).

Мы сами разрабатываем и аттестуем свои методики. Она же валидация.

Образно говоря Вам необходимо будет много измерять СО в диапазоне который необходим, и сравнивать с тем что получилось, после рассчитывать характеристики методики в этом диапазоне.

Верно сказано: полнокровный эксперимент по оцениванию характеристик. Берете РМГ 61 и вперед. По сути вы разрабатываете свою методику для этого диапазона (ГОСТ 8.563) и не важно, что процедуру берете из своего ГОСТа

[еленарук]

Подскажите пожалуйста как валидировать ГОСТ ISO 20847:2009 для измерения серы до 30 мг/кг?

Это методика ГОСТ ISO 20847— 2014 НЕФТЕПРОДУКТЫ. Определение содержания серы в топливе для двигателей внутреннего сгорания. Рентгеновская флуоресцентная спектрометрия на основе энергетической дисперсии.
Причем сам ГОСТ является идентичным ISO 20847:2004. На сайте ISO указано, что эта версия является актуальной. Так что уточните насчет 2009 года - это не относится ни к актуальному ГОСТ ни ISO itself.

Метод весьма специфичен, т.к. это не мокрая химия и не физические измерения.
Есть хорошие и плохие новости.
Хорошая новость - РФА является очень экспрессным методом, анализ занимает с учетом градуировки, подготовки пробы и обработки спектра от 30 мин до часа. Плохая новость - здесь гораздо больше влияющих факторов на достоверность результата. Поскольку первое уравновешивает второе, то следует тщательно спланировать эксперимент.
В 17025 п.7.2.2.1 написано: Валидация должна быть настолько полной, насколько это необходимо, чтобы отвечать потребностям данного применения или области применения.
Соответственно, вам следует учесть основные факторы, влияющие на достоверность результата при расширении диапазона методики ниже предела определения, т.е 30 мг/кг (=ppm).
Я перечислю то, что увидела при беглом просмотре методики:
1. методика выделяет группу объектов, с которой работает, вам придется как минимум сделать дополнительные анализы на отсутствие тех мешающих факторов, которые указаны в п.1:
"Из-за наложения спектров настоящий стандарт не применим для испытания этилированных автомобильных бензинов, неэтилированных автомобильных бензинов с содержанием калия 8—20 мг/кг, а также других продуктов или сырья с содержанием свинца, кремния, фосфора, кальция, калия или галоидных соединений, превышающим одну десятую часть измеренного значения концентрации серы."
"Идеальная валидация" должна включать и определения серы в реальных пробах, для которых есть установленное значение серы в другой ИЛ или другим методом или МСИ. Поэтому если для стандартных топлив это может и не нужно, то для реальных проб обязательно доказательство, что у проб не будет лишних линий в спектре, иначе можно намерить бог знает чего.
Также в стандарте разделены два вида объектов - бензины и дизель, что видно по нормативам прецизионности, следовательно, вы также должны сделать две независимые серии (может и больше для различных бензинов, тут я не знаю) проб.

2.Вы должны четко определить предел обнаружения ниже 30 мкг/кг. И свой новый предел определения не считать равным ему, а взять с запасом, хотя бы 3-10 СКО фона или как принято считать для современных счетчиков (SSD или другой?, я уже давно не в этой области), также надо учесть содержание серы в разбавителе. Если вы хотите предел определения ниже, чем это дополнительное фоновое содержание серы, то следует обязательно прописать в методике, как точно установить это содержание, чтобы его вычитать, разбавитель – масло, может отличаться от партии к партии или как накапали-намазали в кювету.
3. В методике приведены данные только для повторяемости и воспроизводимости. Вам следует еще дополнительно определить и расширенную неопределенность как аналог погрешности. Тут надо быть аккуратным, чтобы не расширить ее и незаузить.

А так – после расчета предела определения готовите модельные образцы, т.е. аттестованные смеси для содержания серы от 0 до 40 мг/кг (чтобы захватить рабочий диапазон), допустим, 5-7 точек: (один разбавитель, 3, 6, 10, 15, 20, 30, 40 мг/кг серы). В начале диапазоне точек больше, чем в конце, где будет точно линейная зависимость.
Тут возможна хитрость – часть градуировочных образцов можно использовать для расчета прецизионности, если такой пробы нет.
4. Расчет по РМГ 61-2010, там же алгоритм расчета неопределенности.

[cordek]

Процедура по внедрению и верификации методик, возможно много непонятного, но я старался делать так, чтобы было проще в реализации.

[Гость]

Подскажите, что нужно писать в протоколе верификации? Какие показатели? У всех смотрю по разному.

[cordek]

смотрите в методике, выбирайте нужные

[Гость]

смотрите в методике, выбирайте нужные

в р 50.2.060-2008 два способа внедрения методик. Для 1 способа написано какая форма отчета, а для 2го нет. Какие данные туда переписывать не пойму.

[Аника]

Добрый день. Подскажите, пожалуйста, по следующей ситуации. Имеется аккредитованная испытательная лаборатория, которая работает по аттестованным методикам (анализ воды на определенные показатели). Эти методики были разработаны самой этой ИЛ под свои цели и задачи и аттестованы в аккредитованной сторонней организации. Отсюда возникает вопрос - нужно ли в ИЛ проводить верификацию этих (разработанных своими силами) аттестованных методик? и если да,то в каком виде, какие записи делать? Спасибо за ответы

[cordek]

Нет, не нужно, если нет изменений.

[Гость]

Нет, не нужно, если нет изменений.

ну как сказать "нет изменений"... вновь разработанные ИЛ и аттестованные методики заменяют предыдущие версии этих же методик (в новых версиях произошли изменения НД, больше стало поддиапазонов, введен расчет неопределенности). Но для аттестации как предыдущих версий методик, так и новых их версий брались в расчет данные самой ИЛ.

[cordek]

Если в методике меняются расчёты, конечно нужно заново валидировать.

[Гость]

Если в методике меняются расчёты, конечно нужно заново валидировать.

Валидация методик в госмасштабе в виде их аттестации уже проведена, методики занесены в ФР аттестованных методик. Вопрос - надо ли их в этой лаборатории-разработчике верифицировать (т.е. ставить специальные эксперименты с использованием раб.проб,СО и пр.), если практически то же самое проводилось при аттестации методик?

[еленарук]

Валидация как процедура по объему шире и по количеству варьируемых условий глубже, чем верификация.
Поэтому в вашем случае после валидации методики, которую ИЛ разработала сама для себя верификацию как внедрение проводить конечно же не нужно.

НО! По определению вирификация - это просто подтверждение выполнения установленных требований, и в этом смысле ее вполне вероятно надо будет проводить еще не один раз для данной методики при изменении условий выполнения методики, например:
1. новое оборудование. Объем верификации зависит от того, не забыли ли включить в методику положение о том, что возможна замена оборудование на такое же новое или другое, другого производителя или более современное, например, с автоматической регистрацией данных и т.д.
2. То же самое при использовании реактивов другой квалификации, но не ниже, чем указано в методике и т.д.
3. То же самое при допуске к работе по методике нового сотрудника.
Конечно, можно заранее прописать в процедуре какой именно объем работы требуется. Для нового сотрудника, наверное, и двух-трех испытаний/измерений в разных поддиапазонах потребуется, а вот для оборудования - по более.
Мне рассказывали, что в одной лабе в условиях 1000 проб в день при составлении градуировочного графика (из новой ампулы ГСО) для ААС или АЭС с ИСП, например, еще и верификацию нового графика проводили, сравнивая его значения концентраций с заканчивающимся. Конечно, лаба, которая делала так всегда, не знала, что это верификация. Но теперь у этой процедуры есть свое "законное" название.
И более того, само это действие является по сути предупреждением риска не сдачи работы в срок, поскольку может обнаружиться, что ампула не соответствует или исполнитель что-то не так сделал, и эти 1000 проб надо переделывать.

[Гость]

Валидация как процедура по объему шире и по количеству варьируемых условий глубже, чем верификация.
Поэтому в вашем случае после валидации методики, которую ИЛ разработала сама для себя верификацию как внедрение проводить конечно же не нужно.

НО! По определению вирификация - это просто подтверждение выполнения установленных требований, и в этом смысле ее вполне вероятно надо будет проводить еще не один раз для данной методики при изменении условий выполнения методики, например:
1. новое оборудование. Объем верификации зависит от того, не забыли ли включить в методику положение о том, что возможна замена оборудование на такое же новое или другое, другого производителя или более современное, например, с автоматической регистрацией данных и т.д.
2. То же самое при использовании реактивов другой квалификации, но не ниже, чем указано в методике и т.д.
3. То же самое при допуске к работе по методике нового сотрудника.
Конечно, можно заранее прописать в процедуре какой именно объем работы требуется. Для нового сотрудника, наверное, и двух-трех испытаний/измерений в разных поддиапазонах потребуется, а вот для оборудования - по более.
Мне рассказывали, что в одной лабе в условиях 1000 проб в день при составлении градуировочного графика (из новой ампулы ГСО) для ААС или АЭС с ИСП, например, еще и верификацию нового графика проводили, сравнивая его значения концентраций с заканчивающимся. Конечно, лаба, которая делала так всегда, не знала, что это верификация. Но теперь у этой процедуры есть свое "законное" название.
И более того, само это действие является по сути предупреждением риска не сдачи работы в срок, поскольку может обнаружиться, что ампула не соответствует или исполнитель что-то не так сделал, и эти 1000 проб надо переделывать.

Хорошо. Тогда в нашем случае какие-либо записи о ненужности верификации надо делать или экспертов устроит устный ответ, что в ИЛ- разработчике методик (впоследствии аттестованных) такая процедура не нужна?

[texadmin]

17025 7.2.1.5 До внедрения методов в работу лаборатория должна подтвердить, что она может надлежащим образом применять выбранные методы, обеспечивая требуемое исполнение. Записи о верификации должны сохраняться. Если изменения в метод были внесены организацией-разработчиком, то верификация должна быть проведена повторно в необходимом объеме.
Валидация - Да метод рабочий.
Верификация - Да мы смогли и в дальнейшем сможем правильно измерить.

[Гость]

Тогда в нашем случае какие-либо записи о ненужности верификации надо делать или экспертов устроит устный ответ, что в ИЛ- разработчике методик (впоследствии аттестованных) такая процедура не нужна?

А вот тут интересно. В обсуждении мы сейчас пошли несколько неверным путем.
Если обратиться к тексту 17025, то в разделе терминологии четко написано:
3.8 верификация (verification): Предоставление объективных свидетельств того, что данный объект соответствует установленным требованиям.
3.9 валидация (validation): Верификация (3.8), при которой установленные требования связаны с предполагаемым использованием.

Получается, что валидация - это та же верификация, потому что есть требования (техзадание на разработку новой методики или ее проверка для нового объекта, расширенного диапазона и т.д.)
И поэтому верификация у нас везде. Замените ее словосочетанием "подтверждение требованиям с целью ..." Я в предыдущем посте писала, что цели могут быть сильно разные. Поэтому самый простой вариант написать это в разделе РК, перечислить все случаи верификации методики, в том числе и при разработке новой методики, модификации и т.д. И написать, что в этом случае верификация становится валидацией. Мне кажется, что этим можно закрыть вопрос, т.к. он скорее терминологический, чем смысловой.
Тем более, что про разработку нового метода написано далее в этом же разделе про верификацию в п.7.2.1.6.
У разработчиков стандарта получилось несколько путанно, это правда, но, если сослаться на терминологию 3.8 и 3.9 - то все ясно.
Конечно, можно приписать и фразу в РК, что валидация перекрывает и верификацию и внедрение.

[texadmin]

Немного формализуете определения, например валидация методики.
1. Если методика соответствует вашим требованиям не факт что вы можете её реализовать.
2. Просто примите что "Записи о верификации должны сохраняться."

[Елена ЭАЛ ЭкоСфера]

Добрый день, коллеги.

Хочу послушать Ваши мнения.
При аккредитации получили несоответствие по п.7.2.1.5 ГОСТа 17025.
Несоответствие звучит так: "1. Экспериментальная часть представлена без учета объекта верификации (один акт внедрения на воду и почву). 2. Верификация проведена не по всему диапазону определения показателей, заявленных в ОА".
Мои комментарии: 1. Мы проводили верификацию по ОК, так как реальных рабочих проб нет.
2. мы приготовили по 1 ОК с концентрацией во всех диапазонах.

Эксперт требовала, в начале, середине и в конце каждого поддиапазона.
Правильное ли замечание эксперта и что нам делать теперь, может можно как то обойти этот вопрос?
Или все эксперты требуют выполнения этого условия?

Это ж ох...ть сколько всего надо времени убить на это!!! Простите за мой французский.

[cordek]

Замечание неправильное, но может проистекать из вашей смк

[Anastasiya03]

Добрый день! Уважаемые коллеги, такой вопрос - есть неаттестованная нестандартная методика. Как долго проводят аттестацию в каком-нибудь НИИ и сколько это примерно стоит?
В рабочий день займусь этим вопросом, сейчас просто хочется сориентироваться)
Во время прошедшей непройденной аккредитации до этого момента эксперты не дошли.