Валидация программного обеспечения (ПО)

Помощь при разработке системы менеджмента качества, документированных процедур. Руководящие документы, требования
Аватара пользователя

Brrr

Валидация и верификация программного обеспечения

Непрочитанное сообщение Brrr »

Господа, товарищи, системные администраторы и ответственные за информационное обеспечение,
Подскажите пожалуйста как вы проводите валидацию программного обеспечения компьютеризированных рабочих мест (ПО испытательного оборудования, для ведения расчётов и баз данных с журналами)?
Насколько глобально нужно к этой теме обратиться?

П.с. искала на форуме, в поисковиках, но в основном информация по системам LIMS и подобным...
Поделитесь опытом пожалуйста :heat :rtfm1

Olga_Nesterova
 
 
Сообщения: 1386
Зарегистрирован: 4 года 10 месяцев
Поблагодарили: 341 раз

Валидация и верификация программного обеспечения

Непрочитанное сообщение Olga_Nesterova »

Brrr, обычно в документах к стороннему ПО пишут, что оно валидировано и повторной валидации не подлежит. Я думаю, что можно и запросить у производителей официальное письмо, если такового не указано.
Или валидировать один раз при валидации (вводе в эксплуатацию) самого оборудования и в документах/записях указать, что повторной валидации при эксплуатации не подлежит, т.к. перенастройка ПО недоступна пользователю.

Для экселевских форм расчета результатов у нас предусмотрено периодическое тестирование по установленной программе с фиксацией результатов в журнале/перечне расчетных программ.
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Сделал программный документ - инструкцию по валидации ПО.
Этот документ охватывает программное обеспечение как внутренней разработки, так и коммерческое, применяемое для расчетов, системы управления базами данных (СУБД), Лабораторные информационные системы (ЛИМС/ЛИС), электронные лабораторные журналы (ЭЛЖ) и компьютеры, в рамках аналитического оборудования. Эта инструкция описывает общие принципы валидации компьютеризированных систем в соответствии с ISO/IEC 17025. Инструкция выдвигает общие требования, а также перечисляет минимально необходимые элементы для проверки различных типов программного обеспечения
Дополнительно использовались (учитывались) требования ГОСТ Р 54360-2011 Лабораторные информационные менеджмент-системы (ЛИМС). Стандартное руководство по валидации ЛИМС; ГОСТ Р 53798-2010 Стандартное руководство по лабораторным информационным менеджмент-системам (ЛИМС); ГОСТ 33044-2014 Принципы надлежащей лабораторной практики;

Естественно инструкция содержит опечатки, кривые заимствования, не понятные сокращения и т.д.
Буду рад комментариям, критическим замечаниям и дополнениям.
В перспективе буду дополнять протоколами тестирования (испытания) ПО по общим требованиям (монтаж, установка, администрирование, резервное копирование, восстановление, контроль доступа).

Отправлено спустя 18 часов 8 минут:
перенес на Гугл.диск
прошу желающих редактировать и комментировать https://docs.google.com/document/d/1-3g ... sp=sharing
Вложения
РИ Валидация ПО ред2.docx
(69.82 КБ) 2650 скачиваний
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation

kerberos
 
 
Сообщения: 51
Зарегистрирован: 6 лет 2 месяца
Поблагодарили: 18 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение kerberos »

Вы всерьез полагаете, что описанное в пункте восемь должно осуществляться рядовыми сотрудниками лаборатории?

Стоит ли вводить термины из GMP, например квалификацию (Installation qualification, Operation qualification и т. д.), тем самым запутывая не распутанное, в общую инструкцию требований ISO/IEC 17025 в котором нет таких терминов?

Вы похоже взяли за основу серию документов PA/PH/OMCL 69, 87, 88, 89?

Стиль изложения больше похож на текст документированной процедуры, которая устанавливает требования. Инструкция устанавливает порядок действий. Я вижу документированную процедуру и ряд рабочих инструкций к конкретным объектам валидации.

Пока такие первые мысли.
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

kerberos писал(а): 13.02.2022 Вы всерьез полагаете, что описанное в пункте восемь должно осуществляться рядовыми сотрудниками лаборатории?
Я предполагаю, что им в этом поможет поставщик/разработчик ПО.

Отправлено спустя 1 минуту:
kerberos писал(а): 13.02.2022 Стоит ли вводить термины из GMP, например квалификацию (Installation qualification, Operation qualification и т. д.), тем самым запутывая не распутанное, в общую инструкцию требований ISO/IEC 17025 в котором нет таких терминов?

Вы похоже взяли за основу серию документов PA/PH/OMCL 69, 87, 88, 89?
Да за основу были взяты эти документы, а также ГОСТ Р 54360-2011.

Отправлено спустя 3 минуты:
kerberos писал(а): 13.02.2022 Стиль изложения больше похож на текст документированной процедуры, которая устанавливает требования. Инструкция устанавливает порядок действий. Я вижу документированную процедуру и ряд рабочих инструкций к конкретным объектам валидации
Лаборатории никто не запрещает разделить это всё на процедуру и инструкции.
Я лишь собрал доступную информацию.
Если какие-то выражения вам кажутся слишком императивными, пожалуйста отметьте в тексте, поправим.
Со своей стороны я проработал инструктивную часть, прописав конкретные действия, дополнительно ещё готовлю конкретные примеры валидации ЛИМС, которые можно будет использовать лабораториям, внедряющим ЛИМС.

Отправлено спустя 4 минуты:
Также лаборатория может использовать часть инструкции например для валидации расчётов в Excel, или в других программах электронных таблиц.
Также в этой инструкции есть понятие компьютерного обеспечения в аналитической системе. Эта часть тоже будет полезна для лабораторий, поскольку сейчас всё больше оборудования поставляется с ПО на ПК.
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Добавляю пример валидации для системы типа ЛИМС - JDX на базе DataExpress.
Расписаны общие вопросы и подготовлена программа тестирования, постарался вносить тестирование всех трех типов.
Вложения
Валидация JDX ред1.docx
(45.68 КБ) 1222 скачивания
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

применение "Excell при обработке данных" https://profilab.by/cook-book-12-use-ex ... boratories

Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation

kerberos
 
 
Сообщения: 51
Зарегистрирован: 6 лет 2 месяца
Поблагодарили: 18 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение kerberos »

cordek писал(а): 19.04.2022 Практические аспекты валидации таблиц Excell.pdf
Эта же презентация полнее на один лист и файл примера в формате xlsx
Вложения
Практические аспекты при проведении валидации таблиц Excel (Моисеев).pdf
(1.85 МБ) 712 скачиваний
Совместная валидация.xlsx
(36.37 КБ) 834 скачивания

chastchin16
Сообщения: 1
Зарегистрирован: 2 года 1 месяц
Пол:

Валидация и верификация программного обеспечения

Непрочитанное сообщение chastchin16 »

Ольга, добрый день
Для экселевских форм расчета результатов у нас предусмотрено периодическое тестирование по установленной программе с фиксацией результатов в журнале/перечне расчетных программ.

Не могли бы Вы поделиться этой программой
За ранее благодарю Сергей Чащин
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация и верификация программного обеспечения

Непрочитанное сообщение cordek »

chastchin16 писал(а): 19.05.2022 Не могли бы Вы поделиться этой программой
За ранее благодарю Сергей Чащин
посмотрите инструкцию по валидации ПО, там есть и форма проверки расчетов
Валидация программного обеспечения (ПО)
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation

Olga_Nesterova
 
 
Сообщения: 1386
Зарегистрирован: 4 года 10 месяцев
Поблагодарили: 341 раз

Валидация и верификация программного обеспечения

Непрочитанное сообщение Olga_Nesterova »

chastchin16, добрый день!
Программа, в нашем случае, это установленный порядок и периодичность :)
Форма расчета это всегда шаблон. Ответственный сотрудник с установленной периодичностью (раз в квартал) берет шаблон, вводит определенные значения в определенные ячейки (что и куда вводить установлено инструкцией), смотрит что получается в других определенных ячейках и сравнивает с нормативами, установленными в инструкции. Распечатывает, ставит дату, подпись и результаты контроля - уд/неуд.
Аватара пользователя

Pleh
 
 
Сообщения: 120
Зарегистрирован: 5 лет 5 месяцев
Поблагодарили: 35 раз
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение Pleh »

Пример протокола верификации ПО в составе СИ:
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Pleh писал(а): 23.05.2022 Пример протокола поверки ПО в составе СИ:
Поверка это вполне определённое действие, которое относится только к средству измерения целиком.
ПО в составе средства измерения может проверяться при поверке, если данная процедура описана в методике поверки.

Отправлено спустя 1 минуту 11 секунд:
И потом у вас там сначала поверка, потом верификация, потом идентификация.
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

Pleh
 
 
Сообщения: 120
Зарегистрирован: 5 лет 5 месяцев
Поблагодарили: 35 раз
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение Pleh »

cordek писал(а): 23.05.2022 Поверка это вполне определённое действие, которое относится только к средству измерения целиком.
ПО в составе средства измерения может проверяться при поверке, если данная процедура описана в методике поверки.
Спасибо за уточнения!
Подправил исходный документ.

Отправлено спустя 1 час 43 минуты 19 секунд:
Кстати, 27 мая 2022 г. состоится бесплатный вебинар "Валидация компьютеризированных систем – таблицы excel: риск-ориентированный подход и практика валидации на примерах".
https://gxp-academy.org/education/webin ... tika-vali/
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

я исхожу из принципа выполнения минимально необходимых требований. А на таких вебинарах к сожалению дают больше теории о том как должно быть в идеальном мире. Но если будете участвовать, сделайте запись.
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

Pleh
 
 
Сообщения: 120
Зарегистрирован: 5 лет 5 месяцев
Поблагодарили: 35 раз
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение Pleh »

Материалы с вебинара:
001.pdf
Риск-ориентированный подход в отношении
валидации компьютеризированных систем - таблицы Excel
(1.88 МБ) 1560 скачиваний
002.pdf
Разбор практических кейсов по валидации таблиц Excel
(388.64 КБ) 1039 скачиваний
003.pdf
Нормативные требования евразийских правил
GMP и регуляторные ожидания в отношении
валидации компьютеризированных системвалидации компьютеризированных систем - таблицы Excel
(844.61 КБ) 762 скачивания
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Я делал запись, но вебинар очень долгий, а еще какие-то постоянные паузы и проблемы со звуком. Но главная суть в презентациях отражена
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation

Lelik24
Сообщения: 1
Зарегистрирован: 2 года
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение Lelik24 »

cordek писал(а): 08.06.2022 Я делал запись, но вебинар очень долгий, а еще какие-то постоянные паузы и проблемы со звуком. Но главная суть в презентациях отражена
Размер большой? можно как то посмотреть?
Аватара пользователя

texadmin
Администратор
Сообщения: 4210
Зарегистрирован: 7 лет 5 месяцев
Поблагодарили: 574 раза
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение texadmin »

Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Валидация ЛИМС, аттестация или сертификация - сделаем правильный выбор.
Сертификации ПО такого типа в РФ нет. Конечно поставщики ЛИМС предъявляют какие-то сертификаты на своё ПО. Но
подобная сертификация у нас в стране не регулируется, не является обязательной, и кроме того, такие сертификаты выдают не аккредитованные органы по сертификации, что нарушает закон о техническом регулировании (184-ФЗ), следовательно никакой юридической силы такие красивые бумажки не имеют. Однако многие заказчики хотят видеть сертификат на ЛИМС, а спрос, как известно, рождает предложение.
Аттестация ПО существует в методических инструкциях Росстандарта (МИ 2174-91, МИ 2955-2010), но относится к аттестации метрологически значимой части ПО к средствам измерений (Р 50.2.077-2014). При утверждении типа СИ в обязательном порядке включается информация об используемом ПО (МИ 3650-2022). Естественно, что практически вся аттестация сводится к тому, какие результаты получаются при использовании данного СИ с данным ПО при испытании/поверке с эталоном, а также проверке наличия защиты от изменения ПО.
К ЛИМС аттестация в таком виде не применима.
Валидация ПО для аккредитованных лабораторий является обязательной, также как валидация расчётов в электронных таблицах в соответствии с требованиями п. 7.11.2 ГОСТ ISO/IEC 17025-2019.
Лаборатории зачастую стараются получить подтверждение от разработчиков, но ведь в процессе внедрения вносятся множество изменений и продукт, установленный у одного заказчика, может сильно отличаться от продукта у другого заказчика. А при любых изменениях, включая изменения конфигурации программного обеспечения лаборатории или модификации коммерческого программного обеспечения, они должны быть утверждены, документированы и валидированы до введения их в действие.
Валидация в терминах ГОСТ ISO/IEC 17025-2019 это "Предоставление объективных свидетельств того, что данный объект соответствует установленным требованиям, при котором установленные требования связаны с предполагаемым использованием". Соответственно для успешной валидации ПО необходимо прежде всего определиться с требованиями, то есть целями, задачами, функциональными требованиями, техническим заданием.
Поскольку любые изменения конфигурации или модификации ПО должны быть утверждены и документированы, лаборатория обязательно должна составить Техническое задание (ТЗ) при внедрении ЛИМС. ТЗ самая важная часть валидации, поскольку именно на соответствие ТЗ лаборатория будет проверять (валидировать) ЛИМС.
Про проблемы составления ТЗ я уже упоминал, но повторюсь еще раз: "Необходимо сделать полное и непротиворечивое ТЗ на внедрение ЛИМС, чтобы потом использовать его для валидации ЛИМС".
Более того, часто когда начинаю вести разговор о валидации ПО и объяснять, что это делается легко и просто, оказывается, что основная сложность заключается именно в составлении требований к ПО, то есть в написании ТЗ.
Когда ЛИМС или иное ПО (например электронный журнал) уже есть, а валидации не было, всё равно необходимо составить ТЗ, где хотя бы в кратком сжатом виде перечислить основные требования. И дальнейшая валидация ПО будет проходить легко, поскольку я уже выкладывал готовые примеры валидации.
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

Выдержка из реального ТЗ:
"ПО ЛИМС должно иметь документальное подтверждение соответствию требованиям стандартов ГОСТ Р ИСО 5725-2002, ГОСТ ISO IEC 17025-2019, РМГ 76-2014, а также сертификат соответствия ГОСТ Р 53798-2010, ГОСТ Р ИСО 11095-2007, РМГ 54-2002, РМГ 61-2010, МИ 2881-2004 и др."
Кроме того, что нет органов по сертификации (см. выше), часть этих документов и не устанавливают требования к ПО, а скорее устанавливают требования к процессу в лаборатории. То есть даже при наличии органа по сертификации, он бы не смог сертифицировать "ЛИМС" на соответствие этим документам.
Какое документальное подтверждение ГОСТ Р ИСО 5725-2002, ГОСТ ISO IEC 17025-2019, РМГ 76-2014 должно быть скромно умалчивается.

Из другого ТЗ.
"Функция ВЛК должна поддерживать реализацию алгоритмов контроля качества измерений для методик измерений. Алгоритмы и терминология ВЛК должны соответствовать РМГ 76-2014 и быть аттестованными аккредитованным органом."
Возникают вопросы: "Кем должен быть аккредитован орган и и что за аттестация имеется в виду, на которую надо аккредитоваться?"
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

ст. 21 184-ФЗ.
"Добровольное подтверждение соответствия осуществляется органом по сертификации, в том числе для установления соответствия системам добровольной сертификации"

А дальше описание прав при создании СДС:
"Лицо или лица, создавшие систему добровольной сертификации, устанавливают перечень объектов, подлежащих сертификации, и их характеристик, на соответствие которым осуществляется добровольная сертификация, правила выполнения предусмотренных данной системой добровольной сертификации работ и порядок их оплаты, определяют участников данной системы добровольной сертификации. Системой добровольной сертификации может предусматриваться применение знака соответствия"
Участник это не ОС и ИЛ, это могут быть и заявители например
И дальше написано, что СДС может быть зарегистрирована.
Значит закон однозначно гласит, что добровольное подтверждение соответствия осуществляется ОС, который по определению в законе должен быть аккредитован (см. ст. 2 184-ФЗ).
Поэтому сертификаты соответствия, которые есть у коммерческого ПО, и сделанные в рамках разных российских СДС, являются не более чем красивыми бумажками, ведь аккредитации у таких органов по сертификации нет.
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

texadmin
Администратор
Сообщения: 4210
Зарегистрирован: 7 лет 5 месяцев
Поблагодарили: 574 раза
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение texadmin »

cordek писал(а): 16.08.2023 Какое документальное подтверждение ГОСТ Р ИСО 5725-2002, ГОСТ ISO IEC 17025-2019, РМГ 76-2014 должно быть скромно умалчивается.
Дайте мне денежек и я уверен что смогу найти организации которые напечатают вам сертификаты.
Проблема неверное 1. в попытке переноса ответственности на сторонние организации, ну типа я в этом ничего не понимаю у меня и своих дел по горло, 2. реклама двигатель торговли, гораздо приятнее продавать продукт с комплектом сертификатов.

Я помню сгущёнку с надписью ГОСТ 9000, и люди брали с словами -сделано по ГОСТу
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

напечатают или будут аккредитованы, чтобы выдать сертификат?
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation
Аватара пользователя

texadmin
Администратор
Сообщения: 4210
Зарегистрирован: 7 лет 5 месяцев
Поблагодарили: 574 раза
Пол:

Валидация программного обеспечения (ПО)

Непрочитанное сообщение texadmin »

Но вот при беглом взгляде индасофт, правда самих сертификатов не видать, но на соответствие 17025 встречал. Мне просто всегда хотелось спросить, и какому пункту соответствует ваше ПО?
Сертификат соответствия, выданный ФГУП «ВНИИМС» о соответствии требованиям нормативной документации на программное обеспечение: ГОСТ Р 53798, ГОСТ Р ИСО 5725-1, ГОСТ Р ИСО 5725-2, ГОСТ Р ИСО 5725-3, ГОСТ Р ИСО 5725-4, ГОСТ Р ИСО 5725-5, ГОСТ Р ИСО 5725-6, ГОСТ Р ИСО 11095, МИ 2859, ОСТ 9510289, Р 50.2.028, РМГ 54, РМГ 76, ГОСТ Р 8.654, ГОСТ Р 8.883, ГОСТ Р ИСО 9127, ГОСТ Р ИСО/МЭК 12119, МИ 2955, Р 50.2.077ГСИ, ГОСТ ISO IEC 17025.

Я так понимаю на добровольной основе Вам легко могут провести метрологическую экспертизу. Как подтверждают на соответствие 17025, видимо платишь подтверждают.
Вложения
Аттестации програмного обеспечения в метрологии не существует.pdf
(903.42 КБ) 257 скачиваний
Аватара пользователя

cordek
Партнёр форума
Сообщения: 2441
Зарегистрирован: 7 лет 2 месяца
Поблагодарили: 711 раз

Валидация программного обеспечения (ПО)

Непрочитанное сообщение cordek »

texadmin писал(а): 16.08.2023 Сертификат соответствия, выданный ФГУП «ВНИИМС» о соответствии требованиям нормативной документации на программное обеспечение
Это вот и есть обман, у ФГУП ВНИИМС нет аккредитованного органа по сертификации.
Про метрологическую экспертизу разговор был, опять таки МЭ проводится для методик измеренийизмерений, технической документации (проектов стандартов например, или при проектировании опасных производственных объектов).
Валидация ПО для лабораторий.
email:cordek @ yandex .ru
https://t.me/limsaccreditation
https://dzen.ru/limsaccreditation

Вернуться в «Система менеджмента качества»