АЛГОРИТМ ВЕРИФИКАЦИИ МЕТОДИК
ВЕРИФИКАЦИЯ СТАНДАРТИЗОВАННЫХ МЕТОДИК КОЛИЧЕСТВЕННОГО ХИМИЧЕСКОГО АНАЛИЗА
РАЗРАБОТЧИК
Ведущий токсиколог
6. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА ПРАВИЛЬНОСТИ
6.1. Экспериментальная проверка правильности использования
6.1.1. Проверка соответствия повторяемости результатов анализа
требованиям методики с использованием одной однородной
6.1.2 Проверка соответствия повторяемости результатов анализа
6.1.3 Проверка соответствия лабораторного смещения требованиям
6.1.4 Проверка соответствия лабораторного смещения требованиям
6.1.5 Проверка соответствия лабораторного смещения
требованиям методики с использованием другой
6.2 Анализ результатов экспериментальной проверки
- НАЗНАЧЕНИЕ И ОБЛАСТЬ ПРИМЕНЕНИЯ
Настоящая документированная процедура распространяется на верификацию (или внедерение) методик количественного химического анализа (МКХА) в ветеринарной испытательной лаборатории /// (далее ВИЛ) и устанавливает процедуру подтверждения соответствия реализуемой в лаборатории МКХА требованиям нормативного документа (НД) на эту методику.
Настоящая процедура разработана с учетом требований ГОСТ Р ИСО/МЭК 17025и приказа Минэкономразвития РФ от 30.05.14г № 326 и обязательна для применения персоналом ВИЛ.
Настоящая документированная процедура не распространяется на стандартизованные МКХА, используемые за пределами целевой области их применения.
- НОРМАТИВНОЕ ОБЕСПЕЧЕНИЕ
– РМГ 76-2014 Внутренний контроль качества результатов количественного химического анализа
– Р 50.1.060-2008 Статистические методы. Руководство по использованию оценок повторяемости, воспроизводимости и правильности при оценке неопределенности измерений
– Р 50.2.060-2008 Внедрение стандартизованных методик количественного химического анализа в лаборатории
– ГОСТ Р ИСО 9000-2011 Системы менеджмента качества. Основные положения и словарь.
– ГОСТ Р ИСО 9001-2011 Системы менеджмента качества. Требования.
– ГОСТ Р ИСО/МЭК 17025-2009 Общие требования к компетентности испытательных и калибровочных лабораторий
-ГОСТ Р 8.563-96 Государственная система обеспечения единства измерений. Методики выполнения измерений
– ГОСТ Р ИСО 5725-1-02 Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Основные положения и определения
– ГОСТ Р ИСО 5725-2-2002 Точность методов и результатов измерений. Часть 2. Основной метод определения повторяемости и воспроизводимости
– ГОСТ Р ИСО 5725-3-2002 Точность (правильность и прецизионность) методов и результатов измерений. Часть 3. Промежуточные показатели прецизионности стандартного метода измерений
– ГОСТ Р ИСО 5725-4-2002 Точность (правильность и прецизионность) методов и результатов измерений. Часть 4. Основные методы определения правильности стандартного метода измерений
– ГОСТ Р ИСО 5725-5-2002 Точность (правильность и прецизионность) методов и результатов измерений. Часть 5. Альтернативные методы определения прецизионности стандартного метода измерений
– ГОСТ Р ИСО 5725-6-2002Точность (правильность и прецизионность) методов и результатов измерений. Часть 6. Использование значений точности на практике
- ТЕРМИНЫ И ОБОЗНАЧЕНИЯ
Термины и определения
В настоящем документе использованы следующие термины, обозначения и сокращения.
Документированная процедура (ДП) – внутренний нормативный (организационный) документ, содержащий установленный способ осуществления процесса (деятельности).
Система менеджмента качества (СМК) – система управления организацией применительно к качеству
Точность измерений – качество измерений, отражающее близость их результатов к истинному значению измеряемой величины.
Погрешность измерения – отклонение результата измерения от истинного значения измеряемой величины.
Систематическая погрешность измерения – составляющая погрешности измерения, остающаяся постоянной или закономерно изменяющаяся при повторных измерениях одной и той же величины.
Случайная погрешность измерения – составляющая погрешности измерения, изменяющаяся случайным образом при повторных измерениях одной и той же величины.
Правильность измерений – качество измерений, отражающее близость к нулю систематических погрешностей в их результатах.
Аналитическая серия – совокупность измерений лабораторного показателя выполненных единовременно в одних и тех же условиях без перенастройки и калибровки аналитической системы.
Повторяемость – это когда образец (или идентичные образцы) проанализированы несколько раз одним человеком в одной лаборатории, и тем же самым прибором. В таких условиях расхождение результатов, полученных аналитиком будет наименьшим.
Воспроизводимость – это когда образец проанализирован, используя тот же самый аналитический метод при изменении условий, например, когда испытания выполнены в разное время, несколькими операторами, с различными инструментами и в различных лабораториях.
Прецизионность — степень близости друг к другу независимых результатов измерений, полученных в конкретных регламентированных условиях.
Методика испытаний – организационно-методический документ, обязательный к выполнению, включающий метод испытаний, средства и условия испытаний, отбор проб, алгоритмы выполнения операций по определению одной или нескольких взаимосвязанных характеристик свойств объекта, формы представления данных и оценивания точности, достоверности результатов, требования техники безопасности и охраны окружающей среды
Испытания – экспериментальное определение количественных и (или) качественных характеристик свойств объекта.
Условия испытаний – совокупность воздействующих факторов и (или) режимов функционирования объекта при испытаниях.
Метод испытаний – правила применения определенных принципов и средств испытаний.
Верификация – проверка, проверяемость, способ подтверждения, проверка с помощью доказательств, каких-либо теоретических положений, алгоритмов, программ и процедур путем их сопоставления с опытными (эталонными или эмпирическими) данными, алгоритмами и программами; или – подтверждение соответствия конечного продукта предопределённым эталонным требованиям; или – методика распознавания лжи (укрывательства, искажения).
Валидация – это подтверждение посредством представления объективных свидетельств того, что требования, предназначенные для конкретного использования или применения, выполнены.
Примечания: термин “валидирован” используют для обозначения соответствующего статуса, условия применения могут быть реальными или смоделированными (ГОСТ Р ИСО 9000-2008).
Актуализация методик – процесс выполнения новыми документами фонда, своевременного обновления имеющихся экземпляров (в случае замены или отмены), а также систематическое внесение изменений, дополнений и поправок в них.
Лабораторное смещение – разность между математическим ожиданием результатов единичного анализа, полученных в условиях повторяемости, и принятым опорным значением.
НД – нормативная документация;
ГОСТ – государственный стандарт;
ИУС – информационный указатель национальных стандартов
МВИ – методики выполнения измерений;
МКХА- методика количественного химического анализа;
- ОБЩИЕ ПОЛОЖЕНИЯ
Целью данной процедуры является унифицирование подхода в отделах ВИЛ к использованию методик, пригодных для намеченных целей.
Все методики, используемые в лаборатории, оцениваются на пригодность до их первого рабочего применения.
Требованиями ГОСТ Р ИСО/МЭК 17025 для методик испытаний (исследований, измерений) предусмотрена оценка их пригодности (верификация), как составляющего компонента технической компетентности лаборатории.
Под оценкой пригодности методик в лаборатории понимается верификация методики, т.е. ее подтверждение путем проведения исследования рабочей пробы или специально разработанного эксперимента и предоставления объективных доказательств того, что методика подходит для целевого использования.
В случае необходимости принятия решения о расширении области аккредитации ВИЛ осуществляют внедрение методики. Алгоритм внедрения методики аналогичный алгоритму верификации.
Для внедрения новой методики руководитель лаборатории оценивает наличие квалифицированных кадров в составе ВИЛ, обладающих опытом и навыками, достаточными для выполнения измерений по новой методике и, при необходимости, организует мероприятия по повышению квалификации персонала лаборатории.
Предложения по внедрению методик могут вносится каждым специалистом менеджеру по качеству, заведующему отделом.
АЛГОРИТМ ВЕРИФИКАЦИИ МЕТОДИК
Менеджер по качеству с заведующим отделом согласовывают актуальность верификации (внедрения) методики, разрабатывают план верификации (внедрения) и назначают ответственного за процедуру реализации конкретной методики. (Приложение А)
Ответственный за верификацию (внедрение) методики разрабатывает программу организационно-технических мероприятий по верификации (внедрению) методики (Приложение Б).
Заведующий отделом осуществляет:
а) проверку наличия необходимых условий для проведения испытаний;
б) контроль соответствия операций и правил, реализуемых в лаборатории в процессе испытаний, требованиям НД;
в) проведение экспериментальной проверки возможности получения в лаборатории результатов испытаний с точностью, отвечающей требованиям НД на МВИ.
Алгоритм верификации методик включает:
1) Выбор методик испытаний, используемых в лаборатории – осуществляется с учетом их назначения, области распространения, диапазонов определения показателей, установленных показателей качества методики, а также информации о наличии влияющих факторов.
2) проверку использования актуализированной версии НД на испытания (измерения). Ответственный сотрудник за актуализацию и сохранность фонда нормативной документации проводит актуализацию после получения из информационной системы комплексного обслуживания изменений.
3) проверку соответствия необходимого оборудования (СИ, ИО, вспомогательного оборудования и материалов, в т.ч. для отбора проб), реактивов, ГСО, анализ имеющихся ресурсов и указания на необходимость восполнения недостающих;
4) контроль сроков поверки и калибровки средств измерений, аттестации испытательного оборудования, проверку технического состояния вспомогательного оборудования;
Учет всего оборудования осуществляет ответственное лицо за обеспечение единства измерений.
5) проверку сроков годности ГСО, реактивов и вспомогательных материалов;
6) установление градуировочной зависимости и проверка ее стабильности (если это требование регламентировано МКХА);
7) проверку качества дистиллированной воды (при необходимости)
8) распределение обязанностей и ответственности между сотрудниками лаборатории по реализации элементов процедуры выполнения анализа;
9) экспериментальную проверку правильности использования реализуемой методики;
10) Фактически установленные значения показателей качества результатов испытаний регистрируются, анализируются и принимается решение о соответствии/несоответствии реализуемой в лаборатории методике требованиям нормативного документа на эту методику.
При внесении значимых изменений в НМД влияющих на качество получаемых результатов количественного химического анализа, правильность применения МКХА в лаборатории подлежит повторному подтверждению.
Отсутствие изменений в НМД являются основанием для использования МКХА в лаборатории с выдачей результатов испытаний (измерений, исследований) и проведения последующего внутрилабораторного контроля качества получаемых по ней результатов анализа.
спасибо за ответ, продолжу разбиться)
хочу более подробно объяснить, что я хочу “верифицировать”
например, я беру 5 результатов (или серий) по показателю Белок препарата из нашей лаборатории (ИЛ)
и беру сертификат у Производителя, нахожу те же 5 серий, выбираю показатель Белок. Методики одинаковые, у производителя методика валидирована. мы сравниваем результаты одного и того же препарата, только получены результаты в двух лабораториях одинаковым методом.
получается таблица со значениями
(ИЛ – Производитель)
5,60 – 5.6
5,60 – 5.9
5,60 – 5.9
5,51 – 5.9
5,80 – 5.8
теперь самое веселое) сравнить два метода анализа по воспроизводимости.
1) определяем для каждой выборки статистические параметры: Среднее арифметическое, стандартное отклонение рузультатов измерения, дисперсию, коэффициент вариации, стандартное отклонение среднего арифметического.
следующие вычисления производила опираясь на гос.фармакопею ОФС.1.1.0013.15 Статистическая обработка результатов химического эксперимента
2) считаем критерий Фишера, а именно делим дисперсию ИЛ на дисперсию Производителя. (если определяемый критерий меньше табличного значения, то это хорошо. если нет – плохо)
Данный критерий позволяет сравнить два метода анализа по ВОСПРОИЗВОДИМОСТИ.
3) t-критерий Стьюдента позволяет сравнить СРЕДНИЙ результат ДВУХ выборок
мы его считаем – считаем по формуле из фармакопеи (4.5)
и там написано: цитата: “t>t(P,f), то результат проверки положителен – значение (х (ср)ИЛ – х(ср)Производителя) является значимым и гипотезу что средние двух выборок отбрасывают. В противном случае надо признать, что эта гипотеза не противоречит экспериментальным данным”
если рассчитать показатель Белок, то получается что
Объем выборки (n) = 5
результаты по ИЛ
Среднее значение, Х 5,622
Дисперсия, s 0,01142
Стандартное
отклонение среднего
результата, Sб 0,0478
Относительное стандартное
отклонение результата
(Коэфициент вариации), RSD, % 0,85
результаты по Производителю
Среднее значение, Х 5,82
Дисперсия, s 0,01700
Стандартное
отклонение среднего
результата, Sб 0,0583
Относительное стандартное
отклонение результата
(Коэфициент вариации), RSD, % 1,00
Максимальное допустимое
значение t-критерия Стьюдента 2,306 – табличное значение при f=n+n-2)
Максимальное допустимое значение
F-критерия Фишера 10,967 – табличное значение при n=5
Расчетное значение t-критерия Стьюдента 2,626
Расчетное значение F-критерия Фишера 0,820
заметно, что наше число 2,626 > 2,306. это означает что мы плохо определяем показатель и
НО Фишер нормальный, а это значит что наш метод воспроизводим.
как в итоге?
ориентироваться на критерий Стьюдента или только на Фишера? или я ушла не в ту степь) ахахах
в РМГ 76-2014 нашла только на внутрилабораторную воспроизводимость.