ВЕРИФИКАЦИЯ ПРЕЦИЗИОННОСТИ И ПРАВИЛЬНОСТИ АНАЛИТИЧЕСКИХ МЕТОДОВ И СИСТЕМ НА ОСНОВАНИИ МЕТОДОЛОГИИ ДОКУМЕНТА CLSI EP-15A3.


В предыдущих материалах, мы дали определения валидации и верификации аналитических методов и систем, показали место этих мероприятий в структуре TQM, а также подробно рассмотрели их теоретические аспекты. Кроме того, мы показали, какие требования к валидации и верификации аналитических методов и систем предъявляют наиболее популярные нормативные документы, в частности ISO 15189:2012 и CLIA-88. В последующей серии материалов, мы подробно остановимся на практической реализации этих требований, а именно, на том, как в конкретной лаборатории выполнить верификацию аналитических методов и систем. Свои рекомендации мы будем давать на основании методологий и протоколов, которые даны в соответствующих документов CLSI, сопровождая их рабочими инструментами, созданными в формате электронных таблиц Excel. Начнем с верификации, прецизионности и правильности, поскольку её проведение наиболее часто востребовано в медицинских лабораториях.


Цель и сфера применения документа EP15-A3.


При разработке документа EP15-А3, подкомитет EP15 CLSI преследовал две цели, которые отвечали запросам медицинских лабораторий. Так, лабораториям нужен был документ с протоколом верификации прецизионности и правильности, который бы требовал минимальных финансовых затрат, был простым в выполнении и содержал такой объем измерений, который бы обеспечивал достоверные статистические выводы. Согласно подкомитету CLSI EP15, цели создания документа EP15-A3 были следующие:

При разработке EP15 подкомитет преследовал две главные цели. Первая заключалась в разработке протокола тестирования, достаточно простого для применения его в медицинских лабораториях вне зависимости от их сложности и финансовых ресурсов, то есть от лабораторий выполняющих прикроватное тестирование или лабораторий врачебных офисов, до больших клинических лабораторий. Вторая цель заключалась в разработке достаточно строгого протокола, который мог бы обеспечить статистически достоверные выводы, относительно результатов верификационных экспериментов”.

Для достижения этих целей, подкомитет разработал пятидневный протокол тестирования, состоящий, по крайней мере, из 25-ти повторных измерений, выполняемых в течение, по крайней мере, 5 рабочих дней для каждого из используемых в эксперименте уровней материала, минимальное количество которых должно быть не менее двух.

Сфера применения документа вытекает из указанных выше целей, которые он преследовал. Документ EP15-A3 следует применять в медицинских лабораториях для верификации величин прецизионности и правильности аналитических методов и систем, заявленных в спецификациях производителя. Главным образом, эту верификацию следует выполнять, когда общепризнанный метод или аналитическая система впервые внедряется в практику медицинской лаборатории, а также после проведения корректирующих мероприятий, выполнявшихся, вследствие неудачных результатов внешней оценки качества или после проведения сложного технического обслуживания аналитической системы.



EP15-A3: определение терминов.

Документ EP15-A3 содержит протокол эксперимента и описание статистического анализа данных для верификации спецификаций производителя по повторяемости, внутри-лабораторной прецизионности и правильности. В документе даны следующие определения этих и связанных с ними характеристик аналитической эффективности метода:







Обзор протокола документа EP15-A3.


Как упоминалось выше, протокол эксперимента по верификации прецизионности и правильности документа EP15-A3 включает 25 повторных измерений концентрации аналита, выполняемых на двухуровневом материале в течение 5 рабочих дней. Следовательно, при условии эффективного планирования эксперимента, его можно выполнить в течение одной рабочей недели. Эффективность планирования эксперимента, прежде всего, заключается в выборе универсального материала (см.ниже), на основании результатов исследования которого, можно в одном эксперименте верифицировать как прецизионность, так и правильность метода или аналитической системы. На рисунке 1 продемонстрирован процесс выполнения протокола эксперимента документа EP15-A3.


Рисунок 1. Процесс выполнения протокола эксперимента по верификации прецизионности и правильности метода или аналитической системы документа CLSI EP15-A3.


Ознакомительный период необходим для обучения операторов правильной работе на новой для лаборатории аналитической системе, то есть калибровке, ежедневному обслуживанию и рекомендованной производителем процедуре контроля качества. Эта процедура контроля качества должна выполняться операторами в процессе выполнения верификационного эксперимента. Как указывалось выше, краеугольным камнем эффективности планирования и проведения эксперимента является выбор материала тестирования. С одной стороны, выбираемый лабораторией материал должен отвечать требованиям оценки прецизионности, а с другой – правильности. Если такой материал будет выбран, то тогда на основании полученных результатов одного эксперимента, выполненного в течение одной рабочей недели, можно выполнить как верификацию прецизионости, так и правильности аналитического метода или системы. Очевидно, что такой “объединенный” вариант протокола эксперимента является наиболее эффективным, поскольку его выполнение требует от медицинских лабораторий меньших финансовых и временных затрат.


В соответствии с документом EP15-A3, можно представить требования к материалу для выполнения протокола объединённого эксперимента по верификации прецизионности и правильности метода или аналитической системы следующим образом:







Как видно из этого списка, наиболее доступным для медицинских лабораторий являются референтный (контрольный) материал, взятый из программы ВОК. В связи с этим, дальнейшее описание методологии выполнения эксперимента и статистического анализа полученных данных будет основано на выборе специалистами медицинской лаборатории именно такого референтного материала.




Цели и задачи эксперимента по верификации прецизионности и правильности документа EP15-A3.

Поскольку документ EP15-А3 предусматривает выполнение ”объединённого” протокола эксперимента по верификации прецизионности и правильности, то его цели и задачи также можно представить в ”объединённом” виде.












Пошаговое описание протокола эксперимента по верификации прецизионности и правильности документа EP15-A3.


Пошаговое выполнение протокола эксперимента по верификации прецизионности и правильности документа EP15-A3 можно представить следующим образом:







Рисунок 2. Места ввода начальной информации, дат выполнения измерений и их результатов в рабочий инструмент документа CLSI EP15-A3.



Статистический Анализ Экспериментальных Данных.

Статистический анализ полученных экспериментальных данных в прилагаемом к этому материалу рабочем инструменте выполняется автоматически. Далее, используя пример, который дан в приложении к документу EP15-A3, мы подробно рассмотрим, как выполняется этот статистический анализ данных.





Рисунок 3. Места расчета описательной статистики в рабочем инструменте документа CLSI EP15-A3.



Рисунок 4. Место работы теста Граббса для идентификации выбросов в рабочем инструменте документа CLSI EP15-A3.

Стандартная процедура работы с результатами эксперимента, идентифицируемыми тестом Граббса как статистические выбросы представлена на рисунке 5. Здесь, на первом этапе ключевым является количество этих выбросов на одну аликвоту используемого референтного материала, а также на общее количество полученных экспериментальных данных. Тогда, если это количество будет неприемлемым, верификационный эксперимент повторяют. Если же количество статистических выбросов является приемлемым, то тогда выполнение дальнейших этапов процедуры зависит от того состоится, либо нет верификация по прецизионности с учетом этого приемлемого количества выбросов. Если верификация состоится, тогда верификационный эксперимент не повторяют, если же нет, то тогда следует выполнить статистический анализ полученных экспериментальных данных после исключения результатов, являющихся выбросами. Далее, если результаты верификации на основании этого анализа будут индентичны, то есть верификация не состоится в обеих вариантах, то тогда верификационный эксперимент следует повторить, если же нет, то тогда верификационный эксперимент не повторяют, а выполняют только дополнительные исследования, вместо тех, результаты которых были идентифицированы как статистические выбросы.



Рисунок 5. Стандартная процедура работы с результатами эксперимента, идентифицированными тестом Граббса как статистические выбросы.





Рисунок 6. Место расчета величин Повторяемости (Repeatability) и Внутрилабораторной Непрецизионности (Within-Laboratory Imprecision) в рабочем инструменте документа CLSI EP15-A3. При помощи однофакторного дисперсионного анализа (One-Way ANOVA) рассчитываются компоненты дисперсий (Внутригрупповая (Vw), и Межгрупповая (Vb)), а затем на их основании рассчитываются величины Повторяемости и Внутрилабораторной Непрецизионности в виде SD (SR,SWL) и СV (CVR,CVWL), которые на рисунке выделены фиолетовыми квадратами. Примечание: если величина Cреднего Квадратичного 1 (MS1) будет меньше или равна величине Среднего Квадратичного 2(MS2), то тогда величину Межгрупповой Дисперсии (Vb) следует принять за нуль.



Рисунок 7. Место внесения в таблицу рабочего инструмента документа CLSI EP15-A3 величин MC по повторяемости (выделено красным квадратом) и внутрилаборной прецизионности (выделено зелёным квадратом).



Ложная Оценка

Истинная Оценка

Истинная Оценка

Истинная Оценка

Истинная Оценка

Ложная Оценка


Рисунок 8. Значение верхней верификационной границы (UVL) в нивелировании ложной оценки (интерпретации) результатов верификационного эксперимента. Использование UVL в интерпретации результатов верификационного эксперимента по прецизионности формирует 95% доверительный уровень для величин MC. Это снижает уровень ложных выбраковок результатов этого эксперимента до 10% (5% для результата оценки верификационного эксперимента по повторяемости и 5% для результата оценки верификационного эксперимента по внутрилабораторной прецизионности) для каждого уровня используемого в эксперименте референтного материала.


Расчет UVL в рабочем инструменте выполняется в три этапа (Рисунок 9) с привлечением Таблиц N6 и N7 документа, которые есть и в рабочем инструменте на отдельных листах в формате Excel. Этапы расчета UVL следующие:





Рисунок 9. Место расчета в таблице рабочего инструмента документа CLSI EP15-A3 величин UVL. Розовым цветом выделены ячейки таблицы, где расположены параметры расчета, требующие работы с таблицами N6 и N7 документа CLSI EP15-A3.





Если верификация не состоится, то тогда лаборатория может устранить проблемы с методом или аналитической системой, возможно с помощью производителя, а затем повторить верификационный эксперимент. Альтернативой служит выполнение валидационного эксперимента в соответствии с методологией, изложенной в документе СLSI EP05.





Рисунок 10. Место интерпретации верификационного эксперимента по прецизионности в таблице рабочего инструмента документа CLSI EP15-A3. Первый уровень интерпретации выделен красным квадратом, а второй уровень интерпретации выделен синим квадратом. Используемая аббревиатура: Pass – верификация состоялась; Fail – верификация не состоялась.



Рисунок 11. Место ввода исходных данных в таблицу рабочего инструмента документа CLSI EP15-A3, необходимых для выполнения верификационного эксперимента по правильности. Здесь, исходными данными являются групповое среднее значение (Peer Group Mean), стандартное отклонение референтного (контрольного) материала ВОК (Group SD), количество участников ВОК (Participants), а также допустимая (целевая) величина аналитического смещения для данного аналита (Allowable Bias).


Как видим, исходные данные для анализа верификационного эксперимента по правильности связаны с характеристикой используемого РМ, а именно с контрольным материалом, который лаборатория исследует в рамках участия в ВОК. Что же касается других данных этой таблицы (GM,SR,SWL), то они “приходят” из результатов верификационного эксперимента по прецизионности. Именно они объединяют статистический анализ данных двух экспериментов, тем самым повышая эффективность его проведения.






Итак, логика статистических расчётов, а также интерпретации результатов верификации основана на расчете среднего значения (GM), определении верификационного интервала для целевого значения РМ и сравнении его с GM. Если величина GM будет находиться в пределах этого верификационного интервала, то тогда статистическая верификация правильности метода или аналитической системы состоялась, если же нет, то тогда, соответственно, верификация не состоялась. Пользовательская интерпретация основана на сравнении экспериментальной величины и допустимой величины (то есть целевой величины, установленной самой лабораторией) аналитического смещения. Эта верификация является приоритетной, то есть если статистическая верификация не состоится, а пользовательская состоится, то экспериментальная величина аналитического смещения будет считаться верифицированной, то есть приемлемой для лаборатории.


Рисунок 12. Место статистических расчётов и интерпретации результатов верификационного эксперимента по правильности в таблице рабочего инструмента EP15-A3. Используемая аббревиатура верификации: NoStatSignificant – статистическая верификация правильности не состоялась; StatSignificant - статистическая верификация правильности состоялась; UserAcceptable – пользовательская верификация правильности состоялась; NoUserAcceptable - пользовательская верификация правильности не состоялась (на рисунке не показана).


Выводы.





Литература.

  1. CLSI. EP15-A3. User Verification of Performance for Precision and Trueness. Clinical Laboratory Standards Institute, Wayne, PA, 2014.