Ваш браузер устарел. Рекомендуем обновить его до последней версии.

__________________________________________________________________________

УВАЖАЕМЫЕ КОЛЛЕГИ! ОБРАЩАЕМ ВАШЕ ВНИМАНИЕ, ЧТО ПОЗИЦИЯ ОРГАНИЗАТОРОВ ДАННОГО РЕСУРСА МОЖЕТ НЕ СОВПАДАТЬ С МНЕНИЕМ СТОРОННИХ АВТОРОВ, МАТЕРИАЛЫ КОТОРЫХ ПУБЛИКУЮТСЯ НА САЙТЕ. ДЛЯ ОБСУЖДЕНИЯ ПОДОБНЫХ МАТЕРИАЛОВ ПРОСЬБА ВЫСЫЛАТЬ ВОПРОСЫ, ПРЕДЛОЖЕНИЯ, ЗАМЕЧАНИЯ ПО э-почте: e_artem@mail.ru

___________________________________________________________________________

Нормативная база валидации и верификации

Валидация и верификация методов: требования ISO 15189:2012 и CLIA 88

 

В принципе, существующие нормативные документы, регламентирующие работу медицинских лабораторий в области качества можно разделить на три части: глобальные, изданные международными организациями, такими как ISO, национальные, составленные ответственными органами и организациями различных стран, например Rilibak в Германии, либо СLIA-88 в США, а также нормативные документы, изданные различными аккредитационными организациями, работающими в рамках национальных нормативных требований. К последним можно отнести требования таких организаций, как Объединенная Комиссия по Акредитации Организаций Здравоохранения (Joint Commission for Accreditation of Healthcare Organizations (JC))[2], Комиссия по Аккредитации Лабораторий Офисов врачей (Commission on Office Laboratory Accreditation (COLA))[4] и Коллегия Американских Патологов (College of American Pathologists (CAP))[3], которые работают в рамках Федерального Закона CLIA-88 (США). Отдельным пунктом можно выделить документы, издаваемые Институтом Клинических Лабораторных Стандартов (Clinical Laboratory Standards Institute (CLSI)) (см.ниже). 

После опубликования  2003 году первой редакции документа  ISO 15189, он стал выступать в качестве глобального стандарта, регламентирующего работу в области качества медицинских лабораторий. В связи с этим многие страны, в том числе и страны СНГ, на его основе формируют национальную нормативную базу, регламентирующую работу медицинских лабораторий в области качества. В то же время в США нормативная база основана на Федеральном Законе CLIA-88, который формирует обязательный минимальный стандарт качества работы американских медицинских лабораторий. Аккредитация медицинских лабораторий США основана на стандартах CLIA, хотя в последнее время там растет интерес и к факультативной аккредитации медицинских лабораторий в соответствии с ISO 15189. 

В этом материале мы рассмотрим нормативные требования по проведению валидации и верификации метода, изложенные в глобальном документе (ISO 15189:2012[5]) и одном из наиболее тщательно разработанных и популярных национальных документов CLIA-88, который регламентируют деятельность медицинских лабораторий США.

 

Федеральный Закон CLIA-88 (США) и его краткая история.

 

В США, первые требования, регламентирующие работу медицинских лабораторий  были опубликованы 5 декабря 1967 года в виде Акта Улучшения деятельности Медицинских Лабораторий (Сlinical Laboratory Improvement Act (CLIA´67). Этот документ тщательно следовал нормативным требованиям  Федеральной Программы (около 10% всего бюджета США) Медицинской помощи престарелым, то есть людям старше 65 лет, инвалидам и людям с постоянной почечной недостаточностью, требующей диализа или трансплантации. Инспекционные программы лабораторий выполнял каждый Штат, а также Коллегия Американских Патологов. Требования CLIA´67 охватывали только малый процент лабораторий США, то есть в основном лаборатории больших больниц и референтные лаборатории. В связи с этим, была потребность в документе, регламентирующем работу максимального количества медицинских лабораторий США.

31 октября 1988 года, Конгресс США принял “Поправки в Развитие Клинико-Лабораторной Службы” (Clinical Laboratory Improvement Amendments (CLIA)). Этот документ заменил CLIA´67. Цель документа заключалась в установлении стандартов качества для всех результатов  лабораторных тестов, то есть обеспечения гарантии их точности, надежности и своевременности вне зависимости от того в какой лаборатории они были выполнены, а также принятия мер по закрытию лабораторий в случае их непригодности. Иными словами, нормативные требования СLIA-88 охватывали все лаборатории США.       

28 февраля 1992 года, Центры для предоставления медицинской помощи бедным и страхования здоровья по старости (Centers for Medicare & Medicaid Services(CMS)) и работающие с ними Центры по Контролю и Профилактике Заболеваний (Centers for Disease Control and Prevention (CDC)) и Управление по санитарному надзору за качеством Пищевых продуктов и Медикаментов (Food and Drug Administration (FDA)) опубликовали Финальные правила CLIA[1]. Эти правила, содержали нормативные требования к  тестам, основанные на сложности их методов, а не на типах лабораторий, где выполняется тестирование. Такой подход позволил охватить нормативными требованиями максимальное количество рабочих мест (сайтов) тестирования вне зависимости от того в каком из типов лабораторий они были локализованы, что соответствовало задачам CLIA-88. Тогда же, правительство внесло финальные правила CLIA  в  Федеральный Реестр.   

Наконец, 24 января 2003 года CDC и CMS опубликовали финальные правила CLIA для Систем Качества медицинских лабораторий, которые вступили в силу в апреле 2003 года[6]. Чуть позже, в январе 2004 года, СMS издали объединенное с финальными правилами CLIA-88 “Утверждённое Руководство” (State Operation Manual (SOM))[7]. Этот документ разрабатывался как руководство для инспекторов (сюрвейеров) лабораторий, работающих с CMS.   

В итоге, CLIA стал уникальным нормативным документом в том, что его требования распространяются на все американские медицинские лаборатории и сайты тестирования, что закрепляется получением соответствующего сертификата. Иными словами, только после получения сертификата CLIA, лаборатории могут выполнять лабораторные тесты. Эти сертификаты выдаются лабораториям после их регистрации в CMS и по итогам проведения их инспекции сюрвейерами CMS в соответствии с SOM. Хотя все медицинские лаборатории США должны выполнять тестирование только при получении соответствующего сертификата CLIA, они могут инспектироваться не только сюрвейерами CMS. Так, лаборатории могут на добровольной основе выбирать аккредитацию одной из профессиональных организаций, одобренных CMS. Требования этих организации (CAP,JC,COLA) эквивалентны или даже превышают требования CLIA. По результатам инспекции, инспекторы этих организаций выдают лабораториям сертификат об аккредитации.           

 

Финальные Правила CLIA-88: Классификация тестов в зависимости от сложности их методов.  

 

Как упоминалось выше, нормативные требования СLIA-88 к качеству тестов, в том числе и требования к проведению их верификации и валидации, основаны на классификации в зависимости от сложности их методов. Эта классификация выполняется специалистами FDA и основана на требуемых знаниях, квалификации и образовании специалистов, которые требуются им для выполнения методики тестирования. Итак, CLIA классифицирует тесты на:

 

  • Простые или отклоненные (Waived) тесты.
  • Тесты средней и высокой сложности, не отклонённые (Non-Waived) тесты, утверждённые FDA или модифицированные, либо разработанные в лаборатории.

 

Финальные Правила CLIA-88: Требования к валидации и верификации  методов в зависимости от сложности теста (Подраздел K §493.1253).    

 

  • Простые или отклоненные (Waived) тесты. Для этих тестов требования CLIA минимальны. Лабораториям необходимо просто следовать инструкциям производителя, без выполнения  верификации или валидации методов тестирования.  

 

  • Тесты средней и высокой сложности, не отклонённые (Non-Waived) тесты, утверждённые FDA или модифицированные, либо разработанные в лаборатории. Здесь,для тестов:   

 

ü Средней и высокой сложности, утвержденных FDA, специалисты лаборатории должны выполнить верификацию следующих аналитических характеристик метода: 

 

  • Точность.
  • Прецизионность.
  • Рабочий диапазон результатов тестирования.
  • Референтный(е) интервал(ы) для популяции пациентов с которой работает медицинская лаборатория.

 

Как правило, для выполнения этих требований, лаборатория должна выполнить следующие верификационные эксперименты:

 

  • Ø Эксперимент по сравнительному анализу методов для верификации величины неточности (аналитического смещения) метода.
  • Ø Репликационный эксперимент по верификации величины непрецизионности метода.
  • Ø Эксперимент по верификации линейности (рабочего диапазона) метода.
  • Ø Эксперимент по верификации референтного(ых) диапазон(ов) метода.

 

  • Ø Средней и высокой сложности, модифицированные или разработанные в самой лаборатории (In-House), специалисты лаборатории должны выполнить валидацию следующих аналитических характеристик метода:     

 

  • Точность.
  • Прецизионность.
  • Рабочий диапазон результатов тестирования.
  • Аналитическую чувствительность.
  • Аналитическую специфичность.
  • Референтные интервалы (нормальные значения).

 

Как правило, для выполнения этих требований, лаборатория должна выполнить следующие валидационные эксперименты:

 

  • Эксперимент по сравнительному анализу методов для валидации величины неточности (аналитического смещения) метода.
  • Репликационный эксперимент по валидации величины неприцизионности метода.
  • Эксперимент по определению линейности (рабочего диапазона) метода.
  • Эксперимент по определению предела детекции метода.
  • Эксперимент по определению интерференции для валидации  константной систематической ошибки метода.
  • Эксперимент на открытие с целью валидации пропорциональной систематической ошибки метода.
  • Эксперимент по определению референтного(ых) диапазона(ов) метода.

 

Следует отметить, что CLIA отдельное требование к верификации и валидации методов средней и высокой сложности предъявляет к их калибровке, то есть к её проведению и верификации.  

 

  • Калибровку, повторную калибровку, а также частоту выполнения калибровок аналитической системы лаборатория должна проводить в соответствии с рекомендациями производителя, плюс повторная калибровка требуется при неадекватной её верификации.  

 

  • Верификацию калибровки или повторную калибровку лаборатория должна проводить:

 

  • Каждые шесть месяцев.
  • После изменения лота реагентов.
  • После проведения превентивного технического обслуживания аналитической системы.
  • После замены в аналитической системе каких-либо главных её компонентов.
  • При присутствии проблем с контролем качества. 

 

 

Совершенно очевидно, что в медицинских лабораториях, наибольшее количество тестов относится к тестам средней и высокой сложности, утвержденных FDA. Информацию относительно классификации тестов в зависимости от сложности их методов можно найти на официальном сайте FDA по следующей ссылке: http://www.accessdata.fda.gov/scripts/cdrh/cfdocs/cfCLIA/search.cfm

 

ISO 15189:2012 “Медицинские лаборатории требования к качеству и компетенции” и его требования к проведению верификации и валидации методов.   

 

В первой редакции международный стандарт, разработанный Международной Организацией по Стандартизации (International Organisation for Standardization (ISO)) вышел в 2003 году. Во второй редакции документ был представлен в 2007 году и, наконец, в третьей редакции, документ был издан в ноябре 2012 года. Каждая новая редакция документа, делала его более специфичным, приближая его к конкретным нуждам медицинских лабораторий.

 

ISO 15189: 2012: Требования к проведению верификации методов. 

 

В последней редакции ISO 15189:2012 требования к проведению верификации и методов (процедур измерения) изложены в подразделе 5.5.1.2 Верификация процедур исследования.   

Документ требует от медицинских лабораторий проведения документированной верификации не модифицированных методов исследования, на основании полученных от производителя спецификаций по их аналитической эффективности. Иными словами, специалистам лаборатории нужно объективно доказать, что метод или аналитическая система будет работать в данной лаборатории точно так, как это указано в технических спецификациях их производителя.

В отличие от СLIA-88, ISO 15189:2012 строго не детализирует и не фиксирует аналитические характеристики метода, которые следует верифицировать, ссылаясь на информацию, указанную в спецификации производителя. Отдельным пунктом (5.5.1.4) документ требует выполнить оценку неопределённости результатов измерения. Как правило, чаще всего, производители методов или аналитических систем в инструкциях к своей продукции указывают спецификации следующих аналитических характеристик, которые необходимо верифицировать сотрудникам лаборатории:  

  

  • Линейность (рабочий диапазон) результатов тестирования.
  • Нижний предел детекции аналита (аналитическая чувствительность).
  • Интерференции (аналитическая специфичность).
  • Референтный(е) интервал(ы).
  • Прецизионность.
  • Точность (сравнение методов).
  • Правильность.

 

Для выполнения этих требований, сотрудники лаборатории должны выполнить следующие верификационные эксперименты:

 

  • Ø Эксперимент по верификации линейности (рабочего диапазона) метода.
  • Ø Эксперимент по верификации нижнего предела детекции метода.
  • Ø Эксперимент по верификации интерференции (константной систематической ошибки).
  • Ø Эксперимент по сравнительному анализу методов для верификации величины неточности (аналитического смещения) метода.
  • Ø Репликационный эксперимент по верификации величины непрецизионности метода.
  • Ø Эксперимент по оценке неопределённости результатов измерения.   
  • Ø Эксперимент по верификации правильности метода.

 

ISO 15189: 2012: Требования к проведению валидации методов. 

 

Требования к валидации методов в ISO 15189: 2012 изложены в подразделе документа 5.5.1.3 Валидация процедур исследования. Кроме того, в подразделе 5.5.2 указаны требования к оценке референтных интервалов и точек принятия клинических решений.

В отличие от требований к верификации, в документе достаточно четко прописаны как требования к проведению валидации методов, так и перечень валидируемых аналитических характеристик. Для всех нестандартных методов, стандартных методов, используемых в лаборатории вне области своего предназначенного применения, методов разработанных в лаборатории, а также валидированых и впоследствии модифицированных методов лаборатория должна представить объективные доказательства того, что указанные их аналитические характеристики соответствуют надлежащему применению. Иными словами, для этих методов, специалисты лаборатории должны установить указанные в примечании к подпункту 5.5.1.3аналитические характеристики и сравнить их с целями аналитического качества. Кроме того, в соответствии с подпунктом 5.5.2 лабораториям следует установить референтные интервалы методов и точки принятия клинических решений. То есть, лаборатории следует выполнить валидацию следующих аналитических характеристик метода:    

 

  • Правильность. 
  • Прецизионность.
  • Аналитическую специфичность.
  • Аналитическую чувствительность.
  • Линейность (рабочий диапазон).
  • Неопределённость измерения. 
  • Референтные интервалы.
  • Диагностическую специфичность.
  • Диагностическую чувствительность.

 

Для выполнения этих требований, сотрудники лаборатории должны выполнить следующие валидационые эксперименты:

 

  • Эксперимент по сравнительному анализу методов для валидации величины неправильности метода.
  • Репликационный эксперимент по валидации величины неприцизионности метода.
  • Эксперимент по определению интерференции для валидации  константной систематической ошибки метода.
  • Эксперимент на открытие с целью валидации пропорциональной систематической ошибки метода.
  • Эксперимент по определению нижнего предела детекции метода.
  • Эксперимент по определению линейности (рабочего диапазона) метода.
  • Эксперимент по оценке неопределённости результатов измерения.  
  • Эксперимент по определению референтного(ых) диапазона(ов) метода.

 

В ISO 15189:2012 требования к калибровке методов увязаны с требованиями к оборудованию и изложены в подпункте 5.3.1.4  Калибровка Оборудования и метрологическая прослеживаемость. Здесь, помимо требований к документации калибровок (повторных калибровок), их верификации и следованию инструкции производителя, документ требует, чтобы результаты калибровок были метрологически прослеживаемы к сертифицированным референтным материалам или референтной процедуре измерения более высокого метрологического порядка. При этом, документация по метрологической прослеживаемости может предоставляться лаборатории производителем аналитической системы. 

Следует отметить, что, как и в СLIA-88, зоной ответственности большинства медицинских лабораторий является верификация методов, в то время как валидация методов – это преимущественно зона ответственности  производителей методов или аналитических систем.

 

Практические подходы к проведению валидации и верификации методов в ракурсе нормативных требований CLIA-88 и ISO 15189:2012.

 

В целом, в CLIA и ISO 15189  перечень  аналитических характеристик метода, которые требуется верифицировать и валидировать лабораториям, очень схож. Тем не менее, в отличие от СLIA, ISO 15189 вводит медицинские лаборатории в мир метрологических терминов (правильность, прослеживаемость и неопределённость), которые до 2003 года использовались только в калибровочных (метрологических) лабораториях. Эти метрологические термины мы достаточно подробно рассматривали в предыдущем материале. В то же время, в отличие от  ISO 15189, в СLIA-88 требования к верификации и валидации методов, увязаны с их сложностью и являются фиксированными, что делает документ очень конкретным, без расплывчатых формулировок.  

CLIA-88 и особенно ISO 15189 являются стандартами ” высокого уровня”, которые акцентируются на общих рекомендациях, а именно на том, что следует сделать лаборатории в области качества, но не на том, как это сделать. То есть, в этих документах, преимущественно указываются цели, но мало говорится о методах их достижения. С другой стороны, в документах, изданных Институтом Клинических Лабораторных Стандартов (Clinical and Laboratory Standards Institute (CLSI)) США дается методология проведения всех необходимых экспериментов по верификации и валидации методов. В таблицах 1 и 2 приводится как перечень необходимых аналитических характеристик метода, которые следует верифицировать или валидировать, так и перечень экспериментов, при помощи которых это можно сделать в соответствии с требованиями CLIA-88 и ISO 15189. Также, в этой таблице приводятся  документы CLSI, где дана методология проведения этих экспериментов.         

Таблица 1. Верификация и валидация аналитических характеристик метода, в соответствии с СLIA-88 и связанные с ними документы CLSI.

 

Федеральный Закон CLIA - 88 (США)

ХАРАКТЕРИСТИКА МЕТОДА

ВЕРИФИКАЦИЯ

ВАЛИДАЦИЯ

ДОКУМЕНТ CLSI

Точность

Верификационный Сравнительный      Анализ Методов

Валидационный Сравнительный Анализ Методов

EP09-A3 [10]

 

 

 

Прецизионность

Верификационный   Репликационный    Эксперимент

Валидационный  Репликационный Эксперимент

EP15-A3 [8];        EP05-A3 [9]

Рабочий диапазон

Верификация           Линейности.  

Валидация           Линейности

EP06-A[12]

Референтные           Интервалы

Верификация          Референтных          Интервалов

Валидация          Референтных      Интервалов

EP28-A3C [14];

EP24-A2 [13]

Аналитическая          Чувствительность

 

Валидация         Предела                Детекции 

EP17-A2 [15]

Аналитическая         Специфичность

 

Валидация            Интерференции

EP07-A2 [11]

 

Таблица 2.  Верификация и валидация аналитических характеристик метода, в соответствии с ISO 15189:2012 и связанные c ними документы CLSI. Оценка неопределённости измерения должна проводиться как при верификации, так и при валидации метода(ов).   

ISO 15189:2012

ХАРАКТЕРИСТИКА МЕТОДА

ВЕРИФИКАЦИЯ

ВАЛИДАЦИЯ

ДОКУМЕНТ CLSI

Точность

Верификационный Сравнительный Анализ Методов

 

EP09-A3

 

 

 

Правильность

Верификация        Правильности

Валидация          Правильности

EP15-A3;          EP09-A3

 

Прецизионность

Верификационный Репликационный  Эксперимент

Валидационный   Репликационный Эксперимент

EP15-A3;          EP05-A3

Неопределенность Измерения

Оценка Неопределенности Измерения

С51-A [16]

Метрологическая

Прослеживаемость Калибровки

Демонстрация       Метрологической  Прослеживаемости

Установление    Метрологической  Прослеживаемости

X5-R [17]

Рабочий диапазон

Верификация          Линейности. 

Валидация            Линейности

EP06-A

Референтные         Интервалы

Верификация          Референтных           Интервалов

Валидация          Референтных        Интервалов

EP28-A3C;        EP24-A2

Аналитическая      Чувствительность

 

Валидация          Предела               Детекции

EP17-A2

Аналитическая     Специфичность

 

Валидация                Интерференции

EP07-A2

 

Как видим, уникальность документов CLSI состоит в том, что они обеспечивают методологией все необходимые верификационные и валидационные эксперименты. Лаборатории могут приобрести их по умеренной цене на сайте CLSI по следующей ссылке: http://shop.clsi.org/method-evaluation-documents/ 

 

Выводы.

 

  • Нормативные документы, регламентирующие систему управления качеством (СМК) медицинских лабораторий можно разделить на три группы: глобальные, национальные и документы аккредитационных организаций. Многие страны за основу своих национальных нормативных документов в области качества медицинских лабораторий берут глобальный документ ISO 15189, другие же страны формируют такие нормативные документы самостоятельно.       
  • Наиболее популярным и тщательно разработанным национальным нормативным документом в области СМК медицинских лабораторий является  Федеральный Закон CLIA-88(США), имеющий 36-летнюю историю своего развития. Разрабатывали этот документ специалисты авторитетных американских организаций CMS, FDA и CDC.
  • В СLIA-88 требования к верификации и валидации методов основаны на классификации по их сложности, которую разработали специалисты FDA. Уникальность этой классификация в том, что она позволяет охватить нормативными требованиями максимальное количество рабочих мест тестирования вне зависимости от типа лаборатории, в которой они локализованы.  К простым методам требования к верификации отсутствуют, в то время как методы средней и высокой сложности в зависимости от их модификации в лаборатории, следует верифицировать или валидировать. Также, к методам средней и высокой сложности СLIA-88 предъявляет фиксированные требования к их калибровке, то есть к её проведению, верификации и повторной калибровке.
  • С 2003 по 2012 годы ISO подготовила три редакции глобального документа, регламентирующего СМК медицинских лабораторий, при этом каждая новая редакция этого документа делала его более адаптивным для их нужд. Сегодня, многие страны используют глобальный документ ISO 15189 в качестве основы для разработки своей национальной нормативной базы в области СМК медицинских лабораторий. 
  • В отличие от CLIA-88, в ISO 15189:2012 требования к верификации методов не фиксированные, а основаны только на информации, указанной в спецификации производителя, что делает в этой части документ размытым, лишенным конкретики.
  • В документе ISO 15189:2012 требования к валидации методов фиксированы, то есть указывается, какие методы следует валидировать, а также дается перечень конкретных их аналитических характеристик, которые следует валидировать. Эти характеристики очень схожи с теми, которые указаны в CLIA-88, тем не менее, ISO 15189:2012 требует от лабораторий оценки неопределенности измерений, правильности результатов методов, а также демонстрации или установления метрологической прослеживаемости калибровок.

 

Литература.

  1. U.S. Department of Health and Human Services. Medicare, Medicaid and CLIA programs: Regulations implementing the Clinical Laboratory Improvement Amendments of 1988 (CLIA). Final rule.  Fed Regist 1992; 57:7002-186.
  2. Accreditation Manual for Pathology and Clinical laboratory Services. Joint Commission (JC). Oakbrook Terrace, IL. 60181.
  3. CAP Laboratory Accreditation Checklists. College of American Pathologists (CAP).325 Waukegan Road, Northfield, IL 60093-2750 http://www.cap.org

 

  1. COLA Accreditation Manual. 9881 Broken Land Parkway, Suite 200, Columbia, MD 21046.  http://www.cola.org
  2. ISO15189 Medical laboratories - Particular requirements for quality and competence. 2003. International Organization for Standards, Geneva Switz. Thrid edition 2012-11-01. 
  3. US Centers for Medicare & Medicaid Services (CMS). Medicare, Medicaid, and CLIA Programs: Laboratory Requirements Relating to quality Systems and Certain Personnel Qualifications. Final Rule. Fed Regist. Jan 24 2003; 16:3640-3714.
  4. CMS State Operations Manual Appendix C, Regulations and Interpretive Guidelines for Laboratories and Laboratory Services, http://www.cms.hhs.gov/CLIA/
  5. CLSI. EP15-A3. User Verification of Performance for Precision and Trueness. Clinical Laboratory Standards Institute, Wayne, PA, 2014.
  6. CLSI EP05-A3. Evaluation of Precision Performance of Quantitative Measurement Methods. Clinical and Laboratory Standards Institute, Wayne, PA 2014.
  7. CLSI EP09-A3.Method Comparison and Bias Estimation using Patient Samples. Clinical and Laboratory Standards Institute, Wayne, PA, 2014.
  8. CLSI EP07-A2. Interference Testing in Clinical Chemistry. Clinical and Laboratory Standards Institute, Wayne, PA, 2005.
  9. CLSI EP06-A. Evaluation of the Linearity of Quantitative Measurement Procedures : A Statistical Approach; Approved Guideline, Wayne, PA, 2003.
  10. CLSI EP24-A2. Assessment of the Diagnostic Accuracy of Laboratory Tests Using Receiver Operating Characteristic Curves; Approved Guideline—Second Edition, Wayne, PA, 2011.
  11. CLSI EP28-A3. Defining, Establishing, and Verifying Reference Intervals in the Clinical Laboratory; Approved Guideline—Third Edition, Wayne, PA, 2010.  
  12. CLSI EP17-A2. Evaluation of Detection Capability for Clinical Laboratory Measurement Procedures; Approved Guideline—Second Edition, Wayne, PA, 2012.  
  13. CLSI C51-A. Expression of Measurement Uncertainty in Laboratory Medicine. Clinical and Laboratory Standards Institute, Wayne, PA, 2012.
  14. CLSI X5-R. Metrological Traceability and its Implementation; A Report. Clinical and Laboratory Standards Institute, Wayne, PA, 2006.