Пользовательское тестирование инструкции по медицинскому применению

Картинка с сайта: npjnews.com

Ирина Краснова, заместитель директора департамента развития производства и регистрации OOO «НПФ «Материа Медика Холдинг»

Автор: ИРИНА КРАСНОВА, заместитель директора департамента развития производства и регистрации OOO «НПФ «Материа Медика Холдинг»

В соответствии с Приложением № 1 к Правилам регистрации и экспертизы лекарственных средств для медицинского применения, утв. Решением Совета Евразийской экономической комиссии от 3 ноября 2016 г. № 78 (ред. решения Совета ЕЭК от 29.05.2024 № 43) (далее – Правила), регистрационное досье лекарственного препарата должно включать листок-вкладыш (далее – ЛВ) и общую характеристику лекарственного препарата (ОХЛП). При использовании ЛВ необходимо провести его пользовательское тестирование и предоставить в составе досье соответствующие документы.

В данной статье¹ я поделюсь опытом подготовки документов по пользовательскому тестированию ЛВ и ответов на запросы, поступивших в рамках регистрационных мероприятий в отношении этих документов. Материал структурирован следующим образом: по каждому запросу приведена тактика ответа на него и описаны меры, реализация которых поможет его избежать. В случаях, когда тактика ответа отличается от превентивных мер только временной формой глагола, они объединены.

ЗАПРОС 1

В оценке поиска информации отсутствует информация о том, что считалось минимальным количеством времени на поиск информации (не указано временное ограничение).

Тактика ответа:

Согласно требованиям, изложенным в п. 3.1 Приложения №  14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88, максимальная продолжительность интервью не должна превышать 45 минут во избежание утомления участника. При этом время, затраченное на поиск информации, не регламентировано. В ответе на запрос отразить факт того, что продолжительность каждого интервью, проведенного в рамках пользовательского тестирования листка-вкладыша, не превышала 45 минут.

Превентивные меры:

Контролировать и фиксировать продолжительность каждого интервью. Оценивать продолжительность каждого интервью, проводимого в рамках пользовательского тестирования листка-вкладыша на соответствие установленным требованиям (не более 45 минут), результаты отражать в отчете и резюме отчета по пользовательскому тестированию ЛВ.

ЗАПРОС 2

Вопросы не в полной мере соответствуют требованиям Решения Совета ЕЭК от 03.11.2016 № 88, в том числе вопросы не охватывают поиск, понимание и способность участников действовать надлежащим образом; не выдержан баланс общих и частных вопросов. Вопросы должны быть открытыми, должны позволять участнику представить себя в определенной ситуации и не должны подсказывать ему ответ, содержащийся в ЛВ. Количество вопросов также не в полной мере соответствует Решению Совета ЕЭК от 03.11.2016 № 88, т.к. только 10 вопросов охватывают разделы 1–4 ЛВ (а достаточным считается 12-15 вопросов).

Тактика ответа:

Оценить вопросы опросника на соответствие требованиям Приложения № 14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88. Описать результаты оценки и выводы в ответе на запрос.

Превентивные меры:

1. Определить ключевые сведения по безопасному применению лекарственного препарата.

1. Составить вопросы для проведения пользовательского тестирования таким образом, чтобы они обеспечивали возможность оценки понимания всей информации, содержащейся в ключевых сведениях по безопасному применению лекарственного препарата. Вопросы опросника должны охватывать все ключевые сведения по безопасному применению лекарственного препарата, представленные в разделах 1–4 ЛВ. Если информация, отраженная в разделах 5–6 ЛВ, имеет важное значение для безопасного и эффективного применения лекарственного препарата, то ее доступность для понимания также должна быть оценена в рамках пользовательского тестирования ЛВ. По этой причине вышеуказанная информация должна быть идентифицирована как ключевые сведения для безопасного применения препарата и включена в протокол, отчет и резюме отчета по пользовательскому тестированию ЛВ. В таком случае опросник должен содержать соответствующий вопрос.
   При составлении вопросов для проведения пользовательского тестирования ЛВ следует основываться на рекомендациях, изложенных в Приложении № 14 «Стандартная методика проведения пользовательского тестирования ЛВ в целевых группах» к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.

В частности, вопросы для проведения пользовательского тестирования листка-вкладыша должны отвечать следующим требованиям:

1. Вопросы открытого типа;
2. Вопросы затрагивают все критические аспекты безопасности применения лекарственного препарата (разделы 1–5 ЛВ);
3. Количество вопросов должно быть минимально достаточным;
4. Соблюден баланс общих и частных вопросов;
5. Вопросы составлены отлично от ЛВ, чтобы избежать ответов участников, основанных лишь на нахождении групп слов;
6. Вопросы следуют в случайном порядке (то есть в порядке, отличном от подачи информации в ЛВ).

Варианты формирования вопросов, не отвечающие рекомендациям²:

• вопросы не затрагивают критические аспекты безопасности (условия хранения и приготовления ЛП, применяемого исключительно в стационаре) или в основном относятся к общим вопросам (торговое наименование ЛП, действующее вещество, к какой группе препаратов относится);
• вопросы, которые могут вызвать затруднение, например, если применяемый синоним в вопросе не известен респонденту (для выявления таких вопросов необходим пилотный раунд);
• вопросы, которые могут вводить в заблуждение. Например, вопрос: «Почему пациенту, принимающему препарат, нельзя применять во время курса лечения и после циклоспорин?» использует определение действия «нельзя применять», такое же определение действия есть в другом вопросе: «В каких случаях препарат применять нельзя (не применяют)?» и указывается информация раздела «Противопоказания», но циклоспорин не противопоказан к совместному применению с данными ЛП, и первый вопрос необходимо перефразировать;
• вопросы в отношении нежелательных реакций, которые включают в себя исключительно статистический аспект. Например: «Перечислите нежелательные реакции, которые возникают “очень часто”, “часто”…»;
• вопросы, следующие по порядку;
• используются вопросы, ответы на которые нельзя найти в ЛВ;
• физическое отсутствие ответа на вопрос. Например, нежелательная реакция.

ЗАПРОС 3

Следует отдельно представить диаграммы по поиску ответа на вопрос и по пониманию вопроса респондентом.

Следует конкретизировать подписи к диаграммам.

Тактика ответа / Превентивные меры:

Результаты пилотного и основного раундов пользовательского тестирования ЛВ по параметрам «поиск» и «понимание» представить в отдельных таблицах и на диаграммах. Предоставить скорректированный отчет по результатам пользовательского тестирования ЛВ (в ответ на запрос).

ЗАПРОС 4

Подробно не расписаны и не обсуждены результаты каждого из этапов пользовательского тестирования (в том числе по каждому вопросу), не представлены результаты в виде таблицы (в том числе для результатов пилотного тестирования не представлена информация об оценке правильности вопросов.

Тактика ответа:

1. Оценить соответствие результатов каждого этапа пользовательского тестирования критериям приемлемости, указанным в Приложении 14 к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.
   В том числе провести анализ неправильных ответов респондентов с целью выявления факторов, затрудняющих понимание информации ЛВ.

1. Оценить обратную связь от респондентов на наличие значимых замечаний и пожеланий относительно содержания и дизайна ЛВ после каждого этапа основного раунда тестирования.
   Поскольку задачей пилотного раунда является валидация опросника, то его результаты оцениваются с точки зрения понятности формулировок вопросов. Критерии приемлемости для данного этапа могут быть сформулированы следующим образом: если вопрос был непонятным 1/3 участников, принявших участие в валидации, формулировки данных вопросов в опроснике для проведения пользовательского тестирования ЛВ необходимо скорректировать.

1. Отразить результаты анализа обратной связи от респондентов относительно содержания и дизайна ЛВ и результаты тестирования, а также принятое по результатам этого анализа решение о необходимости принятия мер по устранению недопонимания (при необходимости) и возможности перехода на следующий этап тестирования в отчете и/или резюме отчета по пользовательскому тестированию.
2. Предоставить скорректированный отчет и/или резюме отчета по пользовательскому тестированию.

Превентивные меры: 

1. Оценивать соответствие результатов каждого этапа пользовательского тестирования критериям приемлемости, указанным в Приложении 14 к Требованиям к инструкции по медицинскому применению лекарственных препаратов и общей характеристике лекарственных препаратов для медицинского применения, утвержденным Решением Совета ЕЭК от 03.11.2016 г. № 88.
   В том числе проводить анализ неправильных ответов респондентов с целью выявления факторов, затрудняющих понимание информации ЛВ.

1. В рамках интервью собирать обратную связь от респондентов относительно содержания и дизайна листка-вкладыша, а также варианты неправильных ответов. Оценивать неправильные ответы и обратную связь от респондентов на наличие значимых замечаний и пожеланий относительно содержания и дизайна ЛВ после каждого этапа основного раунда тестирования.
   Результаты пилотного раунда оценить с точки зрения понятности формулировок вопросов. Критерии приемлемости для данного этапа представлены выше.

1. Если обратная связь от респондентов относительно содержания и дизайна ЛВ не содержит значимых замечаний и пожеланий относительно содержания и дизайна листка-вкладыша и результаты 1-го или 2-го этапов основного этапа пользовательского тестирования соответствуют критериям приемлемости, то отсутствует необходимость предпринимать какие-либо меры по устранению недопонимания, в т.ч. корректировки ЛВ, и допускается переходить к следующему этапу тестирования.
   Если результаты 1-го или 2-го этапов основного раунда пользовательского тестирования не соответствуют критериям приемлемости, и/или получены значимые замечания/ пожелания относительно содержания и дизайна ЛВ, и/или выявлены иные негативно влияющие на понимание и использование листка-вкладыша факторы, необходимо предпринять меры по устранению недопонимания, например, путем внесения изменений в содержание и/или дизайн листка-вкладыша. В этом случае необходимо повторить предшествующие этапы пользовательского тестирования.

1. Отражать результаты анализа результатов тестирования и обратной связи от респондентов, а также принятое по результатам этого анализа решение о необходимости принятия мер по устранению недопонимания (при необходимости) и возможности перехода на следующий этап тестирования в отчете и/или резюме отчета по пользовательскому тестированию.

ЗАПРОС 5

Отсутствуют критерии оценки поиска информации респондентом «нашел / не нашел», ответ на вопрос. Не выделены критерии оценки «поиска» информации и «понимания» информации.

Указать интерпретацию качественной оценки понимания вопросов для используемых категорий, ответов на вопросы (для оценки нахождения ответов на вопрос такая интерпретация есть) и как качественные ответы интерпретированы в количественные оценки (для нахождения и понимания).

Тактика ответа:

При отсутствии в документах по пользовательскому тестированию критериев и шкал оценки ответов, дополнить соответствующей информацией протокол и отчет. Предоставить в рамках ответа скорректированные документы.

Превентивные меры:

Критерии оценки ответов для вопросов категории «поиск», «понимание», «применение» включать в протокол и отчет пользовательского тестирования. В протоколе и отчете описывать используемую шкалу оценки ответов респондентов. Например, может быть использована бинарная шкала (правильно/неправильно) или шкала, которая предполагает классификацию ответов с учетом совокупности факторов, таких как время, затраченное на поиск ответа, трудности при поиске ответа и т.д. Кроме того, использованные шкалы могут предполагать конвертацию качественных результатов в баллы, что, в свою очередь, также должно быть описано.

ПРИМЕР КРИТЕРИЕВ ОЦЕНКИ ОТВЕТОВ

Критерии результата «правильно»: участник нашел нужную для ответа на вопрос информацию (параметр оценки – поиск) или дал ответ, по смыслу соответствующий представленной в ЛВ информации в отношении данного вопроса (параметр оценки – понимание).

Критерии результата «неправильно»: участник не нашел нужную для ответа на вопрос информацию (параметр оценки – поиск) или не смог дать ни одного из возможных вариантов правильного ответа, если вопрос предусматривал несколько тактик действия (параметр оценки – понимание).

Заключение

Надеюсь, что представленная в статье информация будет полезна при подготовке и/или проверке документов по результатам пользовательского тестирования ЛВ (в случае, если пользовательское тестирование отдано на аутсорсинг) и поможет оптимизировать трудо-временные затраты при ведении регистрационных мероприятий.

Удачных подач!

Данная статья является частью проекта «Регуляторная осознанность». Другие материалы проекта доступны на сайте.

***

¹  «Профилактика» запросов по пользовательскому тестированию листка-вкладыша. Часть 1 – опубликована в NPJ 3/2024 (https://npjnews.com/arhiv/)
²   Парфенова Е.Ю. Пользовательское тестирование. Опыт экспертизы [Презентация] // Научно-практическая конференция «Регуляторная практика и регистрация лекарственных средств» – «РЕГЛЕК 2023», – М., 24 апреля 2023.

Пользовательское тестирование — это проверка листка-вкладыша (инструкции по медицинскому применению), направленная на изучение удобочитаемости, ясности и доступности восприятия представленной информации целевыми группами пациентов. Этот процесс включает несколько этапов:

1. Разработка анкеты и опросников. Создание инструментов для сбора мнений пользователей о содержании и оформлении инструкции.
2. Подбор целевой аудитории. Определение группы участников, представляющих потенциальных пользователей лекарственного препарата.
3. Проведение тестирования. Организация и проведение опросов среди выбранной аудитории для сбора данных.
4. Анализ результатов. Обработка полученных данных, выявление проблемных участков в инструкции.
5. Рекомендации по улучшению. Разработка предложений по внесению изменений в инструкцию на основе результатов анализа.

Почему проводят тестирование с Райфарм?

Компания Райфарм имеет многолетний опыт в проведении пользовательского тестирования инструкций по медицинскому применению для лекарственных препаратов различных терапевтических групп. Мы предлагаем комплексный подход к решению задач любой сложности:

• Наша команда состоит из экспертов с глубокими знаниями в области медицины и фармацевтики.
• Мы тщательно подбираем методики тестирования, адаптированные к специфике каждого конкретного проекта.
• Все этапы работ выполняются в строгом соответствии с требованиями регуляторных органов и европейскими стандартами ЕАЭС.

Обратившись к нам, вы получите экспертную поддержку на всех этапах разработки документации для регистрации лекарственных средств.

Цены и сроки тестирования листка-вкладыша

¹ Стоимость может находиться в диапазоне от минимума до максимума и будет согласовываться на основании коммерческого предложения исполнителя после ознакомления с техническим заданием и документацией заказчика.

² Стоимость не включает переводы документации, государственные пошлины за экспертизу, расходы на ввоз образцов для фармацевтической экспертизы (если таковые требуются).

³ Указанный срок предполагает своевременное предоставление заказчиком документации, а также, если применимо, образцов для фармацевтической экспертизы (лекарственного препарата) либо испытаний (медицинского изделия)

Заказать тестирование листка-вкладыша

Сделайте первый шаг навстречу успешной регистрации вашего продукта! Свяжитесь с нами прямо сейчас и позвоните по телефону +7 495 937-56-08. Давайте вместе сделаем вашу инструкцию понятной и доступной для пациентов!

Пользовательское тестирование в регдосье

Картинка с сайта: labmgmu.ru

Пользовательское тестирование листка-вкладыша – всегда ли требуется в составе регистрационного досье? Отвечает наш юрист.

В соответствии с абзацем 2 раздела I Требований к инструкции по медицинскому применению лекарственного препарата и общей характеристике лекарственного препарата для медицинского применения, утвержденных Решением Совета Евразийской экономической комиссии от 03.11.2016 г. № 88 (далее по тексту – Требования) общая характеристика лекарственного препарата для медицинского применения (далее по тексту – ОХЛП) является основным источником информации для медицинских работников о безопасном и эффективном использовании лекарственного препарата.

«Инструкция по медицинскому применению (листок-вкладыш, ЛВ)» – документ, утверждаемый уполномоченным органом государства-члена в соответствии с актами органов Союза, содержащий информацию для потребителя и сопровождающий лекарственный препарат в упаковке.

Составляется в соответствии с ОХЛП (абзац 2 раздела I Требований).

Абзац 1 раздела 1 Приложения № 14 Требований предусматривает, что пользовательское тестирование предполагает проверку удобочитаемости образца в группе испытуемых субъектов. Этот инструмент разработки гибок и направлен на выявление того, доводят ли представленные сведения правильную информацию до читателя. Самотестирование не повышает качество сведений, но позволяет выявить затруднительные области, которые можно улучшить.

Пользовательское тестирование ЛВ (при наличии) должно включаться в Модуль 1 регистрационного досье.

Согласно пункту 1.3.3. раздела I Приложения № 1 к Правилам регистрации и экспертизы лекарственных средств для медицинского применения, утвержденных Решением Совета Евразийской экономической комиссии от 03.11.2016 г. № 78 (далее по тексту – Правила регистрации и экспертизы лекарственных средств для медицинского применения) Модуль 1 регистрационного досье должно содержать результаты пользовательского тестирования текста ИМП (листа-вкладыша) (при наличии).

Обстоятельства, требующие проведения пользовательского тестирования

В соответствии с абзацем 1 пункта 7.3. раздела 7 Приложения № 12 Требований, если проводилось пользовательское тестирование, в регистрационное досье необходимо включить подтверждение этого. При регистрации воспроизведенного лекарственного препарата (биоаналога) заявитель также может проводить пользовательское тестирование. Вместе с тем это не означает, что необходимо проводить пользовательское тестирование (его аналога) для всех ЛВ.

В силу абзаца 2 пункта 7.3. раздела 7 Приложения № 12 Требований, при проведении пользовательского или иного тестирования необходимо использовать полноцветный макет ЛВ лекарственного препарата, вводимого в оборот. Не допускается использовать текстовую версию, поскольку дизайн и верстка оказывают существенное влияние на способность пациента находить и понимать ключевые сведения для безопасного применения лекарственного препарата.

ЛВ лекарственных препаратов, вводимых медицинскими работниками в больничных учреждениях, также могут содержать данные, подтверждающие соблюдение норм раздела 4 Приложения № 12 Требований (абзац 3 пункта 7.3. раздела 7 Приложения № 12 Требований).

Согласно абзацу 4 пункта 7.3. раздела 7 Приложения № 12 Требований, в следующих случаях заявителю (держателю регистрационного удостоверения (далее по тексту – ДРУ) следует предусмотреть проведение пользовательского или аналогичного тестирования ЛВ, поскольку представление его результатов будет способствовать предупреждению возможных замечаний уполномоченных органов (экспертных организаций) государств-членов относительно ненадлежащего качества информации, представляемой пациенту:

– лекарственные препараты, содержащие новые химические соединения или выпускаемые в принципиально новых лекарственных формах;

– лекарственные препараты, подвергшиеся изменению условий отпуска;

– лекарственные препараты, в ранее протестированный ЛВ которых внесены следующие значимые новые сведения по безопасности:

• добавление большого количества новых клинических рекомендаций (в объеме, превышающем единичные слова или фразы) вследствие ограничений в связи с безопасностью;
• включение новых популяций пациентов и, как следствие, расширения показаний к применению препарата.

Эти изменения могут привести к смещению блоков текста, зачастую с уменьшением кегля шрифта, переориентации информации, изменению дизайна и верстки зачастую с включением дополнительных колонок или переходу ЛВ к формату буклета. Указанные изменения дизайна, которые не были проверены в ранее проведенном пользовательском тестировании или с помощью проведенного связующего исследования, заявителю (ДРУ) следует рассматривать как основание для представления дополнительных данных, подтверждающих соблюдение требований раздела 4 Приложения № 12 Требований (абзац 10 пункта 7.3. раздела 7 Приложения № 12 Требований).

В соответствии с абзацем 12 пункта 7.3. раздела 7 Приложения № 12 Требований, при внесении существенных изменений в дизайн и верстку ранее протестированного ЛВ зачастую требуется скорректировать его размеры листа, чтобы соответствовать новым производственным мощностям. Если ориентация и расположение информации не изменяется, проведение дополнительного тестирования или связующего исследования не требуется. С другой стороны, изменение ориентации страницы и (или) размера текста и введение альтернативных форматов (переход на формат буклета) следует рассматривать как основание для проведения дополнительного связующего исследования, фокус-группы или в некоторых случаях полноценного пользовательского тестирования.

В силу абзаца 13 пункта 7.3. раздела 7 Приложения № 12 Требований, если маркировка служит целям доведения информации, указанной разделом 4 Приложения № 12 Требований, это также следует рассматривать как основание для проведения пользовательского тестирования.

Согласно абзацу 14 пункта 7.3. раздела 7 Приложения № 12 Требований, пользовательское или аналогичное тестирование не требуется, если изменения не предполагают внесение в ЛВ нового слова или фразы в ранее протестированный раздел или при изменении дизайна и верстки не влияют на расположение или размер представленной информации.

Таким образом, пользовательское тестирование листка-вкладыша не всегда требуется в составе регистрационного досье, однако отсутствие такового требует обоснования.

18 июля 2023