Улучшение результатов деятельности медицинской организации на основе мониторинга ключевых показателей процессов и исходов: проблемы определения методики измерения
Monitoring of key process and outcome indicators in medical organizations as a basis for performance improvement: development of monitoring methodology
Авторы: Радомир Бошкович (ООО «Международный инновационный консалтинг», г. Москва), Евгений Князев (ООО «ЭкспертЗдравСервис», г. Санкт-Петербург)
Authors: Radomir Boskovic (International Innovation Consulting LLC, Moscow), Evgeny Knyazev (Expert ZdravServis LLC, St. Petersburg)
Резюме: Улучшение деятельности медицинской организации начинается со сравнения достигнутых результатов с целевыми показателями и определения проблемных мест, после чего разрабатываются планы корректирующих действий. Главная проблема состоит в том, что нет единой методики определения и измерения ключевых показателей, которая, с одной стороны, позволила бы организации результативно управлять своей деятельностью, а с другой – позволила бы региональным органам управления здравоохранением сравнивать результаты медицинских организаций, оценивать качество управления ими и выявлять те, где необходимо внешнее вмешательство. Приказ Министерства здравоохранения Российской Федерации от 10 мая 2017 года № 203н «Об утверждении критериев оценки качества медицинской помощи» (далее – приказ № 203н) не позволяет этого сделать, поскольку, кроме прочего, он тоже не содержит описания методики измерения.
При разработке методики измерения ключевых показателей в первую очередь необходимо определить аспекты, которые влияют на результаты деятельности, и переменные, мониторинг которых позволяет оценить степень достижения запланированного результата. После этого можно разработать формулу для исчисления показателей и указать на источники данных, которые входят в формулу расчета. Проблема в том, что медицинская документация и документы системы хозяйственного учета, особенно те, что на бумажных носителях, не позволяют быстро и легко рассчитать значения показателей, что обесценивает все усилия по улучшению деятельности.
В работе описан подход к разработке методики измерения ключевых показателей деятельности медицинских организаций, который позволил бы отслеживать достигнутые результаты во времени и сравнивать их между собой. Также описана практическая реализация такой методики на национальном/региональном уровне и указаны возможности ее использования в целях достижения улучшений.
---
Resume: The performance improvement of any organization begins with the comparison of the achieved results against target indicators and the identification of problem areas, after which corrective action plans are developed. The main obstacle is that there is no single methodology for determining and measuring key indicators, which would allow the organization to effectively manage its activities, and which would allow regional health authorities to compare the results of medical organizations under their administration and identify those, where external intervention is needed. The famous bylaw of the Ministry of Health of the Russian Federation 203n "On the approval of criteria for assessing the quality of care" does not allow this, because, among other things, it does not describe the methodology of measurement.
Development of key indicators measurement methodology begins with determination of aspects that affect the outcomes, and the variables whose monitoring makes it possible to evaluate degree of achievement. After that, a formula for calculating the indicators is developed and data sources are identified.
The big problem is that paper-based medical records and internal accounting systems do not allow for quick and easy calculation of indicators, which cripples all improvement initiatives.
This paper describes an approach to developing a methodology for measuring key performance indicators that would make possible effective monitoring of medical organization’s results. Practical implementation of such methodology at the national / regional level is also described and it is indicated how it can be used in improvement projects.
---
1. «Всё познается в сравнении»
Измерение качества оказанной медицинской помощи становится все более важным для всех заинтересованных сторон в системе здравоохранения. Логика проста – улучшать можно только то, что подается измерению, поскольку проблемы, т.е. места для улучшения, определяются на основании сравнения достигнутых результатов с заданными критериями.
Рассмотрим некоторые проблемы, связанные с выбором критериев и методов измерения результатов медицинской деятельности.
В качестве критериев можно использовать:
– критерии, заданные органами управления здравоохранением;
– собственные результаты в каком-то более раннем периоде времени;
– результаты национального лидера в отрасли или средний результат по отрасли;
– результаты мировых лидеров в отрасли.
Первый вариант как правило является производным последних двух. В каждом варианте для получения информации используется сравнение (бенчмаркинг) и каждый из критериев важен для медицинской организации:
– использование первого критерия даст информацию о том, в какой степени удовлетворяются требования контрольно-надзорных органов;
– использование второго критерия позволит оценивать изменения результатов во времени (прогресс, или деградация);
– третий критерий покажет, какова позиция организации внутри отрасли;
– последний критерий позволит оценить какую позицию организация и вся отрасль занимают относительно лучших мировых практик (быть лучшим в отрасли может ничего не значить, если вся отрасль отстает от других стран).
Вопрос только в том, что сравнивать, как выбрать критерии для сравнения и полезны ли одни и те же критерии и медицинским организациям, и органам управления здравоохранением.
2. «Имеет смысл измерять только то, на что можно повлиять»
В настоящее время в Европе реализуется ряд проектов по мониторингу работы медицинских учреждений и оценке их результатов. В качестве примера можно взять Организацию экономического сотрудничества и развития (ОЭСР), которая каждый год публикует данные о состоянии здравоохранения в ряде стран, организацию Health Consumer Powerhouse, которая оценивает здравоохранение в странах ЕС (и кандидатов) с точки зрения потребителя, ВОЗ и другие. Критерии оценки описаны в публикациях, из которых видно, что они отражают состояние здравоохранения в стране, а такие критерии для самых медицинских организаций не очень полезны.
С точки зрения среднестатистической медицинской организации, имеет смысл отслеживать только те результаты, на которые эта организация реально может повлиять. Но если наугад взять из интернета пример критериев, которые используют некоторые медицинские организации, то сразу бросаются в глаза критерии, на которые эта организация повлиять не может (конечно, на некоторые из этих критериев медицинская организация может повлиять косвенно, но она никак не сможет узнать, какая ее доля по конкретному критерию в общей статистике региона, например, по критерию «эффективность использования ресурсов здравоохранения» – прим.авт.). Это подтверждает и содержание критериев, которое относится к населению территории, а не к пациентам этой больницы. Каким образом маленькая ЦРБ может повлиять на такие критерии как «смертность населения», «смертность населения в трудоспособном возрасте», или «смертность населения от внешних причин»? К сожалению, такие критерии утверждены органами управления здравоохранением и зачастую используются для критики или наказания медицинских организаций.
3. «Есть ложь, наглая ложь и статистика»
Зачастую статистику критикуют как дисциплину, которая может, по желанию, нарисовать какую угодно картину, и это на самом деле так (см. Дарелл Хафф: Как лгать при помощи статистики). Но это не значит, что руководители медицинских организаций и организаторы здравоохранения не должны владеть статистическим мышлением. Оно необходимо для того, чтобы определить, надо ли вмешиваться в систему организации оказания медицинской помощи, или можно спокойно работать дальше. Например, в годовых и других отчетах часто можно увидеть, что какой-то результат «улучшился» за 1%-2%, что «рост» или «ухудшение» в какой-то области составили 0.5% и т. д. Является ли это стимулом к коррекционному вмешательству, идет ли речь о статистически значимой вариации? Или, нет? Скорее всего, за год в медицинской организации и в ее окружении ничего не изменилось, и ничего не надо трогать. Об этом говорит и классическая теория статистического управления процессами, с которой, к сожалению, многие руководители не знакомы.
Рисунок 1. Статистические вариации в процессе.
На Рис. 1 показан произвольный процесс, например, процесс «обработка жалоб пациентов». График показывает, что количество жалоб иногда растет, иногда падает, но в принципе среднее значение не меняется. По поводу количества жалоб организация может ничего не предпринимать (это никак не означает, что организация может не улучшать процесс, наоборот, она должна заниматься постоянным улучшением, но она может это делать в плановом порядке, улучшая факторы, которые влияют на всех пациентов одновременно – прим.авт.), поскольку оно не достигает 10%, а также ясно, что меньше чем 4% недовольных пациентов не будет никогда. Любое вмешательство в рабочий процесс по поводу конкретной жалобы будет только пустой тратой времени и ресурсов.
Часто встречается еще одна ошибка: непонимание того, что частота измерения результатов должна напрямую зависеть от скорости изменения. Некоторые процессы изменяются медленно, некоторые очень быстро; те, в которых изменения происходят быстро, надо измерять часто; те, где изменения происходят медленно, можно измерять реже. Например, не имеет смысла каждый месяц измерять т.н. «степень удовлетворения пациентов» или раз в год проводить анкетирование персонала, зато мониторинг внутрибольничных инфекций следует проводить на постоянной основе.
4. «Это возможно, но нереализуемо»
Где надо искать данные для исчисления результатов? Это один из ключевых вопросов, от ответа на который зависит эффективность мониторинга. Если речь идет о медицинском процессе, то данные находятся в медицинской документации пациентов; если речь идет о поддерживающих процессах, данные находятся в отчетах, бухгалтерской системе, всевозможных журналах. Как их оттуда вытащить? В какой форме? Кто этим будет заниматься?
Все вопросы важные и зачастую ответ очень трудный, особенно в условиях, когда медицинская организация использует бумажный документооборот. Например, если посмотреть знаменитый приказ № 203н, для критерия «Выполнена компьютерная томография органов грудной клетки» необходимо вручную пересмотреть все истории болезни за определенный период и в отдельный листок бумаги записать результат просмотра. В случае многопрофильной больницы, это очень сложная и дорогостоящая работа.
Даже если медицинская организация наладила электронный документооборот, ситуация не упрощается. Информационная система не позволяет просто извлечь необходимые данные из базы данных и оформить их в качестве отчета. Обычно требуется вмешательство производителя программного обеспечения, конечно, за плату. Например, оценка критерия «Выполнена эхокардиография не позднее 1 часа от момента поступления в стационар» и в бумажном, и в электронном варианте требует внесения точного времени поступления пациента в стационар (час-минута), и если такие данные не были предусмотрены при разработке бланков или базы данных, то их негде записать. Особенно этим страдает электронная история болезни, где «на полях» ничего невозможно записать, все учитываемые данные должны быть предусмотрены в момент создания базы данных.
5. «Взять улиток, гвоздиков и щенячьих хвостиков — вот тогда и получатся мальчики»
Получение осмысленной информации требует точного рецепта: какие данные взять и откуда; обрабатывать данные для всех пациентов, или для какой-то выборки; данные за какой период надо анализировать; какую формулу применить; какие данные не учитывать; и так далее. Без такового рецепта невозможно сравнивать данные разных медицинских организаций.
Возвращаясь к упомянутому приказу № 203н, видно, что такое руководство отсутствует, т. е. критерии определены, а как их применять в здравоохранении – нет. Не везде можно понять, относится ли «да/нет» из чеклистов к каждому пациенту или к выборке пациентов. Если к каждому, не ясно, как заполнить чеклист на уровне медицинской организации. Если, например, из 100 пациентов ответ по какому-то критерию в 90 случаев «да» и в 10 «нет», каков должен быть итоговый ответ (решение этой проблемы см. в серии статей: ст.А, ст.Б.1, ст.Б.2, ст.Б.3 – прим.ред.)? Также не ясно, как оценить ситуацию по выбранной нозологии, если критерии одного чеклиста для конкретного пациента в 80% случаев определены как «да», а в 20% «нет». Что это значит?
6. «Прежде чем выбрать дорогу, надо определиться с целю движения»
Последний вопрос, который следует рассмотреть, касается цели измерения результатов. В результате общения с представителями некоторых медицинских организаций, складывается впечатление, что единственной целью мониторинга критериев оценки качества является написание отчета для органов управления здравоохранением и надзорных служб. Такая оценка может казаться слишком строгой и необъективной, но она базируется на том, что практически ни одна медицинская организация не смогла описать, как они используют отчетные критерии для улучшения собственной деятельности (см. также работу «Управление качеством медицинской помощи по отклонениям» – прим.ред.). Совсем немногие могли описать, что для них является улучшением и в чем оно состоит (имеется в виду ситуация в среднестатистической ЦРБ – прим.авт.).
Некоторые показатели просто не отслеживаются. Например, сообщается, что уровень внутрибольничных инфекций меньше одного процента, тогда как в США в 2011 году регистрировано 721’800 случаев ИСМП.
Проблема сводится к тому, о чем шла речь в начале статьи – без точного понимания того, какие критерии нужны самой медицинской организации, а какие – органам управления здравоохранением, и в каких целях они будут использоваться, очень трудно планировать проекты по улучшению качества, поскольку зачастую неясно, а произошло ли улучшение на самом деле.
7. Разработка критериев (показателей) для оценки качества деятельности медицинской организации и методов их мониторинга
На Рис. 2 показана логическая схема определения критериев (показателей) для мониторинга деятельности медицинской организации.
Рисунок 2. От явления к критерию.
Начинать надо с выделения свойств, которые, с точки зрения заинтересованных сторон, являются важными для оценки качества. Например, в рамках 323-ФЗ качество медицинской помощи определяется как на Рис. 3.
Рисунок 3. Качество медицинской помощи согласно 323-ФЗ.
В то же время, ВОЗ дает иное определение, оно показано на Рис. 4.
Рисунок 4 - Характеристики качества медицинской помощи согласно ВОЗ.
Определения разные, но две характеристики совпадают: результативность и доступность. Если хотим сравнивать результаты медицинских организаций в ЕС и в России, тогда определения, что такое «результативность», и что такое «доступность», должны совпадать. Надо понимать, что сравнение возможно только в рамках двух характеристик, но невозможно на уровне системы здравоохранения, поскольку общая оценка строится из разных составляющих. Следовательно, невозможно сказать, какая система (в целом) лучше, российская или европейская.
После определения характеристик для мониторинга необходимо разработать критерии, по которым характеристика будет оцениваться (показатели). Как это обычно делается, показано на Рис.5.
Рисунок 5. Структура описания одного критерия (показателя).
При этом надо иметь в виду, что кроме показателей, связанных с процессом оказания медицинской помощи, для медицинской организации важны и показатели:
– структуры (численность персонала, коечный фонд, площадь…),
– немедицинских процессов (расходы энергии, время восстановления работоспособности оборудования после выхода из строя, качество очистки и стерилизации…),
– исходов (не только что сделано, но и какие результаты достигнуты),
– производительности, финансовые и т.д.
Практическое применение такого подхода можно в деталях рассмотреть на примере одного критерия (показателя): «Кесарево сечение», который принадлежит инструменту PATH (Performance Assessment Tool for Quality Improvement in Hospitals, «Инструмент для оценки результативности работы по улучшению качества в больницах»), разработанному Европейским региональным бюро ВОЗ. Инструмент спроектирован группой международных экспертов и предназначен для самостоятельного использования больницами на добровольной основе для инициирования проектов улучшения качества. Отбор показателей, включенных в PATH, проводился на основании разработанной теории, тщательного обзора литературы и исследований о доступности данных. Применение одних и тех же показателей в ряде стран делает их пригодными для сравнительного анализа различных систем здравоохранения.
Таблица 1. Показатель «Кесарево сечение» инструмента PATH.
Мониторинг качества медицинской помощи в многопрофильных больницах с использованием показателей PATH осуществляется в шести направлениях, а именно: (1) результативность клинической работы, (2) эффективность, (3) ориентированность на персонал, (4) ответственное управление, (5) безопасность, (6) ориентированность на потребности пациентов.
Результативность клинической работы: Степень достижения клинических исходов, соответствующих современному уровню медицинских знаний.
Эффективность: Оптимальное использование ресурсов для достижения максимального результата. Включает в себя производительность, использование медицинских технологий для достижения максимальной медицинской защиты, целесообразность выбранного курса лечения.
Ориентированность на персонал: Уровень квалификации персонала, наличие условий для непрерывного обучения и работы в атмосфере поддержки, степень удовлетворенности работой.
Ответственное управление: Степень, в которой больница удовлетворяет потребности населения в медицинской помощи. Проявляется в двух направлениях – степень интеграции больницы с населением и ориентированность на общественное здравоохранение.
Безопасность: Применение и продвижение структур и процессов, которые предотвращают, или снижают риски в процессе лечения. Безопасность не ограничивается только безопасностью пациентов, но включает также безопасность персонала и защиту окружающей среды.
Ориентированность на потребности пациентов: Окружение, которое ставит пациента в центр оказания медицинской помощи и уважает потребностей самого пациента и его семьи. Данное направление включает в себя быстрое оказание необходимой медицинской помощи, коммуникацию, уважение автономии пациента, конфиденциальность, приватность, поддержку чувства собственного достоинства пациента.
Пример реализации методики PATH можно найти в Республике Сербской (Босния и Герцеговина), где она была введена в действие еще в 2010 году. На базе передовых интернет-технологий была разработана информационная система, которая обеспечивает ввод необходимых данных «онлайн» со всей территории республики в базу. Расчет показателей и их графическое представление проводится мгновенно. Таким образом, становится возможным просмотр информации из всех больниц и сравнение по любому выбранному показателю в режиме реального времени. В качестве источника данных используются планы ведения больных (термин «план ведения больных» определяется в соответствии с документами European Pathway Association – прим.авт.). Эти документы индивидуализированы для каждого пациента и содержат всю необходимую информацию для мониторинга ключевых показателей. Для мониторинга «производных» показателей используются формы, специально разработанные под нужды каждой больницы.
Дополнительным преимуществом данного подхода является возможность сопоставить значения различных показателей между больницами. Программное обеспечение позволяет сравнивать все больницы одновременно или выбирать только некоторые из них. Также становится возможным следить за динамикой выбранных показателей в конкретных больницах, что создает основу для бенчмаркинга и инициирования проектов по улучшению качества.
Информация о качестве медицинской помощи, в т.ч. данные о сравнении учреждений, доступны представителям органов управления здравоохранением и медицинским организациям (только «свои» данные). На данном этапе развития по юридическим соображениям данные пока недоступны населению.
Таким образом, достигается конечная цель – внедрение системы отчетности по набору индикаторов, которые давали бы как можно более полную картину качества оказанной медицинской помощи и позволили бы инициировать проекты по его улучшению.
К сведению: осенью 2018 года в Иркутской государственной медицинской академии последипломного образования – филиале ФГБОУ ДПО РМАНПО Минздрава России вышло учебное пособие Таевский Б.В., Таевский А.Б., Князев Е.Г. Методика экспертизы качества медицинской помощи, которое, безусловно, будет полезным и надёжным подспорьем в работе для руководителей медицинских организаций, их заместителей, руководителей структурными подразделениями, лиц, ответственных за обеспечение качества медицинской помощи и безопасности медицинской деятельности, врачей-экспертов и других специалистов, интересующихся вопросами организации и проведения клинического аудита. Фактически его можно рассматривать как первый том пособия по клиническому аудиту – важнейшему направлению в системе менеджмента качества медицинской организации. Получить электронную версию пособия и ответы на интересующие Вас вопросы по теме публикации Вы можете здесь.
Список источников:
1. «PATH Indicators descriptive sheets ’09/10», World Health Organization Regional Office for Europe, 2009.
2. «A performance assessment framework for hospitals: the WHO Europe PATH project», Int. J. for Quality in Health Care, 2005.
3. Groene O. PATH – Performance Assessment Tool for quality improvement in Hospitals. WHO Europe 2006. [Cited 20 September 2009].
4. Groene O, Skau J, Frolich A. An International review of projects on hospital performance asessment. Int J Health Care Qual 2008; N3 pp. 162-171.
5. Codling S. Best Practice Benchmarking: A Management Guide. Cambridge: Gower; 1992.
6. Camp R, Tweet, A. Benchmarking applied to health care. Jt Comm J Qual Improv 1994; 20(5): 229-38.
---
Размещено с разрешения авторов.
---
---
Всегда ваш, Андрей Таевский.