Доброго дня, уважаемые коллеги!
Продолжаем знакомство с авторскими технологиями комплексного анализа соответствия и управления соответствием в здравоохранении и медицинской деятельности в иллюстрированном текстовом формате. Комментарии к слайдам в таком формате более содержательны, нежели в видеоматериале, опубликованном 10 апреля 2023 года на канале Здрав.Биз и прикреплённом внизу публикации.
В первой порции слайдов с комментариями мы, оттолкнувшись от основ управления, разобрали, откуда берутся и как получаются показатели деятельности вообще и качества оной.
Во второй части была предложена идеальная схема национального института добровольной сертификации. Были обозначены потребности отрасли в независимом институте концептуального уровня в области качества, в системах оценки соответствия и совершенных аналитических инструментах, а также в экспертных сообществах. Также была предложена классификация оценочных принципов с необходимыми пояснениями.
В этой части, в основном, рассматривается проблема стандартизации показателей и излагается её решение в авторской Автоматизированной системе оценки соответствия «ЭкспертЗдравСервис».
- Типы конечных (неделимых) показателей и их стандартизация
Рис. 29. Типы конечных (неделимых) показателей и их стандартизация
В системе оценки соответствия должна быть предусмотрена возможность отразить в виде показателя любую характеристику исследуемого объекта. Для конечных показателей есть два базовых способа найти значение: рассчитать на основе объективных данных либо определить экспертным путём. Для первой группы вначале рассчитывается значение показателя с использованием определённой методики либо производится количественный подсчёт чего-либо, а затем полученное значение сравнивается с заранее установленным нормативным значением. При этом, возможны три варианта оценки: «чем больше, тем лучше», «чем больше, тем хуже», и «хорошо – это попасть в заданный диапазон». Указанные варианты обозначаются символами «+», «–» и «±», соответственно. Во второй группе показателей всё проще, ничего рассчитывать не приходится. Экспертные оценки могут быть формальными либо качественными. В первом случае применяется дихотомический цифровой оценочный принцип, во втором – градационный дискретный. И можно выделить ещё одну промежуточную группу показателей, а именно – формализованных оценок по факту наличия либо отсутствия чего-либо. С первой группой её роднит наличие знака «+» либо «–», что означает: «хорошо – это иметь» или «хорошо – это не иметь», а со второй – способ определения значений этих показателей с использованием дихотомического цифрового оценочного принципа.
- Типы конечных показателей и их стандартизация: расчёты
Рис. 30. Типы конечных показателей и их стандартизация: расчёты
Расчёт стандартизованных значений показателей, получаемых на основе объективных данных, производится путём сопоставления фактических значений с нормативными. На первом этапе, в зависимости от атрибута критерия «знак», применяется одна из трёх формул, приведенных на слайде. На втором этапе от получившегося промежуточного результата отбрасываются «хвосты» – всё, что находится за пределами установленного стандартного диапазона «от 0 до 1». В группе экспертных оценок всё просто. Для качественных оценок устанавливается тот же диапазон значений, «от 0 до 1», что во всей системе, с заданным шагом, лучше «0,1». Затем, во избежание произвола экспертов, вводится формализованная шкала экспертных оценок. Для категоричных оценок устанавливаются два крайних варианта того же диапазона, «0» и «1», и эксперт выбирает одно из этих значений. В группе формализованных оценок по факту наличия либо отсутствия чего-либо дело немного усложняется атрибутом критериев «знак». Процесс определения значения показателя разбивается на два этапа. Вначале экспертным путём устанавливается факт наличия либо отсутствия чего-то, а затем автоматически, в зависимости от знака «+» или «–», констатируется, хорошо это или плохо. Для показателей со знаком «+» наличие будет приводить к результату «1», отсутствие – к «0», а для показателей со знаком «–» наоборот, наличие будет приводить к результату «0», отсутствие – к «1».
- Примеры стандартизации конечных показателей: объективные данные
Рис. 31. Примеры стандартизации конечных показателей: объективные данные
Разберём стандартизацию показателей, рассчитываемых на основе объективных данных. Здесь и на всех последующих слайдах со скриншотами представлены стандартные блоки, размещаемые на листах АЭТК, Автоматизированных экспертных технологических карт. АЭТК – это реализованные в оболочке электронных таблиц аналитические инструменты системы оценки соответствия «ЭкспертЗдравСервис». Обозначения в них все те же, что приведены на предыдущем слайде в правом (розовом) столбце. В строке формул виден фрагмент реальной формулы, рассчитывающей предварительный результат способом, соответствующим атрибуту критерия «знак». Для этих атрибутов в АЭТК выделен столбец «А». Вместо схематических обозначений в формуле, понятно, адреса ячеек. Для атрибута критериев «знак» выделен столбец «А». Окончательное стандартизованное значение показателя получается путём отбрасывание «хвостов», выходящих за пределы установленного стандартного диапазона от «0» до «1».
- Примеры стандартизации конечных показателей: объективные данные
Рис. 32. Примеры стандартизации конечных показателей: объективные данные
На предыдущем слайде были приведены по два варианта расчётов для значений «+» и «–» атрибута критериев «знак», с выходом промежуточного результата за пределы стандартного диапазона и без такового. Здесь также приведены примеры стандартизации показателей, рассчитываемых на основе первичных объективных данных, только для значения «±» атрибута «знак». Скриншот тот же. Предложены варианты: фактическое значение находится ниже нижней границы нормативного или целевого диапазона, выше его верхней границы либо внутри него. В каждом случае «работает» своя часть формулы расчёта предварительного результата. Расчёт же окончательного значения показателя везде одинаков и состоит в отбрасывании «хвостов».
- Примеры стандартизации конечных показателей: наличие и отсутствие
Рис. 33. Примеры стандартизации конечных показателей: наличие и отсутствие
Стандартизация показателей, определяемых по факту наличия или отсутствия чего-либо – т.е., тех, что несколько слайдов назад были отнесены к «промежуточной группе». Здесь приведены по два примера для значений «+» и «–» атрибута критерия «знак», с разными фактическими значениями «есть» или «нет» для каждого из этих вариантов. Фактическое значение – это констатация экспертом, «есть» или «нет» искомое нечто, а хорошо это или плохо, определяется атрибутом «знак», и выражается нулём либо единицей. На скриншоте хорошо видна инверсия результатов при положительных и отрицательных фактических значениях в зависимости от значений атрибута критерия «знак».
- Примеры стандартизации конечных показателей: экспертные оценки
Рис. 34. Примеры стандартизации конечных показателей: экспертные оценки
Стандартизация показателей, определяемых экспертом на основе своих знаний и опыта. Экспертным путём можно оценить что-либо категорично, а можно дать ему качественную оценку. В первом случае, он представлен на первом скриншоте, у эксперта в стандартизованной в диапазоне от «0» до «1» системе оценки соответствия должно быть два варианта ответа на выбор: ноль либо единица. Во втором случае (второй скриншот) эксперт пользуется экспертной школой от «0» до «1» с заданным шагом, у нас это «0,1». Качественная оценка – это определяемая экспертом и выражаемая в долях от единицы степень соответствия условному идеалу. Справедливость принимаемых решений при этом обеспечивается стандартизованной оценочной шкалой. Однако и дихотомическая экспертная оценка, «0 либо 1» – тоже по сути качественная, только выражается она в категоричной форме.
- Стандартизованная шкала экспертных оценок
Рис. 35. Стандартизованная шкала экспертных оценок
Знакомая картина! Действительно, точно такая же шкала экспертных оценок используется при проведении экспертизы качества медицинской помощи по нашей методике. Авторская методика экспертизы качества медицинской помощи по федеральным критериям подробно описана в публикациях на сайте Здрав.Биз, а также в монографии «Методика экспертизы качества медицинской помощи», которую можно заказать на сайте и получить в электронном формате бесплатно. К слову, приведённая здесь шкала экспертных оценок является усовершенствованным вариантом шкалы, использовавшейся в нашей («иркутской») Автоматизированной системе оценки соответствия в здравоохранении с самого начала и хорошо знакомой коллегам во многих регионах. Опыт её практического применения достаточный.
- Дополнительные аналитические средства
Рис. 36. Дополнительные аналитические средства
Выше были представлены блоки основных таблиц, размещаемых на «основных» листах АЭТК и содержащих оценочные критерии с их атрибутами, средства получения результата способом, соответствующим избранному типу «конечного» показателя, средства обработки результатов по блоку, а также функционал включения и отключения показателей, о которых поговорим в другом месте. В большинстве случаев этого достаточно для анализа. В то же время, иногда возникает потребность в обработке большого количества типовых данных для одного объекта либо определённых характеристик множественных однотипных объектов. Если всё это оформить в виде обычных таблиц, они займут много строк и загромоздят карту. Кроме того, варьируется общее число однотипных объектов, по которым надо проанализировать сходные параметры. Например, типовых кабинетов в клинике может быть от одного до нескольких десятков. Для решения этой проблемы разработаны боковые и дополнительные таблицы.
- Пример стандартизованной боковой таблицы
Рис. 37. Пример стандартизованной боковой таблицы
Боковые таблицы размещаются справа от основных блоков АЭТК. В боковой таблице вначале в отдельном столбце рассчитывается среднее по заполненным (т.е., содержащим данные) позициям в каждой строке, затем оно попадает в основной блок на место обычных значений показателей. Среднее по «включенным» и содержащим данные строкам получается, как в любом обычном блоке, стандартизованным автоматически. При расчёте блока учитываются только включенные (не отключенные) строки, содержащие введённые пользователем данные.
- Пример стандартизованной дополнительной таблицы
Рис. 38. Пример стандартизованной дополнительной таблицы
Дополнительные таблицы размещаются на отдельных листах АЭТК. Здесь также вначале рассчитывается среднее значение по содержащим данные позициям в каждой строке, затем среднее по «включенным» и содержащим данные строкам блока. Т.е., аналогично боковым таблицам, только на отдельных листах карты. Результаты по каждой строке и по блоку также автоматически получаются стандартизованными. Не стоит вписывать конкретные документы и данные сотрудников в заголовки столбцов для ввода данных, поскольку они могут разниться от блока к блоку. Для удобства проведения аудитов и тренингов дополнительные таблицы можно выводить в отдельные файлы путём копирования листа целиком с последующим удалением не относящихся к теме планируемого мероприятия таблиц. Принципиально важный момент: при проведении аудитов важно оценивать не персональные огрехи, а то, как налажена работа, поэтому данные сотрудников в заголовки столбцов вписывать категорически не следует. При проведении обучения персональные данные могут вписываться исключительно в целях контроля образовательного процесса.
- Пример стандартизованной дополнительной таблицы с нормативами
Рис. 39. Пример стандартизованной дополнительной таблицы с нормативами
В дополнительных таблицах через небольшое усложнение структуры возможно получение результатов, рассчитываемых на основе первичных объективных данных (например, площади помещений). В этом случае вначале построчно рассчитывается таблица предварительных результатов путём сопоставления фактических значений с нормативными или целевыми. Эти предварительные результаты стандартизируются во вспомогательной таблице, а затем по ним вычисляются построчные средние значения с дальнейшим получением результата по блоку. Как и в предыдущих примерах, при расчёте блока учитываются только включенные строки, содержащие введённые пользователем данные.
- Подключение дополнительных таблиц
Рис. 40. Подключение дополнительных таблиц
В отличие от боковых, дочерние таблицы, размещаемые на дополнительных листах АЭТК, к основным таблицам надо «подключать». Делается это очень просто: результат расчёта блока дополнительной таблицы импортируется в ячейку основной таблицы, для того предназначенную. Обычная гиперссылка, ничего сложного. Рядом, в зелёной ячейке, для наглядности можно отобразить имя листа и номер строки с ячейкой-донором.
- Пример стандартизации расчётного блока
Рис. 41. Пример стандартизации расчётного блока
Если блок не отключен выше или в отключенном имеются введённые пользователем данные, рассчитывается среднее значение результатов по включенным показателям блока. Стандартизация значений у нас в диапазоне от «от 0 до 1», так что и среднее значение автоматически получается стандартизованным в этом диапазоне.
- Пример стандартизации промежуточных расчётов
Рис. 42. Пример стандартизации промежуточных расчётов
Все промежуточные показатели в иерархии рассчитываются в соответствующих дочерних блоках и стандартизованы в диапазоне «от 0 до 1». Эти значения включаются в свои родительские блоки, а те, в свою очередь, рассчитываются так же. Вся карта, таким образом, сверху донизу стандартизована в заданном диапазоне.
- Стандартизация производных показателей: «да» в процентах
Рис. 43. Стандартизация производных показателей: «да» в процентах
Система оценки соответствия содержит требования из разных источников, большинство из которых в чистом виде предполагает использование базового дихотомического принципа. Решение вопроса о собственно соответствии требованиям при этом целиком отдано на откуп эксперта, который может судить, как ему заблагорассудится. Более надёжным способом получения справедливой дихотомической оценки было бы применение вторичного принципа минимальной достаточности к стандартизованным значениям, полученным предусмотренным в системе способом. В т.ч., полученным также экспертным путём, но с использованием градационного принципа и, соответственно, шкалы экспертных оценок. Суть: каждый стандартизованный в диапазоне «от 0 до 1» результат оценки соответствия сопоставляется с заранее установленным пороговым значением, ниже которого требование считается невыполненным. Это просто, но при расчёте блоков появляется два варианта с разными выводами. Оценку выполнения требований блока можно производить либо в процентах положительных ответов от общего числа «включенных» показателей в блоке, либо путём сопоставления результата расчёта всего блока с тем же порогом. В представленном примере в блоке 8.6.1 доля положительных ответов составила 75%, хотя общий результат по блоку получился равным 0,85. Первый результат (ячейка M195) ниже, а второй (ячейка M174) – выше установленного для данной карты порогового значения 0,8 (80%).
- Стандартизация производных показателей: жирность
Рис. 44. Стандартизация производных показателей: жирность
Во второй версии Предложений РЗН по внутреннему контролю для стационаров появилось ноу-хау: некоторые критерии были выделены жирным шрифтом и были названы «обязательными». «И треснул мир напополам», как пелось в известной песне. Несоответствие перестало быть равным несоответствию. Подробно я разобрал эту тему в работе «Изящное решение жирной проблемы…», ссылка на которую будет дана, среди прочих, на завершающих слайдах. Для решения проблемы жирности в АЭТК пришлось разработать специальный функционал. Суть: стандартизованное значение оценки соответствия по «жирному» критерию сопоставляется с ещё одним заранее установленным пороговым значением, ниже которого констатируется критическое несоответствие. Оценка выполнения требований, включённых в какой-либо блок, производится путём подсчёта абсолютного числа критических несоответствий – т.е., «в штуках». Выявленные несоответствия по всем блокам суммируются. Суммы из дочерних блоков, аналогично другим результатам, передаются в родительские и, тем самым, отражаются во всей иерархии. Имея перед глазами структуру критических несоответствий, можно заняться их прицельным устранением. К слову, реализовав этот функционал в АЭТК, я обнаружил, что он прекрасно подходит и для других «строго обязательных» требований, вроде Списков контрольных вопросов Росздравнадзора.
- Возможности обмена результатами
Рис. 45. Возможности обмена результатами
Иногда требования из разных источников близки по содержанию и подходам к оценке, хотя и попали на разные листы АЭТК. Исключить двойную экспертную работу можно, заимствуя результаты в одних местах из других. Здесь нужна осторожность, поскольку требования из разных источников редко бывают идентичными, чаще наблюдается в какое-то степени приближение. Даже позиции Списков контрольных вопросов РЗН не всегда досконально воспроизводят требования нормативных правовых актов, на которые ссылаются. Что уж говорить о более отдалённых друг от друга источниках, где у многих требований есть лишь схожесть формулировок. Как, например, у содержащихся в приказе Минздрава № 1108 по профилактике ИСМП и в главе XLIV Санитарных правил по профилактике инфекционных болезней. Но когда есть возможность заимствования, ставим гиперссылку.
- Обмен данными и сводные результаты
Рис. 46. Обмен данными и сводные результаты
Тематические и профильные АЭТК создаются для комплексного анализа объектов. Эксперт с такой картой может полностью исследовать объект, а ответственные люди – правильно наладить работу. Такие карты должны включаться в общую иерархическую структуру отраслевой системы оценки соответствия. Результаты, получаемые в блоках верхнего уровня узконаправленных АЭТК, переносятся в нужные места АЭТК более широкого охвата. Конечно, по структуре показателей такие блоки должны быть идентичными. Для общего анализа создаются сводные АЭТК. Переносить значения показателей между картами следует вручную. Использовать гиперссылки не рекомендуется, т.к. связи между файлами легко разрываются, что приводит к ошибкам и добавляет лишней работы по их поиску и устранению.
Продолжение: «Управление соответствием. 47-56. Дифференциация требований».
Полноформатное видео «Управление соответствием. Введение в технологию. 10.04.2023»,
на Ютубе:
и на РуТубе:
---
---
Всегда ваши, Андрей Таевский, ЗдравЭкспертРесурс и ЭкспертЗдравСервис.