Уважаемые коллеги!
Среди инструментов управления качеством рейтинг не снискал большой популярности. Близкие инструменты, такие как конкурс, премия и мониторинг показателей, применяются гораздо чаще. Неудивительно, ведь рейтинг организационно и технически сложнее, а на выходе – казалось бы, то, что можно получить легче и проще. Те же призёры, что на конкурсе, или та же динамика показателей, как при мониторинге. Однако ни один из этих инструментов не даёт столь полной концентрированной картины качества деятельности, как рейтинг.
Да и не так уж он сложен. Трудности возникают при недостатке знаний и опыта, что поправимо. Настоящая работа завершает серию публикаций, которая, я надеюсь, будет полезна заинтересованным коллегам. В первой из них, «Рейтинг на основе ключевых показателей как инструмент управления качеством»[1], было раскрыто его смысловое содержание были рассмотрены концепция рейтинга и теоретические основы применения данного инструмента.. Во второй, «Как устроен рейтинг на основе ключевых показателей (на успешном примере)»[2] – организация проведения на примере регионального рейтинга здравоохранения муниципальных образований. Здесь я поделюсь некоторыми секретами сугубо практического характера.
Коллективный труд и индивидуальные усилия одинаково важны
Организация, подготовка и проведение рейтинга требует концентрации внимания и усилий. Нужно определиться с темой и смоделировать исследование, очертить круг участников и, при их большом числе или разнообразии, распределить их по категориям. Сформировать систему критериев и рассчитать нормативы. Разработать и утвердить регламентирующие документы, распределить обязанности. Обеспечить достоверность данных и корректность расчётов, справедливость результатов, и т.д.
В общем, дело непростое, но при выполнении ряда условий, о которых мы здесь говорим, вполне посильное. Как говорится, не боги горшки обжигают.
Ваши усилия – залог успеха. Если вы осознанно используете рейтинг, твёрдо знаете содержание, предназначение и ограничения данного инструмента, имеете чёткое представление о целях его применения в управляемой системе, характере ожидаемых результатов и условиях, оказывающих на них влияние, если вы достаточно внимательны и усердны, то у вас есть шансы добиться успеха.
Правда, небольшие, поскольку заботы предстоят немалые. Сколь бы ни были высоки ваши компетенции, в одиночку вы вряд ли сможете вытянуть весь рейтинг. Каждая из названных и выше задач требует соучастия коллег. И не только трудового вклада в подготовку и проведение рейтинга, но творческого сотрудничества.
Один в поле не воин. Сколько людей, столько и мнений. Если вы возьмёте на себя любую из этих задач целиком, даже сделав её исключительно хорошо, вы не встретите понимания коллег. Они подвергнут жестокой критике всё, что вы сделаете. Они разнесут в пух и прах вашу систему критериев и целевые значения показателей, ваши расчёты и средства автоматизации, выбор и категоризацию участников рейтинга, организацию сбора сведений и верификацию данных, всё! И особенно старательно – результаты рейтинга. Вы не сможете их переубедить «после того», это невозможно.
Единственный способ обрести взаимопонимание с коллегами – их осознанное, заинтересованное, творческое соучастие. Привлекайте специалистов к обсуждению и решению всех задач на каждом этапе.
Особенно тщательно отработайте с ведущими специалистами систему оценочных критериев и нормативные (целевые) значения показателей. Если не с кем отработать тот или иной показатель – возможно, лучше от него отказаться. Или, как вариант, уменьшить его значимость, переместив вниз по иерархии критериев.
Тонкие материи. Конечно, всегда хочется иметь универсальную систему оценочных критериев и нормативов, к чему подталкивают императивы равенства и справедливости.
Но нужно быть реалистами, не все оценочные критерии применимы ко всем участникам рейтинга. Невозможно создать для всех равные условия для того, чтобы с каждого можно было спрашивать наравне со всеми. Формальное следование идеалам в жизни нередко приводит к обратному, к несправедливости и неравенству.
Кроме того, нужно ставить перед людьми реальные цели. Недостижимые цели непоправимо уничтожают мотивацию. К чему прилагать усилия, если они заведомо тщетны?
Короче говоря, иногда возникает необходимость исключить отдельные неприменимые к тому или иному участнику (либо категории участников) параметры либо индивидуально откорректировать некоторые нормативы, приведя формализованную оценочную машину в гармонию с действительностью.
Нелишне напомнить, что подобные действия чреваты злоупотреблениями, угрожающими, опять же, искомой справедливости результатов, и потому должны тщательно коллегиально прорабатываться и надёжно обосновываться. Постарайтесь максимально прояснить эти вопросы заранее.
Методическому сопровождению рейтинга следует уделить самое пристальное внимание. Привлеките к его разработке лучших специалистов.
Рядовые исполнители совершат столько ошибок, сколько возможностей ошибиться вы им предоставите. Не запускайте рейтинг, пока все причастные не будут ясно понимать, что, как и зачем делается.
Технические средства имеют значение
Сбор данных. Для сбора сведений от участников рейтинга вам, прежде всего, понадобятся форма для заполнения, способ передачи сведений и место (таблица) для хранения данных. И, конечно, тот, кто всё это добро скрупулёзно соберёт и правильно обработает, если это не вы сами.
Форма для сбора сведений от участников рейтинга. Вряд ли какая МИС или АИС имеет встроенный конструктор форм и аналитические инструменты, столь же удобные и гибкие, как электронные таблицы. Так что, ищем варианты.
Первое, что приходит на ум – традиционная бумажная анкета по утверждённой форме, заполняемая ответственным исполнителем и подписываемая полномочным представителем участника рейтинга. Она официально направляется участниками рейтинга в структуру (либо должностному лицу), ответственную за организацию и проведение рейтинга (далее пусть будет ОР).
Очевидные плюсы: официальный характер и дисциплинирующая ответственность всех причастных. Минусы столь же очевидны: жёсткость, проволочки, лишние расходы и вред экологии. А также мартышкин труд по ручному переносу сведений из бумажного варианта в электронный и весьма вероятные ошибки на стороне ОР.
Как вариант, ускоряющий процесс обмена информацией, но слабо влияющий на расходы, трудозатраты и риск ошибок – направление скана подписанной бумажной версии по электронной почте. Или, как сейчас, в форме электронного документа, где из подлинно электронного только подпись руководителя, поскольку вряд ли кто-то будет возиться с разметкой ради сбора данных для рейтинга.
По электронной почте можно, однако, переправлять не только сканы и электронные документы, но и документы в редактируемом формате, если перед этим условлено, что руководитель и исполнитель участника рейтинга несут ответственность за содержание того, что направляют ОР. В таком случае, нужно озаботиться возможностью подтвердить это содержание в любой момент. Технически это просто – копии отправленных и принятых писем сохраняются у обеих сторон.
Поскольку для обработки данных удобнее всего использовать оболочку электронных таблиц, то и форму для сбора сведений лучше сделать в том же формате – это всё упрощает. На рис.1 представлен образец такой формы, реально применявшийся на практике*.
Рис.1. Пример формы для сбора сведений от участников рейтинга в оболочке электронных таблиц (фрагмент).
Полученные от участников рейтинга заполненные данными формы на стороне ОР переносятся в электронные таблицы для дальнейшей обработки. В этих целях под каждого участника рейтинга создаётся отдельный лист.
Рис.2. Пример таблицы с данными, полученными от участников рейтинга (фрагмент).
Казалось бы, простейшая операция – выделить в присланной форме столбец с данными, скопировать его и вставить в сводную таблицу первичных данных в виде значений. Как бы не так!
Удивительное рядом. В процессе сбора данных наблюдаются странные явления, объяснения которым найти не проще, чем решения.
Участники чего только не шлют. И цифры бывают фантастическими (на рис.2 ячейки с такими данными отмечены малиновым цветом), и форматы не соблюдаются, а то и сама форма искажается. Решения в виде однозначных требований к форматам и предупреждения насчёт недопустимости искажений формы, сделанные в её «шапке» крупным жирным красным шрифтом, увы, не всегда помогают.
Наблюдались даже попытки скрыть отсутствие данных либо их очень плохие значения путём удаления строк с критериями или их подмены, искажения их формулировок. Очевидное решение состоит в установлении защиты формы от изменений средствами оболочки электронных таблиц. Удивительно, но пресечь подобные попытки со стороны некоторых участников не удавалось даже таким способом. Ломали пароли! С упорством, достойным лучшего применения.
Пришлось найти ещё одно решение. Участников рейтинга было много, за сорок, и оценочных критериев под сотню, глазами всего не выглядеть (видимо, на то и расчёт). Но спасает автоматизация. Простейшие формулы сравнивали построчно содержимое ячеек с формулировками критериев из присланной формы и из образца, и «сигналили» при выявлении несовпадений, а значит, подлога.
Интересна мотивация таких участников рейтинга. Да, «плохие» показатели и дурные цифры, а тем более их отсутствие могут свидетельствовать в пользу некомпетентности руководителей, поскольку все запрашиваемые данные находятся в зоне их ответственности (а иных показателей в рейтинге быть не должно в принципе). Но за них никто не наказывал. Рассчитывать на дурачка и мучить IT-специалистов, заставляя их ломать защиту, уж точно не стоило.
Таковы особенности работы в электронных таблицах. С одной стороны – максимум свободы и удобства в реализации практически любых задач, с другой – слабая защищённость от случайных и злонамеренных искажений структуры, что требует дополнительных усилий по их выявлению и устранению.
Блага прогресса. Позже появились облачные сервисы для совместной работы с документами, в т.ч. для создания и использования онлайн-форм с сохранением ответов и поддержкой экспорта данных в электронные таблицы, такие как Google Disk (ранее Google Forms/Docs) и Yandex Forms. В целях проведения рейтинга их допустимо использовать, поскольку никаких секретных сведений при этом не собирается.
Что важно, такие сервисы предоставляют достаточно защищённые варианты доступа к форме и регистрируют все изменения с указанием их даты и времени. Можно разослать участникам сгенерированную сервисом мудрёную ссылку на форму с чётко обозначенным запретом распространения, и это достаточно надёжный способ. А при наличии защищённой зоны сайта ОР можно разместить форму во фрейме на странице с ограниченным доступом.
У участников рейтинга здесь исчезает всякая возможность вмешиваться в структуру формы. Также удобно задавать форматы данных взамен того, чтобы их постоянно контролировать (пренебрежение к требуемым форматам – вечная проблема!).
Кроме того, в такие формы прекрасно встраивается методическое сопровождение. Сухие формулировки критериев и поля для ввода сопровождаются примечаниями, где можно дать все нужные пояснения.
Отправка формы означает сдачу отчёта, а внесённые данные прекрасно ложатся в электронные таблицы. Очень удобно и надёжно.
Нужны ли целевые значения показателей в форме? Вопрос, который на первый взгляд кажется риторическим.
Руководство участников должно знать состав и целевые значения ключевых показателей, ведь их реальные значения определяются качеством их работы. Они должны знать, к чему стремиться, их усилия и труд их подчинённых должны быть целенаправленными. Безусловно, это так.
Только вопрос не о знании нормативов руководством, а о том, нужно ли указывать их в форме, с которой непосредственно работают исполнители. Проблема в том, что как только они там появляются, количество работы по верификации данных на стороне ОР увеличивается кратно.
Эффект легко объясним. Люди, как правило, стараются выглядеть лучше в чужих глазах и порой не видят ничего плохого в том, чтобы слегка приукрасить фактуру. Есть и научные объяснения от профессора Чарльза Гудхарта («Когда мера становится целью, она перестаёт быть хорошей мерой»), Дональда Кэмпбелла и др.
Так что, видимо, лучше в ходе сбора сведений сосредоточиться на фактах. А состав ключевых показателей и их целевые значения прорабатывать с руководителями в других местах, коих в хорошо организованной системе должно быть достаточно.
Альтернативные источники нужны для верификации сведений, получаемых от участников рейтинга.
Существенная часть данных обычно есть в официальной статистике, однако доступны лишь прошлогодние данные. Актуальные сведения можно запросить и получить у статистиков (в МИАЦе или оргметодотделе).
Рис.3. Пример таблицы с актуальными официальными данными (фрагмент).
Другой важный источник – профильные специалисты. Здесь вам также потребуются табличные формы для сбора сведений и таблица для их хранения.
Рис.4. Пример таблицы с данными, полученными от специалистов (фрагмент).
С обменом данными со специалистами всё бывает по-разному. Кто-то попросит подготовить табличку для внесения значений показателей, находящихся в его компетенции, а кто-то пришлёт своё сам. Поскольку данные вам нужны строго в разрезе участников рейтинга, здесь возможны нестыковки – впрочем, преодолимые.
Верификация данных. Каждая цифра должна быть выверенной. Данные, поступившие из разных источников, нужно сопоставить и выявить несовпадения для последующего разбора. Можно, конечно, проделать эту работу вручную, но она муторная и не исключает ошибок. Лучше автоматизировать.
На листах участников рейтинга рядом с предоставленными ими данными размещаются сведения из других источников. Когда они располагаются рядом, их можно легко сопоставить между собой с помощью несложных формул, определяя факты и величину несовпадений (столбец X на рис.5, подписанный «ИДД»).
Каждое несовпадение является основанием для установления его причин и коррекции. Кроме того, «индекс достоверности данных» характеризует участников рейтинга.
Рис.5. Пример служебной таблицы для автоматизированной верификации данных на листе участника рейтинга (фрагмент).
Поиск истины по каждому показателю осуществляется во взаимодействии со всеми источниками сведений. В случае успеха, цифры совпадут или сблизятся. В противном случае, автоматика подставляет в качестве фактического результата одно из имеющихся значений в соответствии с заложенным порядком. Причём, этот порядок для отдельных показателей желательно иметь возможность изменять принудительно. Это чуть более сложный функционал, но, как показывает практика, востребованный.
Стандартизация показателей и расчёт индексов соответствия. Технически это несложно – обе операции выполняются стандартными формулами в несколько шагов.
Сначала определяется тип показателя:
«+» - чем больше, тем лучше (рождаемость, прибыль);
«–» - чем больше, тем хуже (смертность, обоснованные жалобы);
«±» - хорошо в пределах заданного диапазона целевых значений (заболеваемость, охват диспансеризацией), а выход за эти пределы – плохо, и чем дальше, тем хуже.
Затем рассчитываются индексы соответствия для показателей:
«+» - фактическое значение делится на целевое;
«–» - фактическое значение делится на целевое, результат деления вычитается из двух;
«±» - при нахождении фактического значения в пределах диапазона целевых значений принимается за единицу, либо:
- если фактическое значение ниже нижнего предела диапазона, фактическое значение делится на значение нижнего предела целевого диапазона;
- если фактическое значение выше верхнего предела диапазона, фактическое значение делится на значение верхнего предела целевого диапазона и результат деления вычитается из двух.
В завершение, всё, всё, что выходит за пределы стандартизованной шкалы от нуля до единицы, отбрасывается.
Предварительная поверка содержимого ячеек с пользовательскими данными немного усложняет формулы, но без неё в расчётах будут возникать ошибки, влияющие на результаты рейтинга.
Если рассчитывать индексы соответствия без проверки наличия удовлетворяющего требованиям содержимого в ячейках, то при его отсутствии будут ошибки в расчётах. Пустота будет давать ложный индекс соответствия, для показателей типа «+» индекс будет приравниваться к нулю, а для типа «–» – к единице.
В ходе автоматической проверки показатели, по которым нет данных, должны корректно отключаться, что означает полное исключение данного показателя из расчётов. Число показателей в блоке, путём деления суммы индексов на которое вычисляется среднее значение по данному блоку, уменьшается на единицу.
Функционал тонкой настройки нужен, чтобы корректно отключать неприменимые параметры, наряду с показателями, не прошедшими вышеописанную проверку.
Технически это реализуется так. В одной из ячеек каждой строки показателей находится флажок (любой знак), при удалении которого показатель не проходит проверку состояния и отключается. Или чуть более технологичный вариант: вместо флажка – переключатель состояний («включено/выключено») в виде выпадающего списка.
Что тонкая настройка – на самом деле нужный функционал, можно убедиться на том же примере рейтинга. Маломощные стационары в некоторых районах давали либо отличные результаты, либо просто ужасные, в зависимости от того, попадали в их статистику редкие досадные случаи, или нет. К тому же, все тяжёлые случаи они переправляли в крупные областные учреждения, что также искажало статистику. Разброс индексов получался при этом настолько сильным, что фактически определял место этих участников в рейтинге. Их либо возносило их на пьедестал, либо выбрасывало в аутсайдеры, причём то и другое – совершенно не по заслугам.
Рейтинг – это не про случайности, а про закономерности. Так что, единственно верным решением было эти показатели для ряда районов отключить. Кстати, впоследствии эти малые мощности были целиком поглощены появившимися межрайонными больницами, что доказало правильность тех решений.
Автоматическое либо ручное отключение показателя связаны, поскольку в обоих случаях производится проверка его состояния с дальнейшим исключением из расчётов.
Поощрительные баллы. Для того, чтобы можно было учесть особо выдающиеся достижения участников, в 2008 году был введён поощрительный балл в размере не более пяти сотых.
Т.е., при фактическом результате, значительно лучшем целевого ориентира, индекс соответствия выходил за пределы стандартного диапазона на 0,05 и составлял 1,05.
Необязательная опция, но я нахожу её полезной. Не стоит упускать возможности для поощрения хорошей работы.
Глаза боятся, руки делают. Словесное описание стандартизации и расчёта индексов соответствия получается громоздким, однако всю эту работу выполняет всего несколько несложных стандартных формул. Разобраться с ними до уровня способности к воспроизведению вам помогут другие мои работы[3,4].
Громоздкое описание – больное место технологических решений. Чем лучше продумана технология, тем больше проблем она позволяет решать, и тем труднее описать, что у неё «под капотом».
Как вариант, можно положиться на разработчиков, но это не самое лучшее решение, поскольку при этом вы не контролируете процесс и впадаете к ним в зависимость.
Освоение технических средств дарит свободу. Особенно когда для полноценного решения задачи можно обойтись доступными средствами. Рейтинг, к примеру, это позволяет.
Ценность рейтинга
Значение рейтинга в управлении качеством я описал в предыдущих работах серии[1,2]. Оно двоякое: улучшения через соревнование участников и улучшения посредством управления качеством по отклонениям.
Победители и призёры. Когда у вас есть все данные, и они полностью обработаны, вы можете ранжировать участников в соответствии с достигнутыми ими результатами.
Общий и групповой рейтинги лучше разместить на отдельных листах книги. Там будут в таблицах с участниками рейтинга собираться их индексы соответствия, включая итоговые (интегральные) индексы соответствия и основные результаты из блоков верхнего уровня, а также индексы достоверности данных. На одном листе все участники рейтинга будут в одном списке (рис.6), на втором – с разбивкой по категориям (рис.7).
Сбор данных лучше автоматизировать, вытягивая их ссылками с листов участников рейтинга. Однако дальнейшие сортировочные операции производить удобнее со значениями. Дело в том, что ранжирование приходится производить повторно, а то и не один раз – всегда кто-то норовит запрыгнуть в последний вагон уходящего поезда. На листах, нашпигованных ссылками, это делать неудобно. Так что, для сбора результатов лучше сделать ещё один лист, и уже с него переносить значения и форматы на листы с общим и групповым рейтингами.
Там производится автоматическая сортировка встроенными средствами оболочки электронных таблиц «по убыванию» итоговых индексов соответствия. В общем рейтинге – по результатам всех участников сразу, а в групповом – вначале по категориям, а затем по результатам в каждой категории отдельно.
Занявшие призовые места оказываются вверху. В общем рейтинге:
Рис.6. Общий рейтинг здравоохранения муниципальных образований Иркутской области за 2008 год. Результаты (фрагмент).
И в групповом рейтинге – в каждой категории участников:
Рис.7. Групповой рейтинг здравоохранения муниципальных образований Иркутской области за 2008 год. Результаты (фрагмент).
Готово. Можно ещё сделать диаграммы для наглядности.
Добросовестность. На приведённых выше (рис. 6 и 7) диаграммах заметен весьма любопытный эффект.
Индексы достоверности данных (красные столбики) не снижаются вместе интегральными индексами соответствия (синие столбики), как можно было бы ожидать. Ведь люди, показывающее худшие результаты, склонны их приукрашивать, не так ли? Оказалось, ничего подобного. Наблюдаются отдельные, случайно разбросанные среди участников «провалы» достоверности, лишь один из которых можно назвать выдающимся. Это свидетельствует о хорошо выполненной работе всеми соучастниками процесса, а также о том, что большинство, всё же, старается действовать добросовестно.
Механизм влияния индекса достоверности на положение участника в рейтинге может быть разным. Например, можно внести его в блок верхнего уровня, где он будет участвовать в расчёте итогового индекса соответствия наряду с другими основными показателями. Это удобно и просто, однако он при этом теряет свою обособленность, как бы «размывается» среди показателей.
Есть способ этого избежать. Интегральный индекс соответствия, а это всегда дробное число, округляется до какого-то числа знаков после запятой. При сортировке участники ранжируются вначале по столбцу с индексами соответствия, а затем по столбцу с индексами достоверности. Т.е., участники при одинаковых (округлённых) значениях в первом столбце, сортируются по значениям во втором. По опыту применения этого способа не скажу, чтобы он показал преимущество перед первым. При округлении до трёх знаков влияние индекса достоверности оказывается слишком слабым, а до двух знаков – чересчур грубым.
Управленческая ценность результатов не ограничивается стремлением участников к победе.
На рис. 6 и 7 представлены таблицы, содержащие систематизированные результаты рейтинга. И не только итоговые оценки, но и расклад по важнейшим разделам работы.
Хорошо структурированные сведения позволяют видеть в пределах одной таблицы, умещающейся на листе формата А4, кто из участников работает отлично, кто стабильно хорошо, а кто «проседает». А самое главное – в чём именно.
Любое просевшее значение из этой таблицы можно в два клика проследить до того блока, где оно рассчитано, и там увидеть, за счёт чего произошло снижение. Что и где пошло не так? Что конкретно требует особого внимания? Есть основания заняться проблемой прицельно. Т.о., в рейтинге полноценно реализуется такой эффективный метод управления качеством, как управление по отклонениям.
Технология изложена на примере регионального рейтинга муниципального здравоохранения. Однако она универсальна и применима к деятельности любых организованных систем, включая медицинские организации и их подразделения.
---
*Здесь и далее на скриншотах представлены фрагменты рабочих материалов рейтинга здравоохранения муниципальных образований Иркутской области за 2008 год.
---
Использованные материалы:
- Таевский А.Б. «Рейтинг на основе ключевых показателей как инструмент управления качеством». – ЗдравЭкспертРесурс, 192.
- Таевский А.Б. «Как устроен рейтинг на основе ключевых показателей (на успешном примере)». – ЗдравЭкспертРесурс, 193.
- Таевский А.Б. «Стандартизация показателей, используемых в управлении качеством». – Здрав.Биз, 277.
- Таевский А.Б. «Управление соответствием. Введение в технологию (10.04.23) 29-46. Стандартизация показателей». – ЗдравЭкспертРесурс, 180.
---
Для цитирования:
Таевский А.Б. Рейтинг на основе ключевых показателей. Практические секреты. – ЗдравЭкспертРесурс, 194. https://www.zdrav.org/index.php/resursy-zdravoohraneniya/194-sekrety-med-rejtinga.
---
Всегда ваш, Андрей Таевский.