О доказательном подходе к принятию управленческих решений
Конкурс Счетной палаты — это конкурс не научно-исследовательских работ, но принятия управленческих решений, основанных на доказательствах – результатах применения научно-обоснованных методов.
Что такое доказательный подход к принятию решений?
Когда мы говорим о доказательном подходе к принятию управленческих решений, доказательной политике, мы подразумеваем под этим две составляющих.
С одной стороны, доказательная политика направлена на накопление знаний на основе применения научно-исследовательских методов о том, какие проекты и программы результативны и при каких обстоятельствах. С другой (прикладной) стороны, доказательная политика — это перераспределение ресурсов в пользу наиболее результативных и эффективных решений.
Доказательная политика предполагает наличие эффективных каналов коммуникации между вовлеченными сторонами - государственными служащими получателями мер, научно-экспертным сообществом и другими сторонами.
Идея использования научно обоснованных доказательств для принятия управленческих решений в государственном управлении пришла из доказательной медицины. Для доказательства эффективности и безопасности новых лекарственных препаратов (например, вакцин) проводятся клинические исследования. Доказательный подход в государственном управлении используется для того, чтобы предотвратить провалы реализации мер государственных политиĸ, повысить эффективность бюджетных расходов, прозрачность принятия решений.
Иерархия доказательств
В то же время доказательства могут быть различными по своему качеству, поэтому в качестве ориентира для принятия управленческих решений используют иерархию (стандарты) доказательств. Различия в качестве доказательств объясняются применяемыми методами, данными, которые налагают ограничения на то, какие выводы возможно сделать по итогам. Например, наблюдение за динамикой социально-экономического показателя, как правило, не может говорить о том, работает проект или нет, из-за действия иных, не связанных с проектом факторов.
На первой ступени иерархии доказательств стоят теоретические (не доказанные эмпирически) концепты, мнения отдельных экспертов о каком-то предмете или явлении, например, о результативности проекта.
На следующем уровне находятся результаты описательного или корреляционного анализа административных или иных данных, анализа проведенных качественных исследований, опросов для того, чтобы определить контуры проблемы, описать явления через динамику показателей или их корреляций. Однако, чтобы ответить на вопросы об истинных эффектах проекта или программы и определить, работает ли конкретное решение, а не сопутствующие факторы, нужно использовать экспериментальные и квазиэкспериментальные методы оценки – это третий уровень доказательств.
На четвертой ступени иерархии доказательств находятся системные обзоры свидетельств работы одного и того же механизма (например, работы проекта в различных регионах), по итогам которых получились непротиворечивые и однозначно трактуемые результаты.
Наконец, масштабируемый уровень от пятой – наличие однозначно трактуемых и непротиворечащих друг другу ex-post оценок эффектов проекта, программы, отдельной меры государственной политики.
Принципы доказательного подхода к принятию управленческих решений (доказательной политики)
Доказательный подход должен использоваться на всех этапах работы с государственными проектами – от формализации проблем, до разработки механизмов их решения и оценки полученных результатов.
Мы сформулировали пять принципов, применение которых частично или полностью способствует развитию доказательной политики (и мы бы хотели увидеть в заявках от участников):
Подробнее о принципах доказательного подхода к принятию управленческих решений, а также об иерархии доказательств в лекции Дарьи Цыплаковой.
Формализация проблем через использование результатов научных исследований, социологических исследований и взаимодействия с заинтересованными сторонами, экспертами и общественностью
Принятие управленческого решения на государственном уровне начинается с постановки задачи для решения - формализации проблемы. Как правило, это не является тривиальной задачей. Так, проблему с дошкольным образованием детей можно сформулировать как проблему раннего развития детей, проблему занятости женщин с детьми дошкольного возраста, проблему достаточности мест в детских дошкольных учреждениях, и каждая из этих проблем потребует разработки разных механизмов решения.
В целях формализации проблемы могут быть применены как качественные – опросы заинтересованных сторон, экспертные интервью, – так и количественное моделирование потенциально проблемных явлений и процессов.
Подробнее о применении качественных методов для формализации проблем и выявлении рисков реализации мер госполитики в лекции в Жанны Черновой.
Механизмы государственной политики, которые планируются к реализации, должны приоритизироваться по отношению к менее эффективным альтернативным решениям
После постановки и описания проблемы, ожидаемых итоговых эффектов следует этап определения барьеров на пути их достижения, и далее - подбор механизма государственной политики.
Все механизмы государственного воздействия можно отнести к одному из 6 типов.
| Тип механизма | Факторы | Примеры |
| Оснащение | Целевая группа ограничена / лишена ресурсов и возможностей | Инфраструктура, образовательные программы, предоставление услуг |
| Регулирование | У целевой группы есть возможность вести себя нежелательным образом | Санкционированные и неформальные правила, запреты, мероприятия по мониторингу, меры ответственности, мандаты |
| Стимулирование | Целевая группа придерживается нежелательной модели поведения, так как получает от этого значительную выгоду | Налоговые льготы, штрафы, изменение стандартов, гранты, субсидии, контракты, предоставление земли |
| Информирование | Целевая группа не понимает, насколько важно изменить свое поведение или как его изменить | Коммуникация о взвешенных аргументах, убеждения, рекламные кампании, навешивание ярлыков, раскрытие информации, демонстрационные программы, индивидуальные консультации |
| Подталкивание | У целевой аудитории нет навыков или знаний, которые позволили бы принимать рациональные, взвешенные решения | Упрощения, своевременная обратная связь, отрисовка деревьев принятия решений |
| Импульс | Целевая группа руководствуется эвристикой и негласными правилами, которые подталкивают к нежелаемой модели поведения | Изменение опции по умолчанию (например, автоматическое зачисление в программу накопления пенсий с возможностью отказаться), использование неформальных институтов и неписаных правил, привязка мерк к существующим моделям |
Для выбора наилучшей меры из альтернатив могут использоваться как финансовые методы и их производные (оценка эффективности через CBA, CEA), так и мультикритериальные методы (MCDA), которые подразумевают оценку мер с использованием критериев важности и предъявляемых требований к результату.
Под эффективным механизмом государственной политики мы предполагаем механизм с оптимальным соотношением потраченных ресурсов и полученных результатов.
Более того, эффективность меры должна рассматриваться не сама по себе, а в сравнении с альтернативными решениями. В мировой практике в целях сравнения альтернативных сценариев используют, например, ex-ante оценки, например, микросимуляционное моделирование и модели общего равновесия (CGE).
Подробнее об эффективности в понимании Счетной палаты в лекции Игоря Яременко.
Программные документы стратегического планирования и отчетность по ним должны выстраиваться на основе прозрачной логики изменений, понятных целей, работы по выявлению стратегических рисков
Выстраивание и описание логики влияния разрабатываемой меры государственной политики помогает преодолеть препятствия на пути достижения желаемых итоговых эффектов с учетом рисков и различий в позициях вовлеченных сторон. Одним из инструментов здесь может выступать теория изменений.
Теория изменений — это также важный коммуникационный инструмент, поскольку выстраивание логической цепочки требует вовлечения различных сторон – от разработчиков, ответственных исполнителей до конкретных бенефициаров меры. В экспертной записке Счетной палаты по теории изменений мы описали основные этапы анализа на основе теории изменений.
Подробнее о постановке проблемы при планировании мер госполитики, а также о выстраивании логики государственного воздействия при помощи теории изменений в лекции Юлии Филипповой.
Проведение экспериментов и пилотирование должно быть неотъемлемой̆ частью стратегического планирования
Реализация приоритетных мер государственной политики (программ, проектов) требует пилотирования в ограниченном масштабе, по результатам которого принимается решение либо о корректировке, либо о масштабировании (распространении на новые регионы, группы получателей и т.д.) или отмене меры. От пилотов ждут, в первую очередь, ответов на вопрос о том, какие эффекты ждать от реализации меры.
Подробнее о роли данных для принятия управленческих решений в лекции Ирины Ефремовой-Гарт.
Необходимо проводить строгие оценки результативности/ эффективности меры с целью ее корректировки и формирования базы доказательств.
Строгая оценка эффектов в современных научных исследованиях делается с помощью рандомизированных контролируемых экспериментов. При этом эксперименты — это сложный подход с организационной точки зрения и не всегда практически приемлемый. В случае невозможности его проведения при помощи эконометрических методов можно “синтезировать” эксперимент на наблюдаемых данных.
Подробнее о применении количественных методов для оценки мер госполитики, примеры подобных оценок в России в лекции Евгения Яковлева