Современные методы оценивания эффектов от участия в программах: приложение к российской действительности

Современные методы оценивания эффектов от участия  в программах: приложение к российской действительности

Денисова  И.А., ведущий экономист  Центра экономических  и финансовых исследований и разработок (ЦЭФИР)

Правительство расходует значительный объем средств  на финансирование социальных программ и других инициатив в области  государственной политики. В условиях дефицита ресурсов самая ценная информация для политиков – это предельный эффект бюджетной единицы, потраченной на конкретную программу или деятельность. В последние годы значительное внимание уделяется оценке социальных программ. Цель оценки программ состоит в оценке результативности мероприятий в области государственной политики. Некоторые примеры государственных мероприятий и соответствующих эффектов приведены ниже:

• Влияние программ профессиональной подготовки для особо уязвимых категорий населения на заработки и занятость этих категорий;
• Влияние минимального размера оплаты труда на занятость;
• Влияние программ сбережений с отложенным платежом налогов на накопление сбережений;
• Влияние программ социальной защиты на бедность и поведение домохозяйств;
• Влияние размера класса на полученные баллы за тесты;
• Влияние службы в Вооруженных силах на заработки и занятость;
• Влияние кампании о вреде курения на здоровье.

Помогая лучше понять, каковы выгоды в терминах увеличения общественного и индивидуального  благосостояния, исследования оценки государственных программ повышают прозрачность процесса предоставления государственных услуг. А это  важно не только для повышения  уровня подотчетности правительства, но также и для привлечения  инвестиций со стороны международных  организаций и российских неправительственных  организаций для развития государственного сектора.

Всесторонний  анализ результатов государственных  программ широко распространен в  развитых странах и странах Центральной  и Восточной Европы. Однако в России было проведено всего лишь несколько  таких исследований. В данном обзоре мы рассматриваем в обобщенном виде основные аналитические проблемы, с  которыми сталкиваются специалисты, проводящие оценку (Раздел 1), экспериментальные  подходы (Раздел 2) и неэкспериментальные  подходы (Раздел 3) к оценке воздействия  программ.  Особое внимание при этом уделяется наиболее интересным исследованиям. В Разделе 4 дается краткое описание некоторых исследований эффективности программ в России. В Разделе 5 содержатся выводы.   

Эмпирическая  оценка: фундаментальная  проблема идентификации

В каждом примере желательно оценить причинно-следственный эффект участия в программе (например, участие в программе профессионального  обучения для особо уязвимых категорий  граждан) относительно некоторого исхода (outcome), представляющего интерес, по которому сравниваются участники и не участники (например, относительно заработка или занятости). В каждом случае мы хотим сравнить два потенциальных исхода: потенциальный исход без участия объекта i в программе (например, потенциальный заработок объекта i без обучения) и потенциальный исход при участии объекта i в программе (например, потенциальный заработок объекта i при участии в программе обучения).

Ниже  приводятся некоторые простые обозначения.

: показатель участия в программе  по объекту (индивидууму) i.

Для определения  причинно-следственной связи используется понятие потенциального исхода, используемого  для сравнения участников и не участников.

: рассматриваемая переменная исхода, по которой сравнивают участников  и не участников, (outcome variable) по объекту i, при этом  - это потенциальный исход без участия объекта i в программе, а - потенциальный исход при участии объекта i в программе.

Например, если кому-то интересно провести оценку воздействия программы профессионального  обучения на уровень заработка индивидуума, то , если объект i принимал участие в программе профессиональной подготовки, и , если  имело место обратное, а  - потенциальный исход по объекту i, если бы этот объект не принимал участия в рассматриваемой программе (потенциальный заработок объекта i без обучения), - потенциальный исход по объекту i, если бы данный объект принимал участие в рассматриваемой программе (потенциальный заработок объекта i при участии в программе обучения).

Потенциальный исход подразумевает возможность  событий, альтернативных фактическим. Для индивидуума, который не стал участником программы,  представляет заработок после проведения курса обучения, если бы данный индивидуум стал участником программы. Аналогично, для индивидуума, который стал участником программы профессионального обучения,  представляет заработок после проведения курса обучения, если бы данный индивидуум не стал участником программы. Как следствие, в отношении любого конкретного индивидуума мы не можем наблюдать оба потенциального исхода  и . Мы можем наблюдать только реализованный исход :

Как только на этой основе мы определили потенциальный  исход, естественно, следует определить причинно-следственный эффект участия по объекту i как разницу между двумя потенциальными исходами:

.

Это выявляет фундаментальную проблему идентификации  в исследованиях причинно-следственной связи: мы не можем наблюдать оба  значения  и  по одному и тому же объекту. Следовательно, невозможно рассчитать причинно-следственные эффекты .

В условиях однородности объектов (индивидов) данную проблему можно решить. Если представить  ситуацию, в которой   и  являются постоянными величинами относительно всех индивидуумов или постоянными во времени величинами, то  (для каждого объекта i) можно рассчитать путем сравнения исхода по участникам программы и исхода по не участникам программы (или исхода по одному и тому же индивидууму, который в какой-то момент времени принимал участие в программе, а в другой момент времени не принимал участие в программе). К сожалению, имеются все основания полагать, что существует значительная степень неоднородности в реакции индивидуумов на участие (и неучастие) в государственных программах.

Хотя, как  выясняется, довольно трудно оценить  индивидуальные эффекты участия  в программе, тем не менее интересно  рассчитать некоторую среднюю величину, например, усредненный эффект по участникам программы (также называется отобранным усредненным эффектом участия в программе, или SATE).

 (усредненный эффект участия в  программе по участникам программы)   

Однако  сравнение исхода по участникам программы  и исхода по не участникам программы  обычно не приводит к получению правильного  ответа из-за существующего смещения, которое, вероятно, не будет равняться  нулю для большинства экономических  применений. Такое смещение возникает  из-за проблем отбора. Отбор для  участия в программе обычно связан с потенциальным исходом при  участии в программе и без  участия в программе.   

Пример. Участники субсидируемых программ занятости обычно имеют более низкий заработок до начала обучения по сравнению с теми, кто не становится участником программ [10]. Все-таки, отбор участников (в основном, самоотбор) производится из подсовокупности индивидуумов, которые сталкиваются с трудной ситуацией на рынке труда (безработные или граждане, получающие низкую заработную плату). Поскольку существует значительная инерция в динамике заработка, можно сделать вывод, что заработок участников программы после завершения курса обучения будет ниже заработка тех индивидуумов, которые не приняли участие в программе, если бы программа не была реализована.   

Таким образом, простое сравнение исхода по участникам программы и не участникам программы обычно не будет приводить  к получению правильного ответа. Для оценки эффекта участия в  программе предлагается использовать анализ причинно-следственных связей^[1]. Здесь стоит отметить, что  выявление причинно-следственных связей (casual inference)  используется во многих областях (эпидемиология, криминология, городское планирование и т.п.)  

Выявление причинно-следственных связей – непростая  задача. Очевидно, следует тщательным образом изучить механизм отнесения  объектов  к группам до проведения оценки причинно-следственного эффекта участия в программе. Другими словами, до начала расчетов необходимо обеспечить сравнение сопоставимых объектов. При использовании большинства статистических моделей причинно-следственных связей идентифицируются причинно-следственные эффекты участия в программе путем некоторого ограничения механизма отнесения объектов к группам. В целом, существует два подхода к проведению оценки социальных программ и мероприятий: рандомизированные эксперименты и не эскпериментальные, или обсервационные, исследования (observational studies). Далее дается детальное описание указанных подходов.   

Рандомизированные эксперименты

Общие принципы

При проведении рандомизированного эксперимента используется рандомизированный механизм отнесения  объектов к одной из двух групп: к  группе участников программы и контрольной  группе. Объекты, отнесенные к группе участников программы, принимают участие  в программе, а объекты, отнесенные к контрольной группе, не принимают  участие в программе. То есть в случае рандомизированного исследования механизм отнесения объектов к группам является случайным. Задача случайного порядка отнесения объектов к группам состоит в том, чтобы избежать смещенности оценки усредненного эффекта участия в программе. Другими словами, поскольку механизм отнесения к группе является рандомизированным, он должен быть независим от потенциального исхода, используемого для сравнения участников и не участников.

Поэтому, предположим, что было проведено  рандомизированное испытание с  n объектами. По каждому объекту i отбор по принципу «орел или решка» будет определять попадание объекта i в группу участников программы ( ) или в контрольную группу ( ). Далее группа участников программы принимает участие в программе, осуществляется сбор информации о некоторой соответствующей переменной исхода по каждому индивидууму, то есть .  В этом случае можно было бы оценить усредненный эффект участия в программе по участникам программы в виде простой разницы выборочных средних по участникам программы и не участникам программы:

Стоит отметить, что оценка  является несмещенной и состоятельной оценкой усредненного эффекта участия в программе по участникам программы.   

Несмотря  на легкость получения «качественной» оценки в ходе проведения рандомизированного исследования, возникает, однако, некоторая  угроза достоверности оценки. Достоверность  оценок программы может быть разделена  на две большие категории: достоверность  непосредственно самого исследования (internal validity) и обобщаемость (external validity). Достоверность исследования означает, что возможно оценить эффект участия в программе для нашей конкретной выборки. Достоверность исследования не подтверждается, когда обнаруживаются различия между участниками программы и контрольной группой, которые влияют на исход, и не представляется возможным контролировать данные различия. Обобщаемость означает, что результаты оценки могут быть экстраполированы на другую совокупность. Обобщаемость не подтверждается, когда за пределами среды, в которой проводилась оценка, участие в программе приводит к другому эффекту. В публикации Розенбаума [46] предполагается, что при проведении рандомизированных экспериментов возникает угроза достоверности исследования из-за следующих факторов:

• неудачная рандомизация (административные ошибки);
• невыполнение требований протокола эксперимента (административные ошибки);
• отсев (некоторые участники, отнесенные к программе, могут принять решение не принимать в ней участие. Это также может привести к смещению оценки).

А самая  распространенная угроза обобщаемости возникает в случае действия следующих  факторов:

• нерепрезентативная выборка (Этот вопрос должен быть тщательно изучен на стадии подготовки эксперимента. Нередко результаты экспериментального исследования могут быть экстраполированы на конкретную группу совокупности, а не всю совокупность)
• нерепрезентативная программа:
• участие в программе оказывается разным при фактической реализации (например, региональные различия реализации программы)
• эффект масштаба (например, профессиональное обучение редким профессиям)
• фактическая реализация не является рандомизированной (полномасштабной).

В современной  экономической науке рандомизированное  исследование считается самым эффективным  инструментом оценивания эффекта программ в области государственной политики. Однако данное заявление справедливо  только в том случае, если выполняются  условия, обеспечивающие достоверность  самого исследования и его обобщаемость. Следовательно, успешная организация  рандомизированного эксперимента требует  как скрупулезной аналитической  подготовки, так и значительных финансовых средств. По этой причине число проведенных  рандомизированных экспериментов  незначительно. Некоторые из самых  известных экспериментов представлены ниже.