Современные методы оценивания эффектов от участия в программах: приложение к российской действительности

План  эксперимента. Эмпирическая оценка

В целом, случайный отбор группы участников программы и группы для сравнения  может происходить при нескольких обстоятельствах, например, в ходе реализации пилотного проекта, поскольку ресурсы  программы ограничены, или потому что реализация самой программы  требует случайного отбора участников.   

Во-первых, дадим описание пилотных проектов. До начала полномасштабной реализации программы нередко проводится реализация пилотного проекта, размах которого ограничен по необходимости. В большинстве  случаев участников для пилотного  проекта можно отбирать случайно, поскольку многие потенциальные  площадки (или индивидуумы) в равной мере подходят для проекта. Далее  можно осуществить пилотный проект, чтобы посмотреть, обеспечивает ли программа получение ожидаемого уровня дохода. Программа профессионального  обучения и программа поддержания  уровня дохода являются хорошо известными примерами рандомизированной оценки.   

Наиболее  известное Национальное исследование в рамках Закона о партнерстве  в профобучении (рандомизированная  оценка эффектов программ профессионального  обучения для социально уязвимых групп населения, которая финансировалась  в рамках Закона о партнерстве  в профобучении, принятого в 1982 году) было проведено в США в 1980-1990-х  гг. План исследования был разработан таким образом, чтобы получить оценки воздействия по нескольким ключевым адресным группам: взрослые мужчины, взрослые женщины, молодые женщины и молодые  мужчины. Национальное исследование в  рамках Закона о партнерстве в  профобучении является самой крупномасштабной рандомизированной оценкой профессионального  обучения, которое когда-либо проводилась. В ходе проведения данного исследования по оценке был осуществлен сбор данных по 20 тыс. участников. Законом о партнерстве в профобучении была введена в действие сложная программа, которая предлагает целый ряд услуг. Эти услуги можно сгруппировать в три общие стратегии предоставления услуг: (i) очное обучение профессиональным умениям и навыкам, базовое обучение или то и другое; (ii) профессиональное обучение на рабочих местах без отрыва от производства и/или содействие в поиске работы; (iii) другие услуги, которые, возможно, предусматривали работу в течение испытательного срока и/или комбинацию первых двух стратегий. В рамках Закона о партнерстве в профобучении услуги предоставлялись только тем лицам, которые сталкиваются, по крайней мере, с одним из «барьеров, мешающих занятости». Для достижения целей, поставленных в рамках исследования, граждане, обратившиеся с заявлением на участие в 16 местных программах в рамках Закона о партнерстве в профобучении и проживающие в самых разных районах страны, были случайно отнесены либо к группе участия, которой было разрешено стать участником программы, либо к контрольной группе, которой не разрешили участвовать в программе в течение 18 месяцев. Две трети граждан, которые подали заявления на участие и соответствовали установленным критериям, были отнесены к группе участников программы, а одна треть граждан была отнесена к контрольной группе. Случайное отнесение к одной из групп продолжалось около 15 месяцев на каждой площадке. В соответствии с результатами анализа, эффект обучения применительно к заработку оказался положительным и значительным для взрослых женщин,  более слабым применительно к взрослым мужчинам, а что касается молодежи, положительное воздействие не было выявлено [19]. Такое исследование оказалось чрезвычайно важным для политиков. После того, как в 1994 г. были представлены результаты Национального исследования в рамках Закона о партнерстве в профобучении, финансирование в рамках Закона, выделяемое для профессионального обучения молодежи, было значительно урезано.   

Значительное  число пилотных проектов нередко  оценивается на основе сотрудничества между неправительственными организациями  и учеными. Например, в публикации Банерджи [14] был проведен анализ программы, в рамках которой неправительственные  организации Индии решили провести набор вторых учителей для неформальных обучающих центров в деревнях. Вторые учителя были в случайном  порядке отнесены к  21 школе, при этом в программе принимало участие 42 школы. Цель программы состояла в увеличении доли детей, обучающихся в школе, и повышении их успеваемости за счет снижения количества учеников, обучаемых одним учителем. Среди учителей и детей в течение всего периода реализации проекта регулярно проводился мониторинг посещаемости школ, отобранных для программы, и школ, принимающих участие в сравнении. Воздействие измерялось на основе тестирования детей в конце учебного года. Анализ показал, что доля детей, обучающихся в школе, повысилась, но влияние на баллы, получаемые за тесты, оказалось незначительным. В результате, неправительственными организации Индии было принято решение не тиражировать данный проект, поскольку оказалось, что затраты, по всей вероятности, будут превышать выгоды от проекта.  

Положительные результаты были получены при оценке пилотного проекта в рамках программы  социальной защиты в Мексике. В ходе реализации программы ПРОГРЕССА (PROGRESA) предлагаются гранты, распределяемые среди женщин при условии посещения детьми школ и проведения профилактических медицинских мероприятий (дополнительное питание, визиты к врачу, участие в медицинских программах). Компонент трансферта, связанный с питанием, пропорционален возрасту ребенка. Каждый ребенок, посещающий школу, получает право на дополнительные пособия. Размер трансферта пропорционален году обучения в школе. Данная программа начала реализовываться в Мексике в 1998 году. Из-за бюджетных ограничений правительство приступило к реализации программы в 506 населенных пунктах (хотя установленным критериям соответствовало 50 тыс. населенных пунктов). Половина населенных пунктов была отобрана случайно для участия в программе, а данные были собраны и в остальных населенных пунктах. Полученные Гертлером и Бойсом [31] при выполнении исследования оценки воздействия программы свидетельствуют о положительном влиянии программы на здоровье детей и взрослых (отмечено снижение частоты заболеваний, снижение распространенности анемии, более быстрый рост детей и т.п.). В публикации Шульца [49]  показано, что в населенных пунктах, участвующих в программе, посещаемость школьных занятий в значительной мере повысилась. Вдохновленное положительными результатами пилотной программы, мексиканское правительство приняло решение о расширении программы. В нескольких соседних латиноамериканских странах также реализуются аналогичные программы.

В некоторых  случаях из-за вопросов, связанных  с прозрачностью, рандомизация становится наиболее эффективным способом отбора участников для программы. Такие  программы являются «естественными»  кандидатами для оценки и не требуют  разработки особого плана исследования.   

Когда в некоторых школах США количество желающих учиться в конкретной школе  превышает фактический набор, отнесение  к такой школе производится на основе лотереи. В публикации Каллена [27] данная характеристика используется для оценки влияния выбора школы  в школьной системе Чикаго на дальнейшую успеваемость на основе сравнения тех, кто выиграл в лотерее, и тех, кто проиграл в лотерее. В соответствии с представленным выводом,  вероятность того, что выигравшие в лотерее будут учиться в школе, расположенной рядом с домом, ниже, по сравнению с вероятностью проигравших. Однако поразительно то, что их последующая успеваемость фактически хуже, чем успеваемость проигравших в лотерее.

Ваучерные программы представляют собой хороший  пример программ, при реализации которых  часто используется лотерея. В публикации Ангриста [9] дается оценка программы  штата Колумбия, в рамках которой, из-за ограниченного бюджета, ваучеры, дающие право на обучение в частных  школах, распределялись на основе лотереи. Авторы сравнивают проигравших и  выигравших. Вероятность того, что  выигравшие в лотерее будут учиться  в частных школах, значительно  выше. Также вероятность того, что  они закончат 8 класс и их баллы  будут выше, также выше. Выше и  вероятность того, что выигравшие в лотерее будут учиться в  колледже и институте. Данная программа  считается полезной, поскольку выгоды от ее реализации явно выше затрат, которые  сопоставимы с затратами обучения в государственной школе.   

Не  экспериментальные  исследования

Естественные  или организованные эксперименты не являются единственным методологическим инструментом, который может использоваться для получения достоверной оценки воздействия эффекта программ. Более  того, нередко эксперименты являются непрактичными или нереализуемыми, или просто нет экспериментальных  данных. В такой ситуации исследователи  часто основывают свои выводы на данных наблюдений. Такие исследования называются не экспериментальными (обсервационными). При их использовании можно ожидать, что группа участников программы  и контрольная группа будут различаться  по своим характеристикам (помимо участия  и неучастия в программе), которые  влияют на изучаемую переменную исхода, по которой сравниваются участники  и не участники. Были разработаны  разные методы для контроля систематической  ошибки, связанной с отбором, насколько  это представляется возможным. (Технический  обзор разнообразных методов  приводится в публикациях [4,5,21]. Выборка  вопросов о причинно-следственной связи, которые экономисты изучали без  проведения рандомизированного эксперимента, представлена в Таблице 1.  

Регрессия и подбор пары / соответствия (matching)

Если  участники программы и контрольная  группа различаются только по наблюдаемым  характеристикам, мы можем контролировать такие различия. Стратегия состоит  в том, чтобы найти контрольную  группу, которая была бы как можно  более сопоставима с группой  участников, по крайней мере, применительно  к наблюдаемым параметрам. Такая  ситуация называется отбором наблюдаемых  признаков и обосновывает оценки на основе подбора пар (matching) и соответствующие регрессии. В основе данной методологии лежит сбор как можно большего количества ковариат и корректировка рассчитанных разностей путем регрессии или подбора пар (соответствия).

В публикации Розенбаума [47] ставится цель провести оценку выгод от операции шунтирования на сердце по сравнению с медицинской  терапией или лекарственной терапией. Простое сравнение коэффициента выживания среди хирургических  и медицинских пациентов, вероятно, будут смещенным, поскольку вероятность  отбора больных с острыми симптомами заболевания для хирургического вмешательства будет выше. После  контроля на наблюдаемые различия в 74 ковариатах, авторы не выявили значимого  отличающего эффекта выживания  после хирургического вмешательства  по сравнению с курсом терапии.

У экономистов  редко появляется возможность рандомизировать  такие переменные, как уровень  образования, иммиграция или минимальный  размер оплаты труда. Таким образом, эмпирические исследователи должны полагаться на не экспериментальные  исследования.

Во многих публикациях с результатами эмпирических исследований обсуждается вопрос о  том, является ли наблюдаемая положительная  ассоциация между количеством лет  обучения в школе и уровнем  заработка причинно-следственной связью. Данный вопрос возникает отчасти  из-за наблюдения, согласно которому люди, которые обучались в школе  более длительный период времени, по-видимому, обладают рядом других характеристик, которые также ассоциируются  с более высоким уровнем заработка, например, у таких людей более  богатые родители. Наиболее часто  используемая идентификационная стратегия  в исследованиях количества лет, проведенных в школе, состоит в том, чтобы попытаться уменьшить смещение в первичных сравнениях путем использования регрессии с контролем на переменные, которые связаны с количеством лет обучения. Также теория человеческого капитала определяет ненаблюдаемый потенциал заработка или «способность» в качестве одной из главных детерминант уровня образования. Обычно используются методы регрессии или подбора пары с контролем исходных данных о семье, баллов за тесты и т.п. Об этом можно прочитать в таких публикациях, как [11,34, 32, 33, 25].