Основные требования к организации эксперимента и его процедуре в области социальной работы

      Третий  способ обеспечения идентичности экспериментальной и контрольной групп — случайное распределение объектов по группам. Чаще всего такой способ называют рандомизацией. В отличие от выравнивания рандомизация, как предполагается, устраняет систематические различия между группами по всем признакам, а не только контролируемым исследователем.

      Для осуществления рандомизации массив надо как следует перемешать и разделить равновероятно. Данный способ особенно предпочтителен в тех случаях, когда у исследователя нет уверенности, что различия между группами контролируются по значимым переменным. А такой уверенности нет никогда. Обеспечить равновероятное распределение контингента на две группы не так просто, как это кажется. Каждый объект должен иметь одинаковую вероятность попасть в экспериментальную и контрольную группы, поэтому рекомендуется осуществлять отбор с помощью таблицы случайных чисел либо жребия.

      Для определения эффекта, производимого  экспериментальной переменной, осуществляются несколько замеров и в той, и в другой группах. Предварительный замер — претест — производится до того, как экспериментальная группа подвергнется воздействию изучаемой переменной. При этом различия между значениями зависимой переменной в контрольной и экспериментальной группах должны быть минимальными. После того как экспериментальная группа подверглась воздействию определенного стимула, осуществляются замеры в обеих группах. Если значение зависимой переменной в экспериментальной группе статистически значимо отличается от значения протеста и превышает (статистически значимо) значение протеста в контрольной группе, делается вывод (с указанием вероятности случайной ошибки), что переменная-стимул связана с переменной-реакцией. Таким образом, гипотеза принимается (как неопровергнутая, а не как подтвержденная) или опровергается.

      Пример  экспериментальной проверки гипотезы — исследование влияния мнения учителей об интеллектуальном развитии учеников на интеллектуальное развитие учеников. Исследование проведено Р. Розенталем и Л. Джейкобсом¹. Экспериментаторы предположили, что ученики, способности которых оцениваются учителями более высоко, действительно обнаруживают большие успехи. Гипотеза проверялась на материале обследования учеников средней школы в районе, где жили преимущественно бедные. Все ученики прошли тестирование по уровню интеллектуальности (использовалась невербальная техника тестирования). Затем с результатами тестирования ознакомили учителей: им сообщили имена детей, обнаруживших большие способности. На самом деле имена «вундеркиндов» были выбраны случайным порядком. Таким образом, экспериментальная группа состояла из «ожидаемых» вундеркиндов, а остальные дети составляли группу контрольную. Ожидания учителей являли собой экспериментальную переменную, а интеллектуальное развитие детей — зависимую переменную. Через год тест был повторен и обнаружились значимые различия: развитие детей экспериментальной группы было выше, чем в контрольной.

      Несмотря  на внешнюю убедительность, эксперимент  не доказывает, что интеллектуальное развитие детей обусловлено именно «эффектом Пигмалиона». Вполне возможны и альтернативные объяснения. Имея дело с людьми, совершенно невозможно избежать реактивного эффекта, когда изучаемый признак неотделим от процедуры замера.

      Социологические исследования, в которых независимая и зависимая переменные выделяются путем группировки данных, нельзя назвать экспериментом в полном смысле слова. Однако анализ результатов поддается методам, применяемым при управляемом экспериментальном воздействии.

      Обычно  результатом неуправляемых социологических экспериментов с естественной возникающей независимой переменной является мера корреляции между признаками. При достаточно высокой корреляции гипотеза о неслучайном характере связи не отвергается. Низкая корреляция также не является решающим аргументом в пользу отсутствия причинной зависимости. Лучше всего использовать анализ корреляций для поиска тесных зависимостей, а уже потом выбирать из них гипотезы, требующие дополнительной валидизации.

      Чтобы избежать нерелевантных воздействий («шума»), исследователи нередко прибегают к косвенным, квазиэкспериментальным признакам. Вряд ли целесообразно спрашивать посетителей музея, нравятся ли им импрессионисты (конечно же, нравятся). Вместо этого социологи пытаются замерить степень истертости лакового покрытия полов у художественных полотен, считающихся знаменитыми. Самые популярные книжки — не те, о которых идет разговор респондента и интервьюера, а имеющие совершенно затрепанный вид библиотечные экземпляры приключенческих и любовных романов. Методическое требование формулируется вполне отчетливо: экспериментальная переменная не должна привносить существенные изменения в объект и обязана быть незаметной.

      С помощью сравнения устанавливается, влечет ли за собой изменение значения независимой переменной изменение значения переменной зависимой. Например, если существует связь между некоторым методом преподавания и степенью усвоения материала студентами, то студенты обнаруживают более высокую успеваемость после применения данного метода. Для того чтобы установить совместную изменяемость метода преподавания и успеваемости, сравниваются успеваемость в группе студентов, подвергшихся воздействию переменной х (метода преподавания) с успеваемостью в группе студентов, не подвергшихся такому воздействию.

      Иными словами, чтобы установить ковариацию, значения зависимой переменной замеряются до и после применения независимой переменной. Иная версия сравнения: данные по группе, где применялась независимая переменная, сравниваются с данными по группе, где независимая переменная не применялась. В первом случае группа сравнивается с самою собой, во втором — экспериментальная группа сравнивается с контрольной. Без сравнения никакой экспериментальный план невозможен.

      Распределение испытуемых по группам — довольно сложная этическая и методическая проблема. Если проинформировать человека, что он включен в контрольную группу, это может повлиять на результат эксперимента. Нетрудно предугадать, какой эффект вызовет переход половины класса в отдельное помещение. Если не сообщать испытуемым о замысле исследования, возникают некоторые этические сложности, связанные с тем, что личность становится объектом манипуляции. В большинстве случаев испытуемый не должен ничего знать об истинных исследовательских гипотезах. Поэтому в полевой работе, как правило, предусматривается «легенда», маскирующая истинные намерения экспериментатора. Даже если испытуемый знает, что находится под наблюдением, он не должен догадываться, какая задача на самом деле решается в эксперименте. Демаскировка равнозначна срыву полевой работы.

      Этические проблемы, возникающие в социологическом  экспериментировании, не более серьезны, чем аналогичные проблемы в медицине и биологии. Манипулирование людьми, обращение с ними, как с материалом, — неизбежный факт исследовательской работы. Конечно, здесь возможны злоупотребления, но где их нет?

      В отличие от естественных и технических  наук в социологии отсутствуют теоретические  схемы, являющиеся основанием для оценки значимости переменных. Когда инженер проверяет надежность прибора на стенде, он знает, что окраской корпуса в большинстве случаев можно пренебречь.   Иное дело — живые респонденты, для которых могут оказаться весьма существенными параметрами как раз те, которые не воспринимаются серьезно исследователем. Например, если в хорошо подобранной экспериментальной группе окажется несколько энтузиастов, результаты экспериментирования нельзя считать «чистыми» вне зависимости от темы исследования.

      Из  сказанного следует, что проконтролировать  все значимые переменные невозможно, но необходимо. Поэтому исследователь создает измерительные конфигурации, исходя из своих теоретических представлений.

      С помощью сравнения устанавливаются  лишь различия между группами, но вопрос о зависимости признаков остается открытым. Манипуляция с экспериментальными объектами позволяет включить в научный вывод суждение о причинной зависимости между переменными. Со времен Дэвида Юма известно, что причинность не может быть выведена с помощью одного только рассудка и опирается на привычку — суждение, находящее свои основания в практическом, вненаучном опыте. Экспериментирование заключается в манипуляциях, которые вызывают соответствующие изменения в объекте. Здесь отчетливо прорисовывается критерий зависимости  независимости: зависимая переменная всегда реагирует на внесение изменений в независимую переменную. Однако объект может изменяться под влиянием и иных, альтернативных факторов.

      Известно  также, что «после этого — не по причине этого». Предшествование  по времени является необходимым, но недостаточным условием причинения. Нужна еще уверенность в том, что причина лежит именно в данной, а не в иной переменной. Поскольку имеется практически бесконечное число возможных причин, повлиявших на изменения, такая уверенность никогда не достигается. Исследователь может лишь проверить гипотезу и не отвергнуть ее.

      В лабораторных условиях можно манипулировать переменными и осуществлять замеры до и после изменений. В естественной обстановке манипулировать обстоятельствами чаще всего невозможно. В последнем случае говорить о причинности особенно рискованно.

      Контроль  — третья задача экспериментального проекта. Она направлена на устранение постороннего («третьего») фактора, влияющего на причинную зависимость между изучаемыми переменными. Часто контроль обозначается как обеспечение внутренней валидности научного вывода и соотносится с ответом на вопрос: действительно ли причиной наблюдаемого события (значения переменной) является признак, рассматриваемый исследователем как независимый.

      Ф. Чэпин сравнивал экспериментальную  группу семей — тех, кого переселили в новые квартиры, с контрольной  группой — теми, кто остался  жить в трущобах. Он изучал изменения  в жизненном укладе обитателей трущоб, которые происходят под влиянием переселения семей в дома общественного сектора. Основной вывод исследования опирался на установленный факт: в экспериментальной группе уровень жизни значительно повысился. Отсюда следовало заключение, что проекты общественной застройки обусловливают положительные изменения в образе жизни людей. Однако этот вывод недостаточно обоснован, поскольку семьи, переселившиеся в новые дома, изначально отличались от семей контрольной группы. Вероятно экспериментальная и контрольная группы различались по типу занятости, уровню образования, величине семьи, в конце концов по установкам. Все эти «третьи» факторы следовало контролировать до того, как сделан вывод о влиянии переселения на образ жизни семей.

      Для более или менее уверенного утверждения  о причинной зависимости между  переменными надо соблюсти три необходимых условия. Первое условие относится к временной последовательности - причина предшествует следствию, только после применения экспериментальной переменной наблюдается эффект. Второе условие состоит в статистической зависимости одного признака от другого; утверждение о причинной связи не может не опираться на установленную тесную корреляцию. В практике статистического оценивания разработаны критерии и допущения, считающиеся приемлемыми для такого рода утверждений. Например, считается достаточной вероятность ошибки 5 шансов из 100.

      Предположим, что один признак предшествует другому  и между ними наблюдается тесная статистическая связь. Однако утверждать о причинной связи преждевременно. Следует соблюсти третье условие - самое сложное: не должно быть иного правдоподобного альтернативного объяснения возникновения признака-следствия, кроме как связь с экспериментальным признаком. Иными словами, связь может казаться причинной, а на самом деле является результатом влияния посторонних («третьих») переменных. Экспериментатор обязан сделать все возможное для устранения этого «шума». Отсутствие каких-либо альтернативных объяснений и достаточная уверенность в том что эффект вызван именно данной причиной, определяется как внутренняя валидность эксперимента. При соблюдении всех трех условий, т. е. внутренней валидности, можно уверенно утверждать о причинной связи между признаками. Правда, соблюсти все три условия еще никому не удавалось.

      Но  эксперимент — довольно локальное  событие. Он ограничен временем, местом, материалом и иными внешними обстоятельствами. А можно ли распространить полученные во внутренне валидном эксперименте выводы на иные, в том числе неэкспериментальные ситуации? Здесь возникает проблема генерализации — четвертой экспериментальной задачи, завершающей цикл сравнения, манипулирования и контроля. Предположим, студенты тестируются в лаборатории по поводу их эмоционального отношения к политическим терминам. Сохранится ли их отношение к этим терминам вне аудитории? А если вместо студентов экспериментировать с рабочими? Реакция на политические термины в устной беседе — одно, а в печатном тексте — другое. Нескончаемая смена контекстов открывает проблему внешней солидности — возможности обобщения, генерализации полученного заключения.

      Ошибки  внешней валидности связаны с  двумя причинами. Первая — это нарушение репрезентативности отбора единиц исследования. Предположим, что с помощью методического эксперимента установлено, что на открытые вопросы даются более многообразные ответы, чем на вопросы закрытого типа. Оценка внутренней валидности заключается в гарантиях, что степень многообразия ответов была вызвана именно типом вопроса, а не каким-либо иным фактором. Внешняя валидность предполагает, что такая же зависимость будет наблюдаться не только в процессе эксперимента, но и в любых ситуациях опроса.