Нормативно-ориентированные и критериально-ориентированные тесты

НОРМАТИВНО-ОРИЕНТИРОВАННЫЕ  И КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЕ  ТЕСТЫ

 

Педагогическое тестирование широко применяется для контроля знаний учащихся в различных целях. По целям применения педагогических тестов их можно разделить на два  больших класса - нормативно - ориентированные и критериально - ориентированные65, 66, 67, 68.

 

НОРМАТИВНО-ОРИЕНТИРОВАННЫЙ  тест (norm-referenced test) позволяет ранжировать  испытуемых по уровню знаний. Такой  тест позволяет сравнивать учебные  достижения испытуемых друг с другом.

 

Целью нормативно-ориентированного теста является упорядочение испытуемых по уровню их подготовленности. В результате может оказаться, что все испытуемые плохо справились с тестом - получили низкие индивидуальные баллы. Тем не менее, и в этом случае можно ранжировать испытуемых - кто-то получил низкий балл, а кто-то еще ниже. Возможны случаи, когда какое-то задание не дифференцирует испытуемых, например, задание легкое и все успешно на него ответили. И наоборот, очень трудное задания и все на него не ответили. Такие задания не позволяют провести ранжирование и, поэтому, должны быть удалены из теста. Если все испытуемые не ответили ни на одно задание, или верно ответили на все задания, то нормативно-ориентированный тест не работает, так как не позволяет достичь поставленной цели и подлежит дальнейшей переработке. Отметим, что, возможно, этот тест неплохо будет работать как критериально-ориентированный.

 

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ  тест (criterion-referenced test) позволяет выявить  степень усвоения испытуемым определенного раздела в заданной предметной области. Эти тесты появились в 60-х годах прошлого века, то есть значительно позже нормативно-ориентированных. Критериально-ориентированные тесты в свою очередь делятся на domain-referenced test (ориентированные на предметную область)  и  mastery-tests (квалификационные тесты). Целью критериально-ориентированного теста является выяснение - знает ли испытуемый стандартный учебный материал (предмет, раздел, тему).  В результате тестирования может оказаться, что все испытуемые успешно выполнили все задания. Это означает, что они освоили учебный материал. Если все испытуемые не справились с заданиями теста, то это означает, что учебный материал не усвоен. В обоих случаях тест выполнил свою задачу.

 

В дальнейшем нам потребуются следующие определения:

 

ОБЛАСТЬЮ   СОДЕРЖАНИЯ теста называется тот полный объем  знаний, умений и навыков, который  должен быть усвоен учащимися в результате определенного курса обучения и  овладение которым измеряется критериально-ориентированным  тестом65.

 

КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННЫЙ  педагогический тест представляет собой  систему заданий, позволяющую измерить уровень учебных достижений относительно полного объема знаний, умений и  навыков, которые должки быть усвоены  учащимися66.

 

Теперь перейдем к  сравнению  нормативно-ориентированных и критериально-ориентированных тестов.

 

Внешне оба типа тестов имеют много общего - в них используются тестовые задания  сходные по форме, эти задания сопровождаются похожими инструкциями, выполняются задания  одинаковым образом.  Но, несмотря на внешнюю схожесть, это совершенно разные тесты. Они имеют следующие различия65.

 

п.1. ЦЕЛЬ СОЗДАНИЯ ТЕСТА. Нормативно-ориентированные тесты  создаются специально для того, чтобы  сравнить испытуемых в той области  содержания, для которой тест предназначен. Эти тесты можно использовать, например, для отбора абитуриентов при поступлении в вузы. В тех случаях, когда конкурс составляет несколько человек на одно место, возникает проблема ранжирования испытуемых с тем, чтобы выбрать наилучших.

 

 Критериально-ориентированные тесты нужны для аттестации испытуемых в определенной области содержания. Такие тесты используются в итоговом тестировании, например по завершении обучения в среднем общеобразовательном учреждении. Здесь важно выяснить - усвоена ли в надлежащем объеме школьная программа. Вопросы ранжирования тут не играют большой роли.

 

Если критериально-ориентированные  тесты использовать в качестве нормативно-ориентированных, то ввиду малой дисперсии тестовых результатов, эти результаты будут отличаться низкой надежностью. Справедливо и обратное - применение нормативно-ориентированных тестов в критериально-ориентированном тестировании также даст малонадежные результаты. Это обусловлено сильной вариацией тестовых заданий по трудности в нормативно-ориентированном тесте.

 

п.2.  УРОВЕНЬ ДЕТАЛИЗАЦИИ  ОБЛАСТИ СОДЕРЖАНИЯ.

 

Разработка теста начинается с создания его спецификации и  эти спецификации для обоих типов  тестов сильно отличаются.  Спецификации критериально-ориентированных тестов гораздо  детальнее описывают элементы области содержания, поскольку это позволит адекватно интерпретировать результаты тестировании. Для нормативно-ориентированных тестов уровень детализации области содержания гораздо ниже. Для этих тестов гораздо важнее получить вариативные тестовые задания.

 

п.3. СТАТИСТИЧЕСКАЯ   ОБРАБОТКА  результатов тестирования. Шкалированные баллы нормативно-ориентированного тестирования основываются на тестовых нормах, полученных на «выборках стандартизации».   При критериально-ориентированном тестировании тестовые баллы  не связаны с какой-либо нормативной группой испытуемых. Обычно тестовый балл отражает долю правильно выполненных заданий и выражается в процентах.

 

п.4. АНАЛИЗ   И  ОТБОР   ТЕСТОВЫХ   ЗАДАНИЙ.

 

Для нормативно-ориентированных  тестов большое значение имеют статистические характеристики - уровень трудности задания, его дифференцирующая способность. Если задание имеет средний уровень трудности и высокую дифференцирующую способность, то оно считается хорошим для нормативно-ориентированного теста.

 

Эти статистические характеристики не имеют большого значения для критериально-ориентированного теста. Здесь главным критерием  для включения задания в тест является соответствие специфике и  элементу области содержания.

 

п.5. РАСПРЕДЕЛЕНИЕ ИСПЫТУЕМЫХ по индивидуальным баллам имеет различный характер для обоих видов тестов. Для нормативно-ориентированного теста кривая распределения симметрична и близка к гауссовой кривой (рис.1.4.1). В случае критериально-ориентированного теста эта кривая несимметрична и обычно сдвинута в область высоких индивидуальных баллов (рис.1.4.2).

 

п.6. ИНТЕРПРЕТАЦИЯ    РЕЗУЛЬТАТОВ  ТЕСТИРОВАНИЯ.

 

Поскольку цели нормативно-ориентированного и критериально-ориентированного  тестирования различны, то и интерпретация  полученных данных будет различной.

 

 

Рис.1.4.1. Нормативно-ориентированный  тест.

 

 

Рис.1.4.2. Критериально-ориентированный  тест.

 

Результаты нормативно-ориентированного тестирования интерпретируются на основе статистически обоснованных тестовых норм. При этом имеется возможность определить положение испытуемого относительно нормативной группы. Информации же о том, какие как усвоены те или иные разделы, элементы области содержания, нормативно-ориентированный тест дает мало.

 

Результаты критериально-ориентированного тестирования интерпретируются с точки зрения полноты освоения области содержания, согласно детальной спецификации теста.

 

Ниже приведена таблица, содержащая сравнение характеристик  обоих типов тестов.

 

Таблица 1.4.1. Сравнительные  характеристики нормативно-ориентированных и критериально-ориентированных тестов по Д.Вилфорду65

Нормативно - ориентированные  тесты 

Критериально - ориентированные  тесты

 

1. Цель тестирования: возможность сравнения уровня  подготовки испытуемых друг с  другом в той области содержания, для которой тест предназначен.

 

Пример использования: конкурсный отбор кандидатов на обучение. 

1. Цель тестирования: возможность аттестации испытуемого  в соответствии с его уровнем  усвоения определенной области  содержания.

 

Пример использования: итоговая аттестация уровня обученности студентов, уровня профессиональной подготовки кадров.

 

2. Используемые шкалы:  нормативные (или стандартные)  шкалы. Необходимо указание среднего  значения и стандартного отклонения  в выбранной шкале. 

2. Используемая шкала - в основном, шкала процентов с выбранным одним (или несколькими) критериальным баллом (баллами). Особое внимание уделяется методики оптимального выбора критериального балла (или баллов).

 

3. Распределение индивидуальных  баллов: близко к нормальному,  в большинстве случаев имеет симметричный вид (рис.1.4.1) 

3. Распределение индивидуальных  баллов: произвольное, в большинстве  случаев асимметричное и имеет  несимметричный вид (рис.1.4.2)

 

4. Уровень детализации  области содержания - несущественен.  Авторы теста выбирают наиболее значимые элементы содержания. 

4. Уровень детализации  области содержания - подробный.  Авторы теста разрабатывают спецификацию (план) теста, включающую все элементы  содержания. Затем по этой спецификации  разрабатываются задания.

 

5. Нормативная группа испытуемых обязательна. Обработанные (или шкалированные) баллы по результатам нормативно-ориентированного тестирования базируются на статистических данных нормативной группы, то есть специфической достаточно большой выборке испытуемых. В большинстве случаев применяются специальные нормативные таблицы, где каждый индивидуальный балл для данного теста имеет однозначное соответствие с процентильным эквивалентом, определенным на нормативной группе. 

5. Нормативная группа  испытуемых не является необходимой. Индивидуальный балл испытуемого интерпретируется по отношению к доле учебного материала успешно им освоенного. Чаще всего балл студента отражает процент правильно выполненных заданий и выражается шкале процентов.

 

6. Статистический анализ  и отбор тестовых заданий. Статистические показатели тестовых заданий (в основном это уровень трудности и различающая способность) играют важную роль в отборе заданий. Выбираются задания со средним уровнем трудности (от 0,3 до 0,7) и высокой различающей способностью (большей 0,3). Существуют ряд других важных статистических показателей качества заданий. 

6. Статистический анализ  и отбор тестовых заданий. Уровень  трудности и различающая способность  заданий не является существенными  факторами включения в состав  теста, или наоборот исключения из него. Главное условие отбора заданий - это их соответствие (их конгруэнтность) спецификации и элементу содержания. Статистические характеристики тестовых заданий используются для составления параллельных форм (вариантов) теста и для выбора оптимального критериального балла.

 

7. Надежность теста.  Оценивается либо путем нахождения  корреляциимежду результатами двух  тестирований, либо методом расщепления  теста на две половины при  однократном тестировании. 

7. Надежность теста.  Оценивается степенью постоянства принятия решения «зачет – незачет» при двукратном тестировании.

 

8. Валидность. Наряду  с содержательной валидностью  для тестов конкурсного отбора  учащихся особое внимание уделяется  высоким показателям прогностической  валидности. 

8. Валидность. Особое  внимание уделяется содержательной  валидности. В случае принятия  важных решений по результатам  тестирования исследуются критериальная  и конструктная валидность.

 

 

Подытоживая, отметим, что  нормативно-ориентированные и критериально-ориентированные тесты сильно отличаются друг от друга. При использовании тестов необходимо придерживаться следующих правил:

 

1) нельзя использовать  критериально-ориентированный тест  в качестве нормативно-ориентированного  и наоборот;

 2) нельзя использовать один и тот же тест и в качестве нормативно-ориентированного и в качестве критериально-ориентированного.

 

Нарушение этих правил приводит к получению тестовых результатов, обладающих низкой надежностью и  большой ошибкой измерения.