Методы педагогических исследований

«Сырые» данные (к ним относим статистическую информацию, конкретные факты из жизни) все шире используются в преподавании экономики. Они делают процесс обучения более интересным. Их использование позволяет выполнить выражаемые многими школьниками пожелания о том, чтобы учебный курс приобрел связь с конкретными экономическими ситуациями и решениями. Проверка умения учащихся работать с «сырыми» данными соответствует самой природе изучаемого предмета, тестируя индуктивное мышление, устраняя вредный барьер между экономической теорией и ее приложениями, выясняя, способен ли учащийся разглядеть принципы, известные по учебнику, в обыденных ситуациях, где они замаскированы применением обычного, неспециального языка. Есть три основных типа таких заданий: основанные на опубликованной статистике, на придуманных данных, т.е. на гипотетической статистике, и на неспециальных текстах.

Другое преимущество заданий с использованием информационного «сырья» состоит в том, что каждое из них обычно затрагивает не одну учебную тему. Использование этих заданий может благоприятно повлиять на классную работу, минимизируя зазубривание и максимизируя концептуальное изучение экономики. Они применимы в стандартной учебной среде как способ разнообразить «диету» учащихся, давая пищу как для групповых обсуждений, так и для индивидуальной работы непосредственно в классе или дома.

В некоторых случаях из-за расхождения в системе ценностей учащихся на основе одних и тех же данных можно сделать разные заключения. В таких ситуациях интересно предложить двум группам учащихся представить альтернативные подходы и подискутировать об их сравнительных достоинствах. Работа может вестись по группам и в тех случаях, когда задание поддается разделению на части, так что каждая группа представляет заключение по одной из таких частей.

Когда учебный процесс опирается на внешние ресурсы, следует поощрять умение выбирать надежные источники информации и навыки чтения графиков, таблиц и карт, а также общую осведомленность о наличии источников.

Письменные задания с использованием статистических данных станут хорошим способом для оценки изменений в знаниях учащихся (диагностика).

3.3. Осуществление контроля знаний студентов методом тестирования

с использованием технических средств

Одним из способов осуществления контроля знаний студентов является тестирование. Педагогические тесты позволяют провести объективную оценку достигнутого уровня знаний, умений и навыков при массовой их проверке. В данном контексте под знаниями понимаются данные, полученные эмпирическим путем как результат мыслительной деятельности человека, направленной на обобщение его опыта, полученного в результате практической деятельности. Знания могут быть классифицированы по двум категориям:

1.      Поверхностные - знания о видимых взаимосвязях между отдельными событиями и фактами в предметной области;

2.      Глубинные - абстракции, аналогии, схемы, отображающие структуру и природу процессов, протекающих в предметной области.

Каждый тест, соответствующий критериям надежности, кроме набора заданий включает в себя следующие компоненты:

1.      стандартная инструкция для испытуемого о цели и правилах выполнения заданий;

2.      ключ шкалирования - соотнесение пунктов заданий со шкалами измеряемых качеств, указывающее, какой пункт заданий к какой шкале относится;

3.      кодировочный ключ, позволяющий подсчитать, сколько баллов вносит в шкалу тот или иной вариант ответа;

4.      ключ интерпретации полученного индекса, представляющий собой данные нормы, с которыми соотносится полученный результат.

Число правильно выполненных тестовых заданий является заключением об уровне знаний по каждому вопросу теста, формируемому на основе базы знаний, включающей следующие виды правил: если большинство задач данного типа решено правильно, то оценка «отлично»; если большинство задач решено с неточностью или многие задачи решены правильно, то оценка «хорошо»; если некоторые задачи решены правильно или с неточностью, то оценка «удовлетворительно»; если нет задач, решенных правильно или с неточностью, то оценка «неудовлетворительно».

В рамках учебных заведений тестирование может проводиться следующими способами:

1.      Диктовка вопроса и вариантов ответов на него с предоставлением времени на ответ. Недостатки:

o         трата времени на диктовку;

o         необходимость повторения, так как тестируемый забывает не только варианты ответа, но и сам вопрос;

o         сложность проверки из-за особенностей почерка, расположения вариантов ответов (в столбец или в строку).

o         отсутствие стандартов оформления.

2.      Выдача бланков с заранее сформированными вопросами и вариантами ответов на них. Достоинства:

o         унификация оформления;

o         возможность проверки по «по шаблону»;

o         тестируемый имеет доступ ко всем вопросам сразу, что дает ему возможность ответить на более легкие (по его мнению), с более большим запасом времени ответа на более трудные вопросы.

Недостатки:

o         необходимость иметь техническое оборудование для подготовки бланков тестов (например, компьютер) и навыков работы с ним.

3.      Использование технических средств для проведения тестирования и анализа результатов. Достоинства:

o         хранение в общей базе данных большого разнообразия тестов по различным дисциплинам и быстрый доступ к нужному тесту;

o         возможность задания лимита времени либо на весь тест, либо на конкретные вопросы;

o         возможность задания критериев оценки результатов (количество правильных ответов, либо процентное соотношение);

o         автоматизация проверки результатов тестов;

o         возможность распечатки результатов;

o         унификация оформления результирующих бланков.

Требуется:

o         наличие технической базы (персонального компьютера для проведения теста и печатного устройства для распечатки результата);

o         наличие программного обеспечения;

o         наличие у тестируемого навыков работы с компьютером и программным обеспечением;

o         унифицированные правила составления тестовых заданий и анализа результатов.

Возможности технического обеспечения, появление средств визуального проектирования и языков программирования высокого уровня, несложность математического аппарата делают возможным программирование класса тестовых заданий и использование их в системах обучения и адаптивного тестирования. В институте Экономики и Управления на кафедре Информатики и Математики разработан и находится в процессе тестирования и отладки учебно-методический комплекс (далее УМК) «Тесты». Ядром УМК является база данных и знаний. База данных включает определение квантификаторов и целевых функций по каждому типу тестовых заданий. База знаний состоит из правил оценки знаний, правил обработки квантификаторов и правил классификации.

4.      ПРОБЛЕМА КАЧЕСТВА И ОБЪЕКТИВНОСТИ

ОЦЕНКИ УЧЕБНЫХ ДОСТИЖЕНИЙ

Причины субъективизма учителей в оценивании знаний могут быть разные. Часто «привлекательным» детям – при прочих равных условиях - педагоги приписывают более высокий уровень интеллекта, более высокий статус в группе одноклассников и почти всегда выставляют завышенные оценки. Интересно и то, что учителя, как оказалось, непроизвольно обращаются к тем обучаемым, которые сидят за первыми партами, и склонны выставлять им более высокие баллы. Многое зависит и от субъективных особенностей педагога. Еще одной причиной необъективной педагогической оценки является недостаточная разработанность критериев оценивания. Именно педагогический субъективизм является главной причиной, по которой нынешние школьники отдают предпочтение компьютерным и тестовым формам контроля с минимальным участием педагогов.

Для повышения качества обучения педагогу необходимо уметь грамотно и к месту выбирать и применять существующие формы и методы педагогического контроля, четко определять его цели и функции. Достичь унификации и уменьшения субъективных воздействий на процедуру педагогического контроля можно за счет обеспечения объективности проведения измерения, обработки данных, интерпретации результатов измерения. Степень надежности измерения определяется коэффициентом надежности (корреляционный коэффициент), который показывает, в какой мере совпадают результаты измерений, проведенных в одинаковых условиях. Понятие надежности непосредственно связано со стандартной измерительной ошибкой, информацией о том, между какими значениями полученной численной оценки находится истинное значение успеваемости индивидуума. Учителям полезно знать, что измерительная ошибка пятибалльной системы оценок составляет ±1 балл. Валидность измерения показывает то, что данная методика позволяет измерять действительно требуемые критерии (характеристики) исследуемого педагогического явления. Валидность подразделяется на несколько типов:

1.     Содержательная валидность - экспертное подтверждение соответствия диагностического материала программе и основным целям обучения в контролируемой предметной области, согласованности результатов диагностики с другими независимыми формами контроля знаний;

2.     Критериальная валидность - достаточный уровень корреляции результатов тестирования по отдельным заданиям и по всему тесту в целом;

3.     Техническая валидность - обеспечение достаточного числа эквивалентных форм измерителей (вариантов заданий, вопросов), предотвращающих возможность механического заучивания правильных ответов.

Совершенствование системы педагогического контроля можно вести в двух основных направлениях.

Первое - это совершенствование традиционных форм и методов за счет их критического осмысления.

Организация эффективной системы педагогического контроля предполагает обязательный переход к процедуре педагогических измерений с использованием различных методов обоснования выносимых педагогических оценок. При этом оценка выступает как характеристика некоторой абстрактной величины (знание предмета, общественная активность, свойства личности студента и др.). Оценочные суждения отличаются друг от друга своей инференцией (уровнем восприятия исследуемого педагогического явления). Оценки преподавателей обобщающего характера (вежлив, внимателен, прилежен), не опирающиеся на заранее определенные, однозначные категории наблюдения, являются, как правило, высокоинферентными. Оценки с низкой инференцией (количество оговорок во время декламации, скорость чтения, и т.д.) проводятся по заранее разработанной инструкции и обладают достаточно высокой объективностью, но несут информацию только об отдельных сторонах педагогического процесса. Они не дают полной картины исследуемого явления. Педагоги предпочитают высокоинферентные оценки как более содержательные и информативные, хотя они часто носят субъективный характер. Повысить объективность высокоинферентной оценки можно путем систематизации и уточнения критериев, по которым выносится оценочное суждение, и использования оценочных шкал. Процедуру педагогической диагностики следует организовывать так, чтобы вначале по разработанной системе критериев выносились несколько низкоинферентных оценок. Затем путем их обобщения (шкалирования) выносилась общая высокоинферентная оценка.

Часто оценки (оценочные суждения) ставят в соответствие с их численными аналогами - отметками. Измерение, в отличие от оценки и оценивания, представляет собой конкретную процедуру количественного сопоставления изучаемого педагогического свойства (признака) с некоторым эталоном. Результат педагогического измерения - численная оценка степени выраженности исследуемого признака (знание темы, раздела). Нужно учитывать, что чем больше дифференцирующее воздействие на учащихся оказывает тот или иной метод обучения, тем более дифференцирующей должна быть методика педагогического контроля, оценивающая эти достижения.

Второе направление предусматривает использование технических средств в сочетании с тестовой методикой.

Педагогический тест - это инструментальное средство контроля знаний, при использовании которого можно с заданной точностью определить надежность и валидность проводимых измерений. Применение тестовой методики позволяет осуществлять количественный анализ успешности обучения по различным учебным группам (классам, отдельным учебным заведениям, районам), что невозможно в рамках традиционной школьной системы оценивания. Профессионально составленный тест позволяет за короткий промежуток времени проверить знания большого количества учащихся (ограничение накладывает только наличие посадочных мест) по полной программе преподаваемой дисциплины, в то время как традиционные экзамены позволяют проводить только выборочную проверку знаний. При осуществлении тестового контроля проверяющим не требуется наличия специальных предметных знаний, что значительно упрощает организацию процедуры. Однако простота и технологичность использования тестовых процедур сочетается со значительными интеллектуальными и материальными затратами, необходимыми для его разработки.

В настоящее время преподаватели, руководители образовательных учреждений начинают достаточно широко применять тестовую форму контроля знаний, используя при этом либо опубликованные в педагогических изданиях тесты, либо тесты собственной разработки. Отмечая эту тенденцию, как безусловно положительную, следует отметить, что, как правило, при этом используются так называемые неформальные педагогические тесты, которые не удовлетворяют требованиям, предъявляемым к инструментальным диагностическим средствам педагогического контроля. Управленцы всех уровней не располагают стандартизованными инструментальными средствами педагогического контроля. Учебные заведения (методисты) самостоятельно разрабатывают мониторинговый инструментарий, содержание и структура которого определяются спецификой изучаемого объекта, особенностями форм и методов диагностики. Качество диагностических средств не подвергается серьезной проверке, что делает проблематичным принятие обоснованных управленческих решений по результатам контроля.