Статистические характеристики тестовых заданий

Билет 14

1. Дистракторы (от англ. distract — отвлечение внимания) — варианты ответов в заданиях с выбором, не являющиеся правильными решениями, но внешне близкие к правильному решению. Таким образом, дистрактор используется в процессе тестирования для отвлечения внимания от правильного ответа тех испытуемых, которые либо совсем не знают правильный ответ, либо, имея весьма туманные представления о предмете тестирования, пытаются угадать его во время тестирования.

Подбор «хорошо работающих» дистракторов. Качество дистрактора формируется совокупностью свойств, повышающих у испытуемых вероятность возможность его выбора в процессе тестирования. Это могут быть высокая правдоподобность ответа, привлекающая оригинальность, краткость, кажущаяся обоснованность. Хорошие дистракторы обычно создаются опытными педагогами, которые знают типичные ошибки студентов и учащихся.

Если дистракторы сформулированы некорректно, без малейшей привлекательности даже для самых слабых испытуемых группы, то они перестают выполнять свою функцию, и на деле получается задание не с запланированным, а с меньшим числом ответов. В самом плохом случае, когда все дистракторы в задании не работают, большинство студентов выполнит задание верно, выбрав единственный правдоподобный правильный ответ. В идеале каждый дистрактор должен в равной мере привлекать всех испытуемых, выбирающих неправильный ответ. Мера привлекательности дистракторов оценивается после первой апробации теста на репрезентативной выборке испытуемых с помощью подсчета долей студентов, выбравших каждый из дистракторов в качестве правильного ответа. Конечно, точное равенство долей является определенной идеализацией, практически недостижимой при эмпирической проверке, но тем не менее, создавая задания, к этому равенству нужно стремиться.

Углубленный анализ частоты выбора каждого дистрактора студентами с различным уровнем подготовленности позволяет сделать вывод о валидности неправильных ответов. Если дистрактор чаще привлекает слабых студентов, выполнивших верно незначительное число заданий в тесте, то он считается валидным. В противном случае, когда дистрактор кажется привлекательным в основном сильным студентам, его валидность невысока, и задание подлежит переработке. В целом можно сказать, что тестовое задание считается "хорошо работающим", если знающие студенты выполняют его правильно, а незнающие выбирают любой из дистракторов с равной вероятностью.

Суть дистракторного анализа. Дистракторный анализ – статистический метод изучения правдоподобности дистракторов, строящийся на анализе частоты выбора неправильных ответов испытуемыми группы. Без такого анализа ни тестов, ни педагогических измерений не бывает. Теоретическая часть анализа касается вопросов содержания и формы заданий с ответами. Эмпирическая часть касается организации пробного тестирования с целью определения свойств заданий и свойств ответов.

Необходимость проведения дистракторного анализа вытекает из логики организации качественного процесса педагогического тестирования. Не бывает теста без качественных тестовых заданий. Не бывает и хороших тестовых заданий без качественных и эффективных дистракторов. Поэтому без проведения дистракторного анализа и публикации информации о качестве каждого использованного задания и ответа к ним утверждения о качестве тестов или измерений носят, как писали классики, спекулятивный, т.е. предположительный характер, выгодный заявителю.

Методы проведения дистракторного анализа

В практике тестирования используется два метода проведения дистракторного анализа.

Первый метод можно условно назвать частотным или процентным.

Второй метод основан на IRT. Среди многочисленных применений IRT для решения множества прикладных образовательных задач в данной статье рассматривается вариант использования IRT для проведения т.н. дистракторного анализа качества заданий в тестовой форме.

Статистические характеристики тестовых заданий