Определение параметров трудности и дифференцирующей способности заданий

Трудность заданий характеризуется индексом, который соответствует доле лиц, правильно решивших задание (Bortz & Döring, 2005). Ранее этот показатель носил название Индекса популярности. Цель индекса трудности заключается в различении заданий, обладающих высокой трудностью с более лёгкими. Непригодными признаются задания, на которые все испытуемые дают правильный ответ, либо задания ответ на которое не был найден никем. Индекс трудности обязательно должен располагаться между этими крайними случаями. В тестах, уровень трудности должен охватывать весь возможный диапазон измеряемой тестом характеристики.

Трудность заданий теста с двухступенчатым ответом (например, верно / неверно) рассчитывается следующим образом:

, где

Nr = количество испытуемых, давших правильный ответ, N = количество испытуемых, p = Трудность задания (только для заданий с двухступенчатым ответом!) Это обеспечивает решение для простейшего случая. Если испытуемые не решили задание или есть подозрение, что некоторые задания были выполнены «наугад», то приходится полагаться на другие альтернативные решения. (vgl. Fisseni, 1997, 41-42).

Расчёт трудности заданий с многоступенчатыми (альтернативными) ответами: Случай, когда р не определено. Возможные решения этой проблемы: • Произвести дихотомию значений множества (например, 0 и 1), в этом случае рассчитывается трудность задания с двухступенчатым ответом. • Расчет среднего значения и дисперсии (среднее значение эквивалентна р, однако, разброс также должен учитываться).

• = Индекс для заданий с многоуровневыми ответами:

Упрощённая формула:

Для более точного расчета разные авторы предлагают различные способы (vgl. Fisseni, 2004, 43-45). Различие трудности двух заданий можно проверить с помощью многопрофильной таблицы. Эти формулы возможно применять только для тестового уровня, то есть тогда, когда не требуется проведение испытания и / или когда испытуемые смогли справиться со всеми задачами.

Дифференцирующая способность задания.

Показатели дифференцирующей способности заданий

- коэффициент дискриминативности,

- точечно-бисериальный коэффициент

корреляции,

- бисериальный коэффициент корреляции,

- фи-коэффициент корреляции.

Важным показателем качества тестового задания является дифференцирующая способность, который определяет насколько хорошо данное задание различает "лучших" и "слабых" испытуемых.

Понятие дифференцирующей способности строится на фундаментальном предположении, что экзаменующиеся, которые показывают высокий уровень подготовки по данному предмету, как предполагается, более вероятно правильно ответят на любое задание о том предмете, чем те, которые обладают низким уровнем подготовки.

Наоборот, задания, на которые или все экзаменующиеся ответили правильно или все ответили неверно, не обладают дифференцирующей способностью, т.е. не различают сильных и слабых испытуемых.

Задания, которые не обладают дифференцирующей способностью, не дают никакой информации о различиях между индивидуумами. Существуют несколько статистических процедур для количественной оценки дискриминативности задания. Эти показатели чрезвычайно полезны в анализе качества заданий, потому что указывают авторам на конкретные задания, нуждающиеся в усовершенствовании.

Коэффициент дискриминативности

В классической тестовой теории для оценки качества тестовых заданий широко применяется коэффициент дискриминативности - Dj. Этот коэффициент рассчитывается по результатам тестирования путем выделения двух "контрастных" групп испытуемых. В большинстве случаев это 27% "слабых" и 27% "лучших" студентов из всей выборки.

Коэффициент находится по формуле Dj = Рu - Рl, где Рu и Рl - это доли студентов в лучшей и слабой группе, ответивших на данное (j-тое) задание правильно.

Значение коэффициента Dj может изменяться от -1 до +1.

Если значение Dj близко к -+1, то данное задание обладает высокой различающей способностью, то есть "лучшая" группа студентов из выборки отвечают на него гораздо чаще, чем "слабая" группа.

Интерпретация коэффициент различающей способности Dj согласно классической тестовой теории представлена в таблице

Точечно бисериальный коэффициент корреляции.

Точечно - бисериальный коэффициент корреляции - статистический показатель, который может использоваться для анализа дифференцирующей способности заданий.

Данный показатель оценивает степень статистической связи между двумя переменными: профилем ответа на конкретное задание и результирующим тестовым баллом.

Для j-го задания точечно-бисериальный коэффициент корреляции вычисляется по формуле:

Здесь x₁ – среднее значение по Х объектов со значением «единица» по Y;

x₀ – среднее значение по Х объектов со значением «ноль» по Y;

s_х – среднее квадратическое отклонение всех значений по Х;

n₁ – число объектов «единица» по Y, n₀ — число объектов «ноль» по Y;

n = n₁ + n₀ – объем выборки.

Согласно тестовой теории значение точечно-бисериального коэффи- циент корреляции rpbis равное или большее 0,3 является приемлемым пока- зателем его качества.

С помощью этого статистического показателя автор задания может оценить его дифференцирующую способность. Вообще говоря, задания с более высоким значением данного показателя лучше различают подготов- ленных и не подготовленных испытуемых. На практике, задания с отрица- тельным показателем точечно - бисериального коэффициента корреляции или удаляются из банка заданий, или полностью пересматриваются.