Правила отбора, формулировки и анализа заданий

При принятии решения, какой тип задания использовать, следует помнить о влиянии специфических факторов. Если тест состоит из заданий одного типа, возникает опасность влияния некоторого специфического фактора, связанного с этой частной формой задания.

Кроме этого, источником ошибок при тестировании часто является утомление, которое наступает при работе с тестами, требующими необходимых усилий по концентрации, сосредоточению внимания на заданиях одного типа. В этом плане целесообразным будет включение в тест заданий различного типа.

Существует несколько правил для выбора и упорядочивания заданий при испытаниях теста:

1. Располагать задания каждого типа вместе. Это дает возможность испытуемым приспособиться к данному типу заданий, а, следовательно, достаточно понимания одной части инструкции для множества заданий.

2. Располагать задания в порядке трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит все свое время (или слишком много времени) на задания, которые он не может решить и, таким образом, лишает себя возможности попытаться выполнить другие, по которым он мог бы получить баллы, а в результате все формы анализа заданий будут неточными.

3. В рамках ограничений (1) и (2) располагать материал настолько случайно (произвольно), насколько это возможно. Это снижает монотонность и связанное с ней утомление.

4. Не комплектовать вместе такое количество заданий, что среднему испытуемому для их выполнения требуется более полутора часов (для взрослых). Для детей период сосредоточения в тестах способностей должен быть более ограниченным.

5. Чтобы убедиться, сколько времени требуется на выполнение заданий теста, дать указание испытуемым отмечать, какое задание теста они выполняют в различные моменты времени в процессе тестирования.

6. Предотвращение случайного угадывания. Следует выбирать ту форму заданий, которая сокращает вероятность случайного угадывания правильных ответов настолько, насколько это возможно.

7. Отношения между заданиями. Необходимо следить за тем, чтобы форма задания (варианты выбора или списки для восстановления соответствий) не содержали в себе или не раскрывали ответы на другие задания.

8. Если задания выглядят в равной степени эффективными, выбирать тот тип заданий, который менее всего представлен.

Для того, чтобы задание было эффективным (а следовательно, и весь тест), необходимо соблюдать следующие правила их формулировки:

1. Простота. Задание должно быть настолько простым, насколько это возможно для его точного понимания. Нежелательно, чтобы на результаты оказывали влияние уровень словарного запаса испытуемого или его общие способности. Следует избегать употребления многозначных понятий, редких значений слов, сленга, диалектизмов, узкоспециальных терминов и формулировок;

2. В заданиях с несколькими вариантами выбора все дистракторы (неверные варианты ответов) должны быть такими, чтобы каждый из них мог привлечь внимание испытуемых, то есть быть “похожими” на правильный ответ. Таким образом, при оценивании заданий каждый дистрактор должен в идеале в равной мере использоваться всеми испытуемыми, не выполнившими задание правильно. В то же время, необходимо убедиться, что предложенные дистракторы не вводят в заблуждение лучших испытуемых.

3. Только один вариант ответа из предложенного набора должен соответствовать правильному ответу. Иногда различные взгляды на одну и ту же проблему могут привести к непредусмотренному ответу, который тоже будет правильным.

4. Ответ на один вопрос не должен давать ключа к ответам на другие. То есть не следует использовать дистракторы из одного задания в перечне других.

5. Избегайте тестировать тривиальное ввиду простоты его обнаружения.

6. В основе каждой задачи (пункта), вопроса, набора суждений и т.д. должна лежать одна мысль;

7. Необходимо избегать слишком коротких или слишком длинных высказываний, использование которых ведет к (в первом случае) к появлению дополнительных вопросов, либо (во втором случае) к затруднению понимания, удлинению времени обследования, утомлению испытуемых;

8. Задачи должны быть реальными, отражать существующие отношения, соответствовать времени, иметь конкретное содержание.

Проверка характеристик заданий базируется на экспертных оценках, которые служат основанием для отбрасывания, исключения или переформулирования заданий. Отобранные задания размещаются по степени трудности, либо в случайном порядке (гомогенные тесты), либо могут объединяться в блоки для измерения определенного фактора или качества (гетерогенные тесты).

Для анализа заданий существенными являются два показателя:

а) Доля испытуемых, давших ключевые (т.е. совпадающие с ключом) ответы;

б) Величина корреляции заданий с общим показателем.

Процедура анализа заданий состоит из следующих шагов:

1. Отобрать 27% лучших (группа Н) и 27% худших (группа L) испытуемых по каждому тесту.

2. Для каждого задания подсчитать долю испытуемых из группы Н, давших правильный (ключевой) ответ: Рh.

3. Сделать то же самое для группы L: P.

4. Для каждого задания посмотреть таблицы Фэна, которые для каждой возможной комбинации Ph и Pl дают приближенную оценку Р и коэффициента точечно-бисериальной корреляции r pbis (коэффициент корреляции между заданием и общим показателем), – на пересечении строк и столбцов: каждая строка соответствует значению Ph, а каждый столбец – значению Pl.

В дальнейшем при отборе заданий необходимо ориентироваться на следующие критерии:

– величина теста (не менее 20-30 заданий);

– по содержанию вопросы должны охватывать разнообразные аспекты оцениваемого свойства;

– корреляция заданий с общим показателем не должна быть меньше 0,2;

– уровень трудности заданий (зависит от цели и характера теста и должна обеспечивать оптимальную дискриминативность заданий, позволяющих выявлять различия между испытуемыми);

– коэффициент надежности должен быть не менее 0,7.

Date: 2015-10-18; view: 1538; Нарушение авторских прав