й учебный вопрос: Эффективность тестов и тестовых заданий

С начала XX века в научный оборот зарождавшейся тогда теории тестов вошли два критерия качества - надежность и валидность тестов. Оба эти критерия продолжают оставаться главными и в наши дни. Необходимость расширения числа критериев, хотя бы до трех, за счет введения критерия эффективности.

Эффективным можно назвать тест, который лучше, чем другие тесты, измеряет знания студентов интересующего уровня подготовленности: с меньшим числом заданий, качественнее, быстрее, дешевле, и все это - по возможности, одновременно.

Два ключевых элемента - это число заданий теста и уровень подготовленности студентов. Если из какого-либо теста с большим числом заданий сделать оптимальный выбор меньшего числа, то может образоваться система, не уступающая заметно по своим свойствам тесту со сравнительно большим числом заданий. Тест с меньшим числом заданий в таком случае можно называть сравнительно более эффективным.

Помимо этого, эффективность теста можно оценить с точки зрения соответствия уровня его трудности уровню подготовленности тестируемых в данный момент студентов. Эту оценку в литературе нередко относят к валидности, имея в виду идею валидности теста, так сказать, по уровню. Поскольку такого рода частных идей, размывающих концепцию валидности, оказалось немало, ощущается необходимость обогатить их методами обоснования и объединить концепцией эффективности.

Эффективность теста можно попытаться оценить с точки зрения его дифференцирующей способности; последняя тем выше, чем лучше видны различия между тестовыми баллами студентов. В качестве одного из возможных показателей дифференцирующей способности теста можно использовать дисперсию. Если, например, имеются два теста по одной и той же учебной дисциплине и один из них имеет большую дисперсию, чем второй (в той же самой группе), то при прочих равных условиях тест с большей дисперсией можно считать эффективней теста с меньшей дисперсией. Отношение большей дисперсии к меньшей при одинаковом, например, числе заданий, с последующим умножением на сто, может служить в качестве одного из показателей сравнительной эффективности теста с позиции его дифференцирующей способности.

Эффективность теста можно оценить как дифференцированную точность измерения испытуемых различного уровня подготовленности.

Одинаковость стандартной ошибки для всех студентов, независимо от уровня их подготовленности,

Определение: Тест называется эффективным для измерения знаний студентов с уровнем, соответствующим точке оси, если он обеспечивает в этой точке максимум информации о значении при минимуме числа заданий. Эффективность измерений достигается за счет дифференцированного подбора заданий требуемого уровня трудности для каждого студента, имеющего уровень знаний.

Если сравнить понятие эффективность с понятиями надежность и валидность, то самое существенное отличие нового понятия от двух традиционных заключается в переходе от усредненного показателя к дифференцированному.

Надежность относится к тесту, состоящему из зафиксированного числазаданий, предъявляемых всем испытуемым; только тогда можно найти коэффициент надежности теста, как усредненную меру точности измерения. Аналогично, находится и валидность теста.

Эффективный же тест, напротив, предполагает отход от усреднения и от фиксированного для всех испытуемых числа заданий. Число выбираемых заданий меняется в процессе тестирования, в зависимости от ответа каждого испытуемого. Таким образом, эффективное тестирование - это обязательно индивидуализированное измерение знаний каждого испытуемого с помощью оптимального по трудности и минимального по количеству набора заданий.