Предтестовое задание

Каждое из определений приобретает особую важность на раз­личных этапах разработки теста. Исходным является определение предтестового задания, содержащее ссылки на определенные спе­цифические требования, которые выступают в качестве критериев демаркации предтестового задания от традиционных контрольных заданий.

Определение 1. Предтестовое задание — это единица контрольно­го материала, содержание, логическая структура и форма представ­ления которого удовлетворяют ряду специфических требований и обес­печивают однозначность оценок результатов испытуемых в выбранной шкале.

Лучшему пониманию определения способствует краткое ис­толкование его основных положений. При формировании требо­ваний к содержанию всегда возникает вопрос о цели создания тес­та и выборе подхода к интерпретации результатов его выполнения. В рамках выбранного подхода специальными методами проводит­ся анализ содержания учебного курса, позволяющий выделить со­держание предтестовых задании. Они интегративно охватывают систему знаний по контролируемому курсу и включают опорные структурные элементы курса.

Именно отсюда проистекает первое преимущество предтесто­вых заданий, содержание которых отбирается преподавателем не интуитивно, как при традиционном контроле, а на основе специ­ального анализа, выдвигающего ряд научно обоснованных требо­ваний в процессе отбора. (Эти требования и методика отбора еди­ниц контролируемого материала рассматриваются в гл. 3.) В целом содержание предтестового задания не должно быть тривиальным. Правильный ответ на него должен предполагать знание существен­ных элементов содержания дисциплины. Последнее требование полностью исключает возможность правильных ответов, основан­ных на простых логических рассуждениях или здравом смысле [43].

Требования, предъявляемые к предтестовым заданиям, можно условно разделить на специальные, отражающие специфику фор­мы заданий, и общие, инвариантные относительно выбранной фор­мы [53]. К числу последних принадлежат следующие:

• наличие порядкового номера задания, установленного согласно априорной оценке трудности задания и выбранной разработчиком стратегии предъявления заданий теста;

• наличие стандартной инструкции, адекватной форме предтестового задания;

• расположение элементов задания и инструкции на определенных местах, фиксированных в рамках выбранной формы;

• наличие эталона правильного ответа к заданию и правила для оценки результатов его выполнения.

В отличие от общих специальные требования довольно много­численны (они представлены в гл. 4, посвященной требованиям тестовой формы).

Преимущества предтестовых заданий обеспечиваются их чет­кой логической структурой. Предтестовое задание формулируется так, чтобы в его структуре была заложена возможность прямого ответа. Для этого в нем заранее определяется то, что однозначно считается правильным ответом с заранее заданной степенью его полноты. В отличие от предтестовых заданий традиционный контрольный материал порождает многословные ответы, разные по содержанию, по структуре и по степени правильности. Это об­стоятельство значительно затрудняет оценку результатов испыту­емых в процессе традиционного контроля, в то время как хорошо разработанные предтестовые задания обеспечивают простоту оцен­ки ответа ученика благодаря наличию готового эталона для срав­нения. Таким образом, для предтестовых заданий, как правило, исключаются правильные и неправильные в разных отношениях и в разной степени ответы.

Реализации семантических преимуществ предтестовых зада­ний, несомненно, в ряде случаев способствует формулировка ус­ловия в виде утверждения, а не вопроса [23]. Переход к форме выс­казывания позволяет минимумом средств добиться максимальной ясности смысла, поскольку удачно сформулированные в форме утверждения предтестовые задания с выборочными ответами по сравнению с вопросами гораздо более малословны и не порожда­ют разных по содержанию и по структуре правильных ответов. Ко­нечно, абсолютизировать возможности утвердительной формы нет никаких оснований. Встречаются, хотя и довольно редко, задания, содержание которых гораздо короче и понятнее можно выразить именно в виде вопроса. Тем более нет оснований для включения подобных рекомендаций в состав определений, как это сделано в некоторых пособиях по тестовой проблематике [2], поскольку ло­гическая форма утверждения не является существенным призна­ком любого предтестового задания и не отражает необходимую идею инвариантности определений относительно тестовой формы.

Тестовое задание

Качеству предтестовых заданий и степени их соответствия тре­бованиям формы можно дать по-своему полезные априорные оцен­ки, которые явно недостаточны с точки зрения общенаучного под­хода, предполагающего эмпирическую проверку априорных суждений. Отсюда проистекает обязательность эмпирической про­верки заданий, по результатам которой определенная часть предтестовых заданий превращается в тестовые, а оставшаяся часть уда­ляется из теста.

Определение 2. Предтестовое задание называется тестовым, если апостериорные количественные оценки его характеристик удовлет­воряют определенным критериям, нацеленным на проверку качества содержания, формы и на выявление системообразующих свойств за­даний теста.

Как видно из определения 2, далеко не каждое предтестовое задание может быть тестовым. Для этого требуются многочис­ленные проверки и улучшения иногда содержания, иногда формы, а иногда и того и другого. Таким образом, предтестовое задание превращается в тестовое после доведения его характеристик до уровня, соответствующего определенным научно обоснованным критериям качества.

Исследование системообразующих характеристик тестового задания проводится методами корреляционного, факторного и ла­тентно-структурного анализа. В частности, методами факторного анализа можно оценить некоторые аспекты качества содержания заданий теста. Однако что касается интерпретации результатов ана­лиза, то здесь нет и не может быть готовых правил и рекоменда­ций, пригодных на все случаи разработки тестов, поскольку интер­претация оценок — это всегда достаточно сложная аналитическая работа, результаты которой зависят от множества условий, в том числе и от вида создаваемого теста.

Одно из важнейших требований к характеристикам тестового задания связано с оценкой величины корреляции задания с крите­рием. Для итоговых тестов, разрабатываемых в рамках нормативно-ориентированного подхода, в качестве критерия обычно выби­рается сумма индивидуальных баллов испытуемых по заданиям те­ста. Величина коэффициента корреляции является показателем валидности задания теста. (Значения коэффициента корреляции, позволяющие отнести тестовое задание к категории валидных, а также формулы для подсчета коэффициента приводятся в гл. 5.) В целом же можно считать, что, чем выше корреляция, тем более ва­лидным является задание, тем больше оснований для отнесения его к категории тестовых и последующего включения в тест. Однако это утверждение относится не ко всем, а только к отражающим раз­личное содержание заданиям теста [5,11,43].

Конечно, нет никакого смысла включать в итоговый тест за­дания, имеющие одинаковое или сходное содержание и под­меняющие друг друга в процессе проверки. Учитывая это об­стоятельство, можно сформулировать еще одно требование. Оно связано с выявлением степени отличия содержания данного зада­ния от содержания остальных и нацелено на повышение специфич­ности каждого задания теста. При этом можно руководствоваться простым правилом: чем меньше задание коррелирует с другими, тем выше специфичность его содержания, тем больше оно отлича­ется от других заданий теста.

Определенные ограничения на подбор тестовых заданий накла­дывает требование аксиомы локальной независимости, согласно которой вероятность правильного выполнения каждого задания испытуемыми одного уровня подготовки не должна зависеть от ве­роятности правильного выполнения остальных заданий теста [46]. Конечно, в чистом виде требование аксиомы не может быть вы­полнено, однако оно, несомненно, исключает цепочную логику, когда ответ на предыдущее задание входит в число данных к после­дующему заданию теста.

Есть определенные требования к оценкам параметров тестового задания. В первую очередь, это утверждение касается параметра трудности и параметра дифференцирующей способности, оценки которых должны обладать свойством инвариантности относитель­но уровня подготовленности тестируемой группы. Если судить по приведенному требованию, то для отнесения задания к категории тестовых необходима тщательная эмпирическая проверка, сопро­вождаемая специальной обработкой и развернутым анализом ре­зультатов обработки эмпирических данных выполнения теста.

Еще одно требование связано с анализом информационных и характеристических кривых тестовых заданий, построение которых также основано на эмпирических результатах выполнения теста и предполагает использование математического аппарата теории ла­тентно-структурного анализа. Согласно требованию каждое тесто­вое задание должно обладать известной характеристической кривой с приемлемой формой и подходящим расположением, обеспечива­ющим в совокупности с другими кривыми планируемый при созда­нии геометрический образ теста [31,46,47].

Помимо характеристической, каждому тестовому заданию мож­но поставить в соответствие информационную кривую, которая дает представление о точности оценок испытуемых различного уровня подготовки в том гипотетическом случае, когда измерение осуществлялось с помощью только одного данного задания теста. (Подробная методика и алгоритмы построения кривых приводят­ся в гл. 5.)

Из перечисленных выше тестологических требований вытека­ет обязательность многократных эмпирических проверок и пере­работок предтестовых заданий до тех пор, пока они не обретут ста­тус тестовых. Каждая проверка должна сопровождаться обработкой эмпирических результатов и их интерпретацией путем соотнесе­ния с научно обоснованными требованиями к характеристикам тестовых заданий. Выполнение всех требований и общая принад­лежность тестовых заданий к одной и той же системе дают основа­ние для их объединения в тест.

Педагогический тест

В отличие от первых двух определений, довольно инвариант­ных относительно целей создания тестов, определение педа­гогического теста ориентировано на конкретные цели и подходы. В частности, для случая оценки итоговых достижений по одной из учебных дисциплин в рамках нормативно-ориентированного под­хода определение теста может иметь следующий вид.

Определение 3. Итоговый нормативно-ориентированный тест — это система тестовых заданий, упорядоченных в рамках определенной стратегии предъявления и обеспечивающих информативность оценок уровня и качества подготовки испытуемых.

Предложенное определение отличается от многих других, име­ющихся в отечественной и зарубежной литературе. В основном оно предназначено для гомогенного теста, обладающего дисциплинар­ной общностью заданий, однако с определенными оговорками и дополнениями может быть использовано и для гетерогенного теста, охватывающего систему знаний по нескольким учебным дисципли­нам. В последнем случае необходимо изменить требования к характеристикам тестовых заданий. Другой будет и стратегия их упо­рядочения в тесте. В отличие от гомогенного теста, где задания чаще всего располагаются по нарастанию трудности, в гетерогенных тес­тах сохранение принципа нарастания трудности выражается, как правило, в так называемой спиральной или ступенчатой форме.

Гетерогенные тесты бывают двух заметно отличающихся друг от друга видов: полидисциплинарные и междисциплинарные [33]. Полидисциплинарные тесты просты в концептуальном отношении и состоят из гомогенных субтестов по отдельным дисциплинам. Сложности, которые здесь возникают, обычно носят исключитель­но технический характер и связаны с объединением результатов учеников по субтестам для подсчета итоговых баллов по всему полидисциплинарному тесту.

Междисциплинарные тесты гораздо сложнее в концептуальном отношении, но зачастую кажутся проще полидисциплинарных в техническом отношении, особенно на начальном этапе работ по созданию теста. Однако эта кажущаяся легкость оборачивается зна­чительными трудностями, которые нередко становятся непреодо­лимыми при интерпретации результатов выполнения теста, что приводит к профанации самой идеи междисциплинарной оценки. Сложность интерпретации здесь видится в том, что оцениваемые знания и умения относятся к разным учебным дисциплинам и задействуют их в разной степени.

При правильном подходе междисциплинарность должна найти свое отражение в содержании всех заданий, для выполнения которых потребуется применение некоторых обобщенных, интегративных знаний и умений. Включение в тест междисциплинарных заданий заставляет искать ответ на вопрос: в какой степени разработанные за­дания пригодны для оценки измеряемых интегративных свойств и насколько они надежны? Обычно ответ на этот вопрос требует доволь­но серьезных усилий со стороны разработчика теста.

В целом разработка гетерогенных тестов требует обращения к специальным достаточно сложным вопросам репрезентации струк­туры междисциплинарных знаний математико-статистическими методами многомерного шкалирования и в данном пособии не рас­сматривается. Обращение к многомерным статистическим мето­дам вынудило бы авторов книги значительно расширить использу­емый математический аппарат и, несомненно, сузило бы круг заинтересованных читателей. Поэтому вопросы, связанные с гете­рогенными тестами, осознанно исключены из рассмотрения.

Возвращаясь к определению гомогенного нормативно-ориен­тированного теста, необходимо подчеркнуть главную идею — тест образует не любая система заданий, а только та, которая обеспечи­вает информативные оценки уровня и качества подготовки испы­туемых группы. Критерий информативности является ключевым в оценке качества теста, вернее, той грани качества, которая харак­теризует способность теста выполнять функцию средства измере­ния в рамках нормативно-ориентированного подхода для данной выборки учеников.

Оценка информативности носит апостериорный характер. Она построена на подсчете дифференцированной ошибки измерения уровня подготовки каждого испытуемого группы и выявлении диф­ференцирующего эффекта теста. Что касается ошибки измерения, то здесь намечается обратно пропорциональная зависимость, ко­торая не только описывается специальной математической форму­лой, но и хорошо согласуется с обыденным смыслом. Чем меньше ошибка измерения уровня подготовки каждого испытуемого груп­пы, тем больше информации о знаниях или умениях ученика мож­но получить с помощью данного теста. Если ошибка измерения, полученная при оценке подготовки испытуемого, велика, то тест не дает информации о реальном уровне его подготовки и, следова­тельно, цель измерений не достигнута.

Оценка дифференцирующего эффекта связана с анализом рас­пределения тестовых баллов испытуемых группы. Оценка может быть проведена достаточно простым путем визуального анализа гистограммы. Более сложный путь основан на оценке близости эмпирического распределения к нормальному закону с помощью одного из известных критериев нормальности распределения [36]. Если гипотеза о нормальности не подтверждается и тестовые бал­лы учеников слабо дифференцированы, то тест не состоялся, по­скольку не выполняются основные требования нормативно-ори­ентированного подхода.

Из этих утверждений следуют два важных вывода. Первый — нет и не может быть тестов информативных вообще, так как оцен­ка информативности зависит не только от характеристик тесто­вых заданий, но и от уровня подготовки тестируемой группы. Вто­рой — для оценки информативности заданий необходимы эмпирические исследования качества теста на репрезентативной выборке учеников. Таким образом, информативность следует рас­сматривать как меру пригодности теста для выполнения функций средства измерения и дифференциации оцениваемой выборки учеников.

В целом хотелось бы отметить, что в предлагаемом определе­нии выделяется наиболее важное преимущество теста, выгодно отличающее его от традиционных средств оценки знаний учащих­ся. Это преимущество связано с тем, что только тест является ка­чественным средством педагогического измерения, поскольку именно в отношении тестов утвердилась рефлексивная норма обя­зательной проверки их качества. Работа над повышением каче­ства теста консолидирует систему тестовых заданий — постепен­но нарастает внутренняя связь и целостность, интегративность системы, совершается переход от совокупности предтестовых за­даний к профессионально разработанному тесту.