Критериально-ориентированный подход

При критериально-ориентированном подходе в педагогических измерениях результаты испытуемых интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста (для дихотомических оценок (1 или 0) по отдельным заданиям) либо отношения суммарного балла по правильно выполненным заданиям к общему числу баллов по всем заданиям теста (для политомических оценок по отдельным заданиям). Полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста [1, 22, 28, 33].

Таким образом, при критериально-ориентированном подходе создаются тесты для сопоставления учебных достижений каждого студента с планируемым к усвоению объемом знаний, умений или навыков. В качестве интерпретационной системы отсчета используется конкретная область содержания, а не та или иная выборка студентов. Упор в интерпретации результатов делается на то, что может выполнить обучаемый и что он знает, а не на то, как он выглядит на фоне других студентов, выполнявших тест.

За рубежом типы критериально-ориентированных тестов имеют определенную классификацию: domain-referenced tests – тесты, ориентированные на содержательную область, результаты по которым, как правило, выражаются в процентах освоенного содержания; mastery, non-mastery tests – тесты для отбора испытуемых, достигших определенной ступени мастерства, результаты студентов в которых обычно делятся на две группы – превысившие критерий и не достигшие критерия выполнения.

В России такая классификация пока не сложилась, хотя она, несомненно, нужна, поскольку эти типы критериально-ориентированных тестов имеют разные технологии разработки.

С помощью критериально-ориентированных тестов благодаря содержательной интерпретации результатов тестирования можно:

• выявить освоенные и неосвоенные знания, умения, навыки и компетенции, построить индивидуальную образовательную траекторию каждого студента (domain-referenced tests) и повысить индивидуализацию учебного процесса;

• ранжировать тестируемых по проценту выполнения и построить рейтинговые шкалы (domain-referenced tests);

• разбить испытуемых на две группы с помощью одного критериального балла (mastery, non-mastery tests);

• разбить испытуемых на несколько групп с помощью нескольких критериальных баллов, поставив, например, балльные отметки – два, три, четыре, пять – и привести развернутый анализ неосвоенных разделов содержания и видов учебной деятельности.

Для получения критериального балла обычно применяют экспертный подход, результаты которого проходят статистический анализ методом контрастных групп. Главные принципы в работе экспертов – независимость суждений и четкое следование стандартизованным инструкциям.

При использовании статистического метода валидизации критериального балла всю группу студентов по результатам предварительных испытаний разбивают на три части: 27% – наиболее слабых, 27% – наиболее сильных и оставшаяся средняя часть. Затем всей группе студентов предлагают тест, из результатов которого выбирают только данные сильных и слабых студентов. По ним строят графики, представленные в сглаженном виде на рис. 3.1.

Рис. 3.1. Статистическая валидизация критериального балла методом контрастных групп

Через проекцию точки пересечения графиков на ось абсцисс проводят вертикальную прямую. Число процентов, соответствующих точке пересечения графиков, принимают за критериальный балл, а «хвосты» кривых слева и справа от вертикальной прямой показывают проценты неправильных решений (сильные испытуемые, попавшие в группы неаттестованных, и слабые студенты, отнесенные к аттестованным, соответственно).

Несмотря на кажущуюся привлекательность, благодаря содержательной интерпретации, критериально-ориентированный подход имеет недостатки, связанные с необходимостью полного охвата содержания, принимаемого за 100%, в одном тесте. Аттестационные критериально-ориентированные тесты нередко получаются очень длинными (из 150–300 заданий), выполнить которые даже студентам при одноразовом предъявлении просто невозможно. Поэтому при аттестации нередко применяют адаптивное тестирование, позволяющее за счет оптимизации трудности заданий значительно сократить длину теста [44]. Другой путь укорочения тестов – сокращение содержания теста за счет минимизации целей оценивания. Для этого критериально-ориентированные тесты нередко используют для проверки одного-двух умений или навыков, а при охвате более разнородного содержания выбирают нормативно-ориентированные тесты.

Помимо этого, критериально-ориентированные тесты имеют довольно ограниченную область применения. Они пригодны в тех случаях, когда можно четко определить знания, умения, навыки по конкретной области содержания и задать их верхний и нижний пределы для корректного определения критериев выполнения тестов. В более сложных и менее структурированных областях знаний, связанных с решением задач творческого уровня, определить верхний предел зачастую невозможно. Иногда при выполнении таких заданий студент руководствуется знаниями, но чаще все решают смекалка и догадка. Поэтому при создании тестов, предназначенных для контроля за выполнением задач творческого уровня, предпочтение следует отдавать нормативно-ориентированному подходу либо постараться совместить оба подхода в одном тесте.

Нормативно-ориентированный и критериально-ориентированный подходы не имеют тех различий, которые можно выявить путем обычного осмотра заданий тестов. Углубленный анализ существенных характеристик тестов, разработанных в рамках различных подходов, указывает на ряд особенностей. Нормативно-ориентированные и критериально-ориентированные тесты отличаются по целям создания, методике отбора содержания, характеру распределения эмпирических результатов тестирования и методам их обработки, критериям качества тестов и тестовых заданий, а главное, по интерпретации результатов испытуемых, выполнивших тест.

В частности, содержание критериально-ориентированного теста должно быть достаточно полно, в него включают все то, что условно можно принять за 100%-ный объем, планируемый к усвоению. Содержание нормативно-ориентированного теста фрагментарно, в нем могут быть только те разделы, которых достаточно для сравнения и дифференциации студентов по уровню учебных достижений. Нормативно-ориентированные тесты обычно имеют от 50 до 70% заданий примерно средней трудности, т.е. таких, которые смогла выполнить верно приблизительно половина тестируемых студентов (рис. 3.2).

Рис. 3.2. Распределение заданий по трудности в нормативно-ориентированном тесте

В критериально-ориентированных тестах, используемых для аттестации, основная часть заданий намного легче, особенно в тех случаях, когда стараются спланировать процент двоек и ограничить число неаттестованных студентов. Например, процент двоек не должен быть больше десяти, и критерий отсева неуспевающих хотят установить на уровне 70% (все, кто выполнил меньше 70% заданий теста, получают два), то в тест необходимо включить не менее 70% легких заданий, которые смогут выполнить верно 90% тестируемых студентов (рис. 3.3).

Рис. 3.3. Распределение заданий по трудности в критериально-ориентированном тесте

В силу того что распределения сырых баллов испытуемых по нормативно-ориентированным и критериально-ориентированным тестам имеют, как правило, различную форму, приходится использовать отличающиеся методы оценивания надежности и валидности результатов педагогических измерений, методики шкалирования и выравнивания. Типичные распределения баллов репрезентативной выборки испытуемых в нормативно-ориентированных и критериально-ориентированных тестах показаны на рис. 3.4 и 3.5.

Рис. 3.4. Распределение баллов репрезентативной выборки испытуемых в нормативно-ориентированных тестах

Рис. 3.5. Распределение баллов репрезентативной выборки испытуемых в критериально-ориентированных тестах

Наиболее существенные отличия между нормативно-ориентированными и критериально-ориентированными тестами сведены в табл. 3.1.

Таблица 3.1 Отличия между нормативно-ориентированными и критериально-ориентированными тестами

Между двумя подходами нет непреодолимых противоречий, а для преподавателей наиболее информативной является ситуация, когда оба подхода взаимно дополняют друг друга. Поэтому некоторые тесты разрабатываются с расчетом на то, чтобы результаты студентов можно было бы соотносить как с нормами, так и с содержанием теста. Примером этого в России являются КИМ ЕГЭ.