Основные этапы разработки аттестационных измерителей

В общем случае в процессе планирования при разработке измерителей важно идентифицировать:

• цель измерения, связав ее с функциями контроля и областью применения результатов измерения;

• порции и временные интервалы применения;

• содержание измерителей (предметное описание содержания, планируемые к проверке умения и виды деятельности).

Если в качестве измерителя выбран тест для итоговой аттестации, то в начале работы над тестом необходимо:

• подход к созданию теста и интерпретации результатов измерения (нормативно-ориентированный, критериально-ориентированный или смешанный);

• виды шкал тестовых баллов или других результатов измерения с детальным описанием правил оценивания отдельных заданий;

• представительные выборки студентов или выпускников, стратифицированные в соответствии с основными факторами;

• инструкции по выполнению теста (краткую и развернутую), инструкции для экзаменаторов и инструкции по проверке в том случае, если привлекаются эксперты;

• время выполнения теста или временные промежутки, если есть субтесты.

Если основная цель тестирования – итоговая аттестация, то создается стандартизованный итоговый тест, обеспечивающий высокую точность измерений, поскольку его результаты используются для принятия административных решений. Поэтому при разработке аттестационного теста необходимо выполнить все указанные ниже этапы в полном объеме и провести несколько апробаций на репрезентативных выборках выпускников учебного заведения. В частности, необходимо:

• определить подход к созданию аттестационного теста (нормативно– или критериально-ориентированный);

• провести анализ содержания учебной дисциплины, определить степень полноты, необходимую для репрезентативного отображения требований ФГОС в тесте;

• определить структуру теста и стратегию расположения заданий;

• разработать спецификацию теста, осуществить априорный выбор длины теста, форм его заданий и времени его выполнения;

• создать задания в каждой из выбранных тестовых форм;

• отобрать задания в тест и ранжировать их согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий;

• провести экспертный анализ качества содержания заданий и теста;

• провести экспертизу формы предтестовых заданий;

• переработать содержание и формы заданий по результатам экспертизы;

• сформировать выборку для апробационного тестирования;

• разработать инструкции для студентов и преподавателей, проводящих апробацию теста;

• провести апробационное тестирование для сбора эмпирических результатов;

• провести статистическую обработку результатов апробации;

• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

• провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

• установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].

Выводы

Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.

Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.

В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.

При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.

Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.

При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.

В настоящий момент во многих странах разрабатываются измерители, отличающиеся от традиционных оценочных средств и тестов в сфере отбора содержания (компетентностный подход, междисциплинарный подход, творческие аспекты содержания подготовки), в форме заданий (переход от заданий с выбором ответа к заданиям со свободно конструируемым ответом), форме оценки (переход к самооценке, многомерной оценке). Во многом эти измерители преодолевают недостатки существовавших ранее оценочных средств, поэтому они получили название средств аутентичного оценивания.

Практические задания и вопросы для обсуждения

1. Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в вузе?

2. Каковы цели разработки корректирующих тестов? Есть ли различия между корректирующими тестами и традиционными средствами текущего контроля?

3. В рамках какого подхода, по вашему мнению, следует разрабатывать компетентностные тесты?

4. Какой процесс называется стандартизацией теста?

5. Перечислите основные факторы, влияющие на устойчивость норм теста для вашего вуза.

6. Укажите отличия между нормативно-ориентированными и критериально-ориентированными тестами.

7. Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в вузе? Назовите несколько ситуаций, в которых целесообразно использовать портфолио.

8. На какие инновационные средства, по вашему мнению, следует делать упор при введении компетентностного подхода в высшее профессиональное образование?

9. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.

10 Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?

11. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?

12. Эффективно ли использовать диагностические тесты без корректирующих тестов?

Аттестационные тесты. Их содержание, планирование, отбор и экспертиза

Целеполагание при планировании содержания педагогического теста

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.

При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.

В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:

• знание названий, имен, фактов;

• фактуальные знания;

• знание определений и понимание их смысла;

• сравнительные, сопоставительные знания;

• классификационные знания;

• знание противоположностей, противоречий, синонимичных и антонимичных объектов;

• ассоциативные знания;

• причинные знания;

• алгоритмические, процедурные знания;

• обобщенные, системные знания;

• оценочные знания;

• процессуальные знания;

• абстрактные знания;

• структурные знания;

• методологические знания.

В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).

В новой концептуальной модели, предложенной в 1982 г. (Бигс и Коллис) и получившей название СОЛО-таксономия (SOLO – Structure of the Observed Learning Outcomes), содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различные ее уровни в концептуальной модели содержания теста. СОЛО-таксономия имеет иерархическую структуру, которую можно использовать как для разработки инструментария, так и при интерпретации результатов педагогических измерений. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров при планировании содержания контрольно-оценочных средств. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности, для оценки достижений учащихся по математике и естествознанию [18].

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [28]. Процесс операционализации строится на планировании содержания теста.

Планирование содержания теста

В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.

Процесс планирования выполняется с помощью спецификации теста. В ней делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем будет неоднократно меняться в процессе работы над тестом в сторону увеличения или уменьшения. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте.

Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.

Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:

А – знание понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.