Бипарадигмальная методология

Разграничение количественного и качественного подходов проявлялось в методологии в течение нескольких десятилетий конца ХХ в., но протекало по-разному в зависимости от уровня развития измерений в социальных науках. В странах, где широко использовавших тесты в психологии и в образовании, сложились две противостоящие методологии: качественная и количественная, объединенные одной общей функцией – служить ориентиром в научной организации процесса измерений. На качественном уровне для методологических знаний характерна большая описательность. В количественном методологическом подходе преобладают нормативные предписания, находящие свое практическое отражение в нормах выполнения тестов, а для измерений используются стандартизованные шкалы.

В частности, в США общий ход развития методологии измерений протекал в условиях острых дебатов между сторонниками количественного и качественного подходов в измерениях (Дейт, Гейдж, Губэ и Линкольн, Хаус, Росс), которые вплоть до начала XXI в. не находили компромиссных точек зрения и утверждали приоритет только своего подхода в рамках одной из методологий. Аналогичные процессы протекали в психологии, где в 70–80-е гг. шли длительные методологические споры между такими учеными, как Кронбах, Кук и Кемпбелл, которые отстаивали противоположные точки зрения на преимущества количественных или качественных подходов к решению методологических проблем валидности измерений, разработке инструментария и интерпретации результатов измерений в практике. По сути, ни одно из направлений в социальных науках не избежало проявлений подобных споров и противостояния парадигм в оценочных процедурах [10, 38].

В основе одного методологического подхода, получившего за рубежом название позитивистской парадигмы, лежали количественные методы измерения, в то время как противоположная конструктивистская парадигма была основана на качественных методах, поэтому споры между этими двумя парадигмами часто называли качественно-количественными дебатами. В их развитии выделяют несколько этапов, не имеющих четких границ из-за некоторых переходных периодов. Первый из этапов дебатов, характеризующийся приоритетом количественных методов, протекал с 20-х до 80-х гг. ХХ в., когда в педагогических измерениях господствовали тесты с выбором ответа, которые рассматривались как единственный достоверный источник данных о результатах образовательного процесса и не нуждались в привлечении экспертов при оценивании результатов выполнения.

В 70–80-х гг. ХХ в. стали появляться многочисленные критические публикации, в которых утверждалось, что принципы позитивизма и количественная методология, утверждавшая эту парадигму, были дискредитированы (Линкольн и Губэ). Причинами критики позитивизма послужил нарастающий интерес к формированию творческих аспектов подготовленности обучаемых, развитию когнитивных навыков и коммуникативных компетенций, которые невозможно было оценить с помощью традиционных тестов с выбором ответов. В этой связи за рубежом началось возрождение качественных методов в педагогических измерениях и постепенный переход к качественной методологии, базирующейся на принципах конструктивизма (Смис и Хэсхусис).

Однако вопреки преобладающему конструктивизму, нарастающему противостоянию методологий и утверждениям о несовместимости количественных и качественных подходов еще в 60-е гг. появились зачатки новой методологии, которая совмещала их и стала доминирующей в 90-е гг. ХХ в. Наиболее серьезные попытки примирения парадигм в образовании, наметившиеся к концу ХХ в., принадлежат Хоуэ, Рейхардт, Раллис. Они выдвинули тезис совместимости количественной и качественной методологий, основанный на другой парадигме, которую ученые позже назвали прагматизмом. В наше время уже никто не сомневается в истинности прагматизма, а дебаты ученых о парадигмах рассматривают как фрагмент истории измерений в социальных науках. Все современно мыслящие исследователи обращаются к прагматической методологии педагогических измерений, в которой содержатся элементы и количественных, и качественных подходов (Брюэр и Хантер, Пэтон, Грин, Караселли и Грэхэм).

Движение от позитивизма к прагматизму в методологии педагогических измерений имеет свои характерные черты. Оно сопровождается переходом от монометода и единственного средства оценивания, в качестве которого выступают тесты, к использованию совокупности методов и средств измерения. Вместо единственного источника информации – результатов стандартизованного тестирования – появляются многочисленные источники данных, строящиеся на сочетании различных средств измерения. Нередко при качественном оценивании привлекается дополнительная информация о предыстории развития студента, результаты его анкетирования, краткие истории из его жизни и другие биографические материалы. Исследователи, идущие по пути количественных методов, применяют математические модели, статистические таблицы и графики, но стараются подвергать полученные числа последующей качественной интерпретации для анализа и использования в управлении качеством образования.

В нашей стране смена господствующих парадигм в методологии измерений шла несколько иным путем, чем в зарубежных странах, обладающих развитыми национальными системами тестирования. Из-за запрета на тестовые методики весь период до начала 90-х гг. в отечественном образовании преобладала монометодология, базирующаяся на качественных подходах и ориентированная на традиционные оценочные средства, разрабатываемые и используемые педагогами вне аппарата теории измерений в образовании. Однако вопреки трудностям становления тестовых технологий с начала 90-х гг. в нашей стране стали появляться отдельные исследования, направленные на разработку методологического обеспечения тестирования и привносившие элементы количественных подходов в традиционную оценку знаний обучаемых.

Расширение сферы применения тестов в России пришлось на период, когда в содержании контроля во всем мире стала приоритетной проверка творческих умений, а вместо заданий на воспроизведение фактов и простейших алгоритмов, предполагающих только одноуровневую деятельность, во многих странах в тесты стали включать задания для оценки разнообразных интеллектуальных и практических умений.

Наметилось смещение акцентов с преимущественной оценки результатов обучения на компоненты процесса получения результата, с пассивного ответа на заданный вопрос на активное конструирование содержания ответа, с оценки отдельных, изолированных умений на интегрированную и междисциплинарную оценку уровня сформированности компетенций. Эти тенденции нашли свое отражение в создании новых форм тестовых заданий и инновационных измерителей.

Наряду с заданиями с выбором ответов, стали использоваться формы, позволяющие экзаменуемым самостоятельно конструировать ответ и приводить его в произвольном виде в специальном бланке. Для проверки результатов выполнения таких заданий приходится привлекать экспертов, оценочные суждения которых проводятся на качественном уровне. Вместе с тем наличие заданий с выбором предполагает количественный уровень измерений. Таким образом, современная практика тестирования в России основывается на новой методологии измерений, позволяющей сочетать данные на количественном и качественном уровнях измерений, учитывая в том числе и данные анкетирования или результаты собеседования, например, при приеме в вузы, аттестации школ, педагогических кадров и т.д.

Для отражения идеи совмещения количественных и качественных уровней измерения в наши дни отечественные ученые ввели представление о бипарадигмальной методологии, под которой следует понимать систему принципов, способов функционирования и форм научной организации теоретической и практической деятельности в условиях сочетания количественных и качественных уровней измерений, а также учение об этой системе, закладывающее научный базис интеграции результатов измерений различных уровней при их шкалировании и использования в образовании [10].

Второе новое понятие, возникшее в научных трудах наших современников, – бипарадигмальные модели измерения, которые включают совокупность предположений, структурных связей, методов, методик, требований, показателей качества, определяющих функционирование и развитие всех компонентов процесса и средств измерения в условиях сочетания количественных и качественных подходов к измерению [Там же]. Понятие «модель измерения» необходимо дифференцировать от другого, близкого по смыслу – «метод измерения», отличающегося от первого по степени обобщенности и полноты включения компонентов измерения. Модель измерения представляет собой общую структуру, охватывающую не только количественные и качественные методы измерения, но и разработку измерителей, проведение тестирования или другие формы сбора данных, формирование выборочных совокупностей обучаемых для калибровки измерителей или сбора репрезентативных данных, анализ данных, их сопоставление и т.д. По форме представления бипарадигмальные модели могут носить не только описательный характер, но и включать математические модели IRT, методы факторной композиции измерителей и другие математико-статистические методы, используемые для разработки тестов и применения данных тестирования при оценивании качества образования.

Типология бипарадигмальных моделей измерения, охватывающая практически весь спектр задач, решаемых при оценивании качества образования, приводится на рис. 2.9.

Рис. 2.9. Типология бипарадигмальных моделей измерения

Педагогические измерения, основанные на бипарадигмальной методологии, могут включать сочетание и взаимное влияние качественных и количественных подходов на всех стадиях: в рамках планирования измерения, на стадии сбора данных и при анализе данных для формулировки выводов и их интерпретации для нужд управления качеством образования.

Бипарадигмальные методы измерений должны строиться с учетом принципа минимакса и контроля, объединяющего три компонента, которые регламентируют процесс измерений и доминируют в различной степени в зависимости от уровня и стадии измерений. На количественном уровне измерений преобладающим будет первый компонент, содержащий требование максимизации дисперсии наблюдаемых результатов измерения, но не снимающий и не ограничивающий влияние двух других компонентов. Реализация этого компонента означает обеспечение максимального дифференцирующего эффекта измерений для выявления всех значимых различий между оценками конструктов.

Второй компонент, предполагающий минимизацию дисперсии ошибочных компонентов, является наиболее важным на качественном уровне измерений, когда резко возрастает влияние субъективных факторов. Минимизация ошибочного компонента дисперсии на количественном уровне обеспечивает возможность повышения надежности измерения за счет уменьшения влияния случайных ошибок.

Выполнение третьего требования к измерениям означает систематическое осуществление контроля внешней дисперсии, привнесенной посторонними факторами, внешними по отношению к измеряемым переменным, но оказывающим на них значимое неустранимое влияние. Примеры, подтверждающие важность осуществления контроля внешней дисперсии, можно часто встретить в мониторинге, где нередко встречаются случаи неправильной или упрощенной интерпретации данных и проведения обследований без учета дополнительных факторов, например социально-экономических, значимо влияющих на результаты образовательной деятельности.

В целом, контроль внешней дисперсии означает, что необходимо устранить, если это возможно, влияние всех посторонних переменных на оцениваемые конструкты. Если прямое устранение невозможно, то посторонние переменные должны находиться под контролем, и процесс их влияния на измеряемые переменные должен быть управляем.

Проведение оценивания предполагает определенную последовательность получения количественных и качественных данных, собираемых на основе различных дизайнов измерения. Среди многочисленных возможных схем измерений при сочетании количественных и качественных уровней выделяют два основных дизайна, получивших название последовательного и параллельного. В последовательном дизайне качественные измерения сменяют количественные либо, наоборот, вначале идут количественные измерения. При параллельном дизайне количественные и качественные измерения ведутся одновременно с последующим объединением данных на основе единой методологии измерения.

Зачастую количественные и качественные результаты, полученные при одновременном измерении, в процессе анализа подвергаются сопоставлению для повышения обоснованности управленческих выводов. Например, при инспектировании школы можно разработать тест для учителей, содержащий задания с выбором ответов относительно процессов модернизации, происходящих внутри школы. Одновременно те же вопросы, но в форме устной беседы, можно задать администрации школы, используя протокол интервью с открытым форматом. Анализ количественных данных тестирования и качественных, полученных в процессе интервью, позволяет найти точки соприкосновения или расхождения мнений.

В целом, возможны многочисленные схемы измерения, строящиеся на вариации количественных и качественных этапов оценивания изучаемых переменных и применяемые на различных уровнях агрегирования данных измерения. Для бипарадигмальных методов измерения, предполагающих сочетание количественных и качественных подходов, можно предложить определенную типологию схем взаимодействия уровней измерения, приведенную на рис. 2.10–2.13.

Рис. 2.10. Первая схема реализации бипарадигмальных методов измерения

Первая схема (рис. 2.10) указывает наиболее нежелательный путь с точки зрения корректности последующих управленческих решений, но она жизнеспособна в силу простоты и распространена в практике. Измерение начинается с качественного сбора данных и их последующего анализа, который предваряет этап перевода качественных данных в некоторые числовые символы, носящие условный характер и обычно выражающие отношение порядка по измеряемой переменной. Количественная интерпретация полученных числовых символов, их упорядочение, рейтингование и вычисление ранговой корреляции входят в число возможных преобразований, с помощью которых качественные данные переводятся в удобную шкалу и используются в управлении качеством образования.

Примеры реализации первой схемы довольно многочисленны. Они сплошь и рядом встречаются в повседневном контроле знаний студентов, когда преподаватель выставляет оценки во время устных опросов или традиционных контрольных работ без применения тестов, а затем подвергает баллы студентов в четырехбалльной шкале количественной интерпретации, сравнивая результаты. В ЕГЭ примером количественной интерпретации качественных результатов может служить обработка данных экспертов по результатам проверки заданий КИМ со свободно конструируемым ответом на основе моделей IRT и последующее представление результатов выпускников в метрической шкале.

Вторая схема, приведенная на рис. 2.11, соответствует случаю, который довольно часто встречается в практике образования, поскольку любые результаты тестирования всегда подвергаются качественной интерпретации для объяснения количественных результатов измерения.

Рис. 2.11. Вторая схема реализации бипарадигмальных методов измерения

Результаты измерений могут использоваться в самых различных целях: например, для принятия управленческих решений в учебном процессе, связанных с усилением акцентов на отдельных разделах учебной программы, выделением дополнительного времени для повторения и так далее либо для осуществления диагностики пробелов в обучении, отбора студентов со специальными целями (обучение по индивидуальным программам и т.д.), проведения аттестации, оценки эффективности деятельности учебных заведений, планирования образовательной политики. Однако вне зависимости от сферы использования количественные данные должны пройти этап качественной интерпретации, чтобы стать информационной основой любых управленческих решений в образовании.

Особенно важны качественные методы в том случае, когда тесты разрабатываются на основе критериально-ориентированного подхода, позволяющего качественно интерпретировать количественные результаты тестирования при аттестации (процент освоенного содержания обучения) по отношению к содержательной области, включенной в тест и снабженной определенными критериями выполнения (см. Основные подходы к разработке измерителей). Вначале балл каждого студента подсчитывается путем перевода в проценты доли правильно выполненных заданий по отношению к общему числу заданий теста. Затем полученный для каждого студента процент сравнивается со стандартами выполнения – критериями, установленными экспертным путем и прошедшими эмпирическую валидизацию в процессе конструирования теста. Таким образом, в самом критериально-ориентированном подходе заложена идея качественной интерпретации с использованием конкретной области содержания и участием экспертов для выбора критериев выполнения тестов.

Третья и четвертая схемы, приведенные на рис. 2.12, кажутся подобными первым двум, хотя речь идет не о последующей интерпретации, расширяющей возможности количественных или качественных методов измерения, а об объединении методов в рамках последовательного дизайна в едином измерительном процессе.

Рис. 2.12. Последовательный дизайн реализации бипарадигмальных методов в измерении (схемы 3, 4)

Последовательный дизайн имеет отличающиеся по времени выполнения уровни измерения, поэтому его можно назвать двухстадийным. На верхней схеме качественные методы измерения предшествуют количественным, что соответствует практической ситуации, когда анкетирование предваряет тестирование по заданиям с выбором ответов. На нижней схеме ситуация полностью противоположна: студентов сначала тестируют, а затем собирают дополнительную информацию на основе анкет, опросных листов или собеседований для углубленного анализа данных тестирования и расширения возможностей интерпретации при использовании результатов измерений в управлении качеством образования. Обе схемы на рис. 2.12 предполагают анализ взаимного влияния данных качественного и количественного уровней, когда результаты тестирования пытаются соотнести с социально-экономическими, демографическими или другими факторами для корректного сопоставления количественных данных и получения долгосрочных прогнозов в управлении качеством образования.

Последний вариант взаимодействия количественных и качественных методов педагогических измерений, представленный на рис. 2.13, иллюстрирует параллельный дизайн, примером которого могут служить КИМ ЕГЭ, в которых сочетаются задания с выбором и со свободно конструируемым ответом. Вне практики ЕГЭ параллельный дизайн мало распространен в отечественном образовании, так как экспертная проверка заданий со свободно конструируемыми ответами довольно затратное мероприятие, требующее привлечения специально обученных экспертов.

Рис. 2.13. Параллельный дизайн реализации бипарадигмальных моделей в измерении (схема 5)

Соотнесение предлагаемых схем дизайна измерений с типологией бипарадигмальных моделей (см. рис. 2.9) позволяет дать расширенную интерпретацию предложенной на упомянутом рисунке классификационной схемы, которая выстроена в соответствии типами различных задач, решаемых в обучении на всех образовательных уровнях. Классификация моделей охватывает диапазон управленческих проблем от повседневного процесса обучения до выработки отдельных административных решений. Предполагается, что с помощью информации, полученной на основе бипарадигмальных моделей измерения, можно принять целый спектр управленческих решений в учебном процессе (построить индивидуальные обучающие траектории, усилить акценты на отдельных разделах учебной программы, выделить дополнительное время для повторения, придерживаться учебного плана и т.д.), осуществить диагностику пробелов в обучении, произвести отбор студентов со специальными целями, провести аттестацию, оценить эффективность инноваций в обучении, скорректировать образовательную политику и т.д.

В частности, в соответствии с классификацией задач (вход в обучение, текущий процесс, завершение определенного периода учебного процесса), решаемых с помощью измерений, можно выделить три основных типа бипарадигмальных моделей измерения и представить их основное назначение в обучении. Естественно, что каждый тип модели допускает использование и количественных, и качественных методов, поэтому с определенной степенью общности в типологической схеме можно говорить лишь о доминанте тех или иных уровней измерения.

В первой модели входных измерений доминируют количественные методы в соответствии со схемой 2, поскольку при начале обучения в основном, но не всегда, используют методы экспресс-диагностики, реализуемые с помощью претестов (предварительных тестов) с заданиями на выбор правильного ответа, результаты которых подвергаются качественной интерпретации [28, 39]. Благодаря кратким заданиям, обычно с двумя или тремя ответами, среди которых один верный, претесты позволяют с высокой эффективностью выявить готовность к усвоению новых знаний у всех студентов.

По результатам выполнения претеста преподаватель принимает управленческое решение о возможности продвижения по программе обучения или отказа от новых тем и повторения базового материала. Претесты работают также на режим индивидуализации обучения, поскольку помогают выделить тех, кто нуждается в дополнительной работе и консультациях педагога либо, наоборот, кто способен двигаться быстрее по индивидуальной программе обучения с максимальным развивающим эффектом. Применение данных входного измерения в адаптивном тестировании при контроле или обучении позволяет оптимизировать подбор трудности заданий с первых шагов продвижения студента по адаптивному тесту.

Модель текущих измерений ориентирована преимущественно на качественные методы в соответствии со схемой 1, поскольку в повседневном учебном процессе преобладают традиционные контрольно-оценочные средства: опросы, контрольные работы и так далее, результаты выполнения которых нередко подвергаются количественной интерпретации. Даже в тех случаях, когда для решения задач текущего контроля разрабатываются корректирующие и диагностические тесты, измерения носят качественный характер. Хотя тесты первого вида, как правило, являются критериально-ориентированными и в основном включают задания с выбором ответов, их результаты никогда не обрабатываются с помощью современной теории IRT, поскольку их применение полностью нацелено на дифференцированный подход к обучающимся при коррекции пробелов в усвоении. С помощью корректирующих тестов можно найти слабые места в подготовке студентов и выявить направления индивидуальной помощи им в освоении нового материала.

Логика критериально-ориентированного подхода при корректирующем тестировании достаточно проста и привычна для педагога. В тех случаях, когда число ошибок в тестах превышает установленный критерий, преподавателю следует вмешаться в процесс усвоения новых знаний и помочь учащемуся ликвидировать пробелы. При обычных условиях вся работа по выявлению пробелов и коррекции процесса усвоения лежит на преподавателях, что приводит к значительным перегрузкам. Благодаря корректирующему тестированию центр тяжести в работе педагога при управлении процессом усвоения новых знаний смещается на тесты.

Если затруднения студента при выполнении заданий по какому-либо разделу учебного материала носят систематический характер, то педагог может прибегнуть к помощи диагностических тестов, которые предоставляют информацию исключительно на качественном уровне измерений. Основная цель диагностики – установление причин пробелов в знаниях студентов – достигается специальным подбором содержания заданий в тестах. Как правило, в них бывают представлены слабо варьирующие по содержанию задания, рассчитанные по форме представления на отслеживание отдельных этапов выполнения каждого задания теста. Подробная детализация позволяет выявить причины устойчивых ошибок студентов, конкретизировать характер возникающих затруднений и получить качественные выводы о несформированности тех или иных учебных умений.

Информация управленческого характера, которую получает преподаватель после применения диагностических тестов, довольно подробна и непосредственно увязывается с планируемыми задачами обучения. Например, по результатам диагностики можно установить, что одни пробелы в подготовке вызваны неумением обучаемого применять на практике полученные им теоретические знания, а другие – неумением переносить теоретические знания на новую нестандартную ситуацию и т.д. Поэтому диагностические тесты позволяют педагогу определить истинные источники постоянных неудач отдельных студентов в обучении и скорректировать свою работу соответствующим образом.

Модель итоговых измерений носит преимущественный количественный характер и строится на основе последовательного или параллельного дизайна, сочетания количественных и качественных методов. Для ее реализации, протекающей согласно схемам 3, 4 и 5, чаще всего применяют итоговые тесты учебных достижений. Поскольку основная цель итогового тестирования – обеспечение объективной оценки результатов обучения и ее последующее использование для принятия административных управленческих решений в образовании, то при оценивании стараются применять количественные методы измерения и стандартизованные тесты. По этим же причинам итоговому тестированию стараются придать независимый характер и привлекают к его проведению структуры, внешние по отношению к учебным заведениям. Примером независимого итогового тестирования в России является ЕГЭ, тестирование при аккредитации вузов и т.д. Разработкой и стандартизацией итоговых тестов, результаты которых используются для административных решений, обычно занимаются специалисты, прошедшие специальное обучение методике конструирования педагогических тестов.

Для обработки данных в модели итоговых измерений обычно обращаются к теории IRT, особенно в тех случаях, когда данные измерения применяются для сопоставления эффективности работы учебных заведений или прогнозирования тенденций в образовании на основе мониторинговых исследований. Применение IRT позволяет перевести результаты измерений в метрическую шкалу, что существенно повышает обоснованность выводов в процессе управления качеством образования. На фоне количественных методов в модели итоговых измерений широко применяются анкетирование, собеседование и другие методы сбора качественных данных. Для повышения обоснованности выводов относительно итоговых результатов обучения привлекаются данные портфолио или результаты по тестам практических умений, позволяющие перевести результаты измерения только в порядковую или номинальную шкалу.

Выводы

Процесс педагогических измерений состоит из совокупности операций, направленных на компоненты измерений и позволяющих получить количественные или качественные оценки оцениваемых характеристик.

В отличие от традиционных оценочных средств измерители являются объектом специального анализа, направленного на обеспечение необходимых характеристик для повышения надежности и валидности результатов измерений. Особенно важно такое обоснование качества измерителей при итоговом контроле, результаты которого связаны с принятием важных административных решений, например, при аттестации выпускников или оценке эффективности деятельности учебных заведений.

При аттестации объектом измерения являются знания, умения навыки и компетенции, нередко называемые обобщающим термином «учебные достижения», структура и уровень сформированности которых сравнивают с требованиями ФГОС.

Надежность, валидность и размерность – три взаимосвязанные характеристики качества результатов измерений. Задание является одномерным, если оно измеряет одну и только одну переменную. Размерность задания равна числу переменных, которые оно измеряет. Анализ размерности результатов измерения, основанный на исследовательском и конфирматорном факторном анализе необходим при разработке оценочных средств в рамках компетентностного подхода к трактовке качества результатов образования.

При разработке тестов и переходе к шкалированным показателям испытуемых желательно пользоваться методами современной теории тестов (IRT), позволяющей преобразовать сырые баллы студентов в интервальную шкалу, единую для оценок параметров испытуемых и трудности заданий теста.

Классическая теория тестов и рекомендованные в ее рамках линейные преобразования сырых баллов повышают сопоставимость результатов студентов, но не меняют природу порядковой шкалы наблюдаемых результатов выполнения теста. Стандартизованные тесты, разработанные на основе классической теории, не позволяют перевести результаты испытуемых в интервальную шкалу.

Практические задания и вопросы для обсуждения

1. Какие компоненты педагогических измерений вы знаете?

2. Чем результаты оценивания качества подготовленности студентов, полученные на основе педагогических измерений, отличаются от результатов традиционных экзаменов?

3. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.

4. Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?

5. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?

6. Эффективно ли использовать диагностические тесты без корректирующих тестов?

7. Следует ли подвергать стандартизации тесты для текущего контроля?

8. Можно ли использовать тесты, стандартизованные в одном вузе, с теми же нормами для всех вузов по данному направлению подготовки?