Инновационные измерители в контексте компетентностного подхода

Современные тенденции в трактовке качества результатов образования, связанные с компетентностным подходом, привели к появлению новых видов итоговых измерителей, выявляющих позитивную динамику изменений подготовленности, активность обучаемых в усвоении знаний, рост их компетентности, степень освоения коммуникативных и интеллектуальных умений. В частности, во многих странах стали использовать портфолио, значительно расширяющие возможности подготовки студентов к прохождению итоговой аттестации благодаря учету новых форм учебных достижений в течение определенного промежутка времени, оценки динамики прироста подготовленности и привлечения внешних источников информации о качестве подготовленности студентов, столь важных в компетентностном подходе.

Под портфолио понимают целевую подборку работ студента, раскрывающую его успехи и достижения в одной или нескольких учебных дисциплинах, оценивание умений самостоятельно решать проблемы различного содержания и проявлять логическое мышление при выполнении законченных практико-ориентированных работ, проектов и набросков, особенно значимых для поставленных целей обучения [9, 23, 32]. Подборка обязательно проводится с участием самого обучаемого и включает его лучшие работы, которые оцениваются на основе четко определенных критериев выставления баллов независимыми экспертами (преподавателями, сокурсниками и т.д.) и сопровождается свидетельствами самостоятельной работы обучаемого.

Сегодня в образовании сложилась определенная типология портфолио, представленная, в отечественных и зарубежных работах (рис. 3.7).

Рис. 3.7. Типология портфолио

Первый вид, известный в зарубежных публикациях под названием «рабочее портфолио», рассматривает подборку работ студента за определенный период времени, показывающую произошедшие изменения в его знаниях. Второй вид – протокольное портфолио – может содержать любые работы, отражающие в форме документов все виды учебной деятельности: от результатов участия в «мозговой атаке» до черновиков готовых работ. Третий вид, встречающийся в зарубежных публикациях – процессное портфолио – отражает достижения студента сообразно документированным фазам процесса обучения. Этот вид портфолио особенно полезен в документировании всего процесса обучения, поскольку может показать, как студент овладевает определенными знаниями и умениями на разных фазах учебного процесса. В дополнение к этому процессное портфолио неизбежно стимулирует формирование мнения студента относительно динамики процесса учения. Четвертый вид – итоговое портфолио – обычно используется для получения суммарной оценки знаний и умений студентов на основе интегрирования оценок, полученных по основным предметам учебной программы. Пятый вид – оn-line портфолио – специфичен, он сложился буквально в последние годы в связи с широким развитием дистанционного обучения [23]. Его структура представлена на рис. 3.8.

Рис. 3.8. Структура on-line портфолио

В общей структуре on-line портфолио можно выделить четыре основных компонента: материалы, подтверждающие достижение студентом основных задач курса; материалы, представляющие собственное видение студентом учебного материала; результаты осмысления проделанной им работы в рамках индивидуального плана; отчет о результатах выполнения завершающего проекта по осваиваемому курсу.

В рамках этой структуры он-лайн портфолио может принимать различные формы. Первая форма может быть создана студентом путем загрузки ряда документов в специально отведенную для этого часть общего сайта курса, предполагающую работу студента по заранее составленному шаблону. Вторая форма портфолио позволяет обучающемуся создать собственную веб-страничку и составить ответы в соответствии с собственным пониманием форм отчета по курсу обучения. Хотя первый из этих двух вариантов, несомненно, легче в освоении и использовании, второй вариант дает студентам больше свободы, позволяет работать более самостоятельно, проявляя в полной мере способности к творчеству по результатам обучения.

Конечно, эффективность использования on-line портфолио, как и их текстовых аналогов, пока не доказана. Их разработка достаточно трудоемка и требует выделения определенных этапов. На начальном этапе работ необходимо проведение планирования, включающего определение целей составления портфолио, его статуса, содержания, средств осуществления и способов оценки учебных достижений обучаемых. Начальный этап составления портфолио предполагает совместную деятельность обучаемых и преподавателей. В частности, рассмотрев необходимые вопросы в начале процесса формирования портфолио, студенты могут понять цель его составления и его статус как средства обеспечения мониторинга и оценки их собственных успехов. Ключевые вопросы для преподавателя и студента должны включать следующее:

• Каким образом я выберу время, материал и тому подобное для отражения того, что изучаю в этой аудитории?

• Как я организую и в какой форме представлю материал, который я собрал?

• Как будет поддерживаться и храниться портфолио?

Как правило, при выборе форм представления материалов портфолио нередко предпочитают аудиовизуальные средства, такие как, например, фотографии, видеозаписи или электронные версии законченной работы студента. Первый этап также предполагает наличие подготовленного студентам письменного обоснования состава работ, включенных в портфолио.

Второй этап предназначен для сбора информации о достижениях студента, включающей значимые материалы и продукты учебной деятельности. Сбор информации и ее композиция могут производиться в соответствии с выбором определенной темы, последовательностью процесса изучения материала или по другим основаниям. Компоновка материала портфолио должна также учитывать критерии и стандарты, выбранные для оценивания результатов работ.

На третьем этапе в портфолио помещаются различные оценочные суждения и мнения относительно результатов выполнения запланированных работ. Характеризуя третий этап, необходимо отметить, что оценки в портфолио фокусируются на самостоятельной работе студентов, проводятся экспертным путем по стандартизованным критериям и включают определение не только уровня владения базовыми знаниями, умениями, но и уровня мотивации к обучению и отношения к учебе.

Для оценивания портфолио используют различные стратегии и критерии при подсчете итоговых баллов студентов, которые должны быть построены на основе совместной деятельности студента и педагога. В частности, критерии по оцениванию портфолио могут отражать:

• качество содержания работ, включая свидетельство того, что студент наблюдает за изменением собственного понимания учебного материала, метакогнитивного мышления и за продуктивной мыслительной деятельностью;

• рост и развитие достижений студента в сравнении с целевыми требованиями к качеству подготовки (например, с требованиями ФГОС или содержанием учебной программы);

• понимание и правильность использования ключевых процессов когнитивной деятельности;

• полноту, правильность и уместность материалов портфолио;

• разнообразие форм предоставления данных портфолио.

Несомненно, портфолио требуют долгих часов преподавательского труда, потраченного не только на разработку, но и на проверку. Несмотря на многие нерешенные проблемы и дополнительные трудозатраты педагогов, преимущества портфолио несомненны.

Портфолио обеспечивает:

• непрерывный процесс отслеживания и оценивания качества учебных достижений для организации внутривузовского мониторинга;

• многомерные представления о различных учебных достижениях и учебной деятельности, связанной с широким спектром задач учебного процесса;

• оценку мыслительной деятельности студента, его междисциплинарных умений, умений постановки проблем, решения нестандартных задач, понимания учебных предметов и овладения соответствующими навыками.

Материалы портфолио при правильном его составлении и использовании очень информативны, поэтому, несмотря на нежелание многих педагогов выполнять дополнительный объем работы, связанной с разработкой и проверкой портфолио, скорее всего, со временем этот вид работы студентов займет свое место в современном учебном процессе.

Рис. 3.9. Кейс-измерители

Второй вид инновационных оценочных средств получил название кейс-измерители, и его ждет интенсивное развитие в связи с введением компетентностного подхода (рис. 3.9) [10, 32]. Кейс-измерители обычно включают специальные проблемные задачи, в которых студенту предлагают осмыслить реальную жизненную ситуацию, отражающую практическую проблему и актуализирующую определенный комплекс профессиональных знаний. Отличительной особенностью такой проблемы является отсутствие однозначных решений, побуждающее студента искать пути оптимизации подходов, анализировать методы решений и аргументировать свой выбор метода. В основном эти измерители предназначены для сопровождения специальных и гуманитарных дисциплин, а не для дисциплин естественнонаучного цикла, где чаще всего существует однозначное решение поставленной перед студентом задачи. Таким образом, есть явные преимущества кейс-измерителей, которые проявляются не везде, а только в задачах, которые имеют решения, соперничающие по степени истинности. Конечно, в первую очередь эти преимущества связаны с возможностью развития творческих способностей студентов, ориентацией на модель конкретной профессиональной ситуации, развитием навыков критического мышления.

При разработке кейс-измерителей в электронном или текстовом виде формируется модель, имитирующая профессиональную ситуацию. Совокупность таких ситуационных моделей называют кейсом. Работа студента над кейсом может проходить как в самостоятельном режиме, так и в сотрудничестве с педагогом и другими студентами с привлечением различного рода аргументов и литературных источников для обоснования собственных доводов и выбора оптимального решения. Несомненным достоинством кейс-измерителей является их важная мотивирующая роль, побуждающая студента к формированию собственных профессиональных позиций и самостоятельному приобретению знаний, формированию умений и навыков мыслительной деятельности, развитию способностей и умению самостоятельно перерабатывать большие массивы информации.

На первый взгляд технология разработки кейс-измерителей довольно проста. Однако эта видимая простота оборачивается значительными трудностями, когда кейс-измерители используются для рубежной или итоговой аттестации студентов и выпускников. В последнем случае важно не просто подобрать ситуационные задания, адекватные проблемам будущей профессиональной деятельности, но и обеспечить надежность и сопоставимость результатов педагогических измерений. Следовательно, при разработке кейс-измерителей для аттестации необходимо статистическое обоснование качества измерений и специальных методов шкалирования результатов студентов, полученных ими при решении заданий кейса. Поскольку речь идет о неоднозначных решениях, оценивание результатов выполнения заданий приходится проводить экспертными методами и разрабатывать стандартизованные методики для работы экспертов. По результатам оценивания строится порядковая шкала, в которой откладываются ранговые баллы студентов.

Новейший вид измерителей, пока находящийся в стадии разработки во всех странах мира, – это компетентностные тесты, ориентированные на современный интегративный подход к оценке качества обучения с позиций прогнозирования дальнейших жизненных успехов студентов [10, 32]. Оценка уровня компетентности, распадающейся на спектр отдельных компетенций, представляет большую сложность. В образовании компетенции представляют интерес многоплановые и многоструктурные характеристики качества подготовки обучающихся, которые вряд ли могут быть в полной мере стандартизованы. Трудность здесь видится в том, что компетентность нельзя трактовать как сумму предметных знаний и умений. Скорее, это приобретаемые в результате обучения новые способности, увязывающие знания и умения со спектром интегральных характеристик качества подготовки, в том числе и со способностью применять полученные знания и умения в решении межпредметных практических задач, в будущей профессиональной деятельности после окончания учебного заведения. В этой связи возникает необходимость создания межпредметных (комплексных) тестов, требующих при оценке подготовленности студентов использования методов многомерного шкалирования и специальных методов интеграции оценок отдельных характеристик подготовки выпускников вузов.

Специалисты рекомендуют разрабатывать компетентностные тесты в рамках критериально-ориентированного подхода, поскольку бессмысленно говорить о численном аналоге уровня сформированности компетенций. Для получения надежных и валидных результатов итоговой аттестации выпускников вузов в рамках компетентностного подхода обычно используют уровневую шкалу, которую в зарубежных работах обычно, называют вертикальной.

Рис. 3.10. Уровневая компетентностная шкала

Основные направления работ по созданию методики корректного измерения при компетентностном подходе связаны с анализом содержательной структуры и трудностей заданий компетентностного теста. Таким образом, процесс построения вертикальной шкалы (рис. 3.10) для каждой компетенции идет двумя путями. С одной стороны, экспертно выделяются планируемые уровни учебных достижений и соответствующие им по содержанию задания под каждый уровень, нуждающиеся в обосновании своей прогностической валидности путем привлечения работодателей. С другой стороны, строится количественная шкала, получающаяся на основании статического анализа результатов выпускников в итоговой аттестации и позволяющая соотнести определенные совокупности заданий по количественным оценкам их трудности с выделенными диапазонами компетентности. Таким образом, для каждого диапазона компетентности определяется фрейм заданий, образующих часть общего компетентностного теста.

На рис. 3.10 показаны минимальный, базовый, промежуточный, продвинутый уровни и уровень высокой компетентности. Этот рисунок приведен в качестве примера использования вертикальной шкалы в международных исследованиях качества образования. При аттестации, по-видимому, вполне достаточно выделения трех уровней компетентности для построения вертикальной шкалы: минимального, базового и высокого.

При интерпретации результатов выполнения уровневых компетентностных тестов возможны различные схемы построения итогового балла испытуемого для принятия аттестационного решения. В одном случае внутри каждого уровня компетентности экспертно определяют критериальный балл, подлежащий обязательной эмпирической валидизации и позволяющий говорить об освоении определенного уровня компетенции в различных диапазонах в том случае, когда балл испытуемого, подсчитанный только по совокупности заданий, относящихся к данному диапазону компетентности, превышает критерий в каждом диапазоне. В другом случае можно сосредоточиться только на одном диапазоне, например диапазоне высокой компетентности, и засчитывать результаты аттестуемых как положительные вне зависимости от освоения ими компетенций на базовом или минимальном уровнях. В третьем случае балл испытуемого можно находить простым сложением результатов по отдельным заданиям компетентностного теста, не задаваясь вопросом о принадлежности заданий отдельным диапазонам компетентности, а затем сопоставлять его с критериальным баллом и принимать решение об аттестации студента.

Конечно, при построении вертикальной шкалы можно использовать не только компетентностные тесты. В этом случае при вертикальном шкалировании важно добиться сопряжения результатов, полученных на различных уровнях измерения при использовании разнообразных оценочных средств и сопряжения количественных диапазонов шкалы с содержательной структурой оценочных средств. Это работа не одного дня, требующая доказательства валидности заданий (содержательной, конструктной, прогностической) статистическими методами и определения оптимальных весовых коэффициентов при интеграции данных по различным измерителям в единой шкале разнообразных оценочных средств.

Компетентностный подход имеет большое будущее для итоговой аттестации, несмотря на всю сложность реализации его на практике. Сегодня, когда в образовательный процесс вовлечены не отдельные представители интеллектуальной элиты, а большие сообщества, возникла насущная необходимость установления связи качества подготовленности выпускников учебных заведений с требованиями сферы предполагаемого употребления результатов труда. Таким образом, сама жизнь выдвигает новые требования как к квалификации педагогов, так и к качеству подготовленности выпускников вузов. В этой связи одним из основных направлений развития современных педагогических измерений становится переориентация на междисциплинарность и полипрофессиональность, присущие современному образовательному пространству.

К числу новых форм измерителей относятся тесты, которые разрабатываются для оценки практической деятельности студентов (Performance assessment). Они позволяют выявить уровень освоения практических навыков с помощью экспериментальных заданий деятельностного характера, по результатам выполнения которых получается некоторый материальный продукт, оцениваемый экспертами по стандартизованной шкале тестовых баллов. Многие из тестов, оценивающих результаты практической деятельности, не выдержали бы никакой критики специалистов тестологов из-за низких характеристик по ряду показателей качества в области педагогических измерений. Тем не менее они имеют высокую очевидную валидность и вызывают большой интерес у студентов.

Анкеты и интервью предоставляют дополнительную информацию о студентах, их окружении и деятельности во внеучебное время, позволяющую обоснованно интерпретировать данные тестирования или результаты применения других современных оценочных средств.

Анкеты относятся к инструментарию, дающему возможность собрать надежные и валидные данные об измеряемых переменных в тех случаях, когда процесс создания анкет проходит определенные научно обоснованные стадии. Вначале осуществляется формулирование проверяемой и нулевой гипотез и решаются проблемы учета всех сопутствующих факторов, влияющих на результаты эксперимента. Затем разрабатывается план исследований, включающих проведение анкетирования, обработку данных, их анализ и интерпретацию в соответствии с планом эксперимента. Разработка структуры анкеты и ее вопросов проводится в строгом соответствии с научно обоснованными требованиями, которые приводятся в многочисленной литературе по проблемам психодиагностики и измерений в социальных науках. Помимо содержания и формы представления вопросов, эти требования охватывают также внешний вид анкет, систему кодировки данных, их анализа и интерпретации.

При проведении анкетирования обычно принимается решение о том, что считать единицей анализа, в процессе которого происходит приписывание каждому респонденту определенного значения по оцениваемой переменной на основе выбранных правил. Обычно в образовании в качестве единиц анализа выступают учащиеся, педагоги или администрация учебных заведений, иногда к участию в анкетировании в качестве респондентов привлекаются родители студентов.

Интервью можно также рассматривать как научно обоснованный метод сбора дополнительных данных о студентах, их родителях или преподавателях. Специалисты различают континуум видов интервью, постепенно меняющихся от неструктурированного и открытого к высоко структурированному и закрытому интервью, требующему от респондентов однозначных ответов в рамках фиксированных форматов. В последнем случае некоторые исследователи склонны считать, что данные интервьюирования носят количественный характер, хотя это ошибочное суждение, поскольку искусственное приписывание чисел ответам респондентов вовсе не тождественно построению метрической шкалы.

Наиболее распространенный способ интервьюирования связан с последовательностью вопросов, поначалу имеющих достаточно общий вид, но постепенно сходящихся к предмету обсуждения. В образовании интервью часто используются при аккредитации учебных заведений, когда беседы с преподавательским составом вузов или администрацией носят общий ознакомительный характер [19]. Аналогичный случай имеет место в процессе ЕГЭ во время инспекционных посещений экзамена представителями других регионов, общественности или Минобрнауки. Для представления данных интервьюирования обычно используются неметрические шкалы Лайкерта, Терстоуна и т.д.

Различные виды инновационных и традиционных оценочных средств, соотнесенные с функциями педагогического контроля, представлены на рис. 3.11. Можно сделать вывод о том, что в настоящий момент на фоне традиционных средств оценивания результатов обучения появились различные новые виды измерителей, ориентированные на современные подходы к оценке качества образования. Разработка этих видов и их использование в управлении качеством обучения являются важными условиями эффективного выполнения всех функций педагогического контроля и повышения качества образования.

Рис. 3.11. Классификационная схема современных оценочных средств

Таким образом, на количественном уровне измерений применяют стандартизованные тесты учебных достижений, содержащие задания с выбором ответов. На качественном уровне измерений широкое распространение получили портфолио, тесты практических умений, кейсы, анкетные обследования и интервью, отвечающие требованиям теории педагогических измерений, в частности требованиям высокой надежности и валидности.

По данным педагогического контроля, организованного с помощью современных оценочных средств, можно осуществлять:

• феноменологический анализ качества процесса и результатов образования, строящийся на анализе данных анкет, интервью и тестовых заданий со свободно конструируемым ответом;

• содержательный анализ программных документов процесса обучения, включающий изучение инструкций, писем, протоколов и пр.;

• аналитическую индукцию, позволяющую связать данные о качестве образования с различного рода инновациями в учебном процессе и получить данные, подтверждающие достоверность и надежность управленческих выводов;

• сравнительный анализ, предполагающий сопоставление данных по однородным группам объектов исследования (студентам, педагогам, вузам и т.д).

Современные оценочные средства позволяют:

• повысить аутентичность результатов итогового контроля;

• создать в процессе текущего контроля условия, адекватные современным технологиям обучения и обеспечивающие развитие компетенций, повышение вариативности и доступности учебных программ для студентов;

• повысить роль самоконтроля, самокоррекции и самооценки в учебной деятельности;

• выбрать общие критерии оценивания, построить стандартизованные интервальные, квазиинтервальные или уровневые шкалы;

• создать эффективную систему вузовского мониторинга качества образовательных достижений;

• перейти к интегральным многомерным итоговым оценкам учебных достижений.