Эвалюация в образовании

Термин «эвалюация» (в англоязычной литературе – evaluation) не распространен в отечественной педагогической науке, хотя он широко используется в большинстве зарубежных стран, имеющих высокоразвитые системы управления качеством образования. Впервые этот термин появился в литературе на русском языке в 2001 г., когда авторы книги «Педагогическое образование в университете: контекстно-биографический подход» попытались проанализировать трактовку понятия «эвалюация» с опорой на работы немецких ученых и педагогов [6]. Современная трактовка этого термина в образовании не отождествляет его исключительно с процессом получения оценок, как можно решить по результату прямого перевода (evaluation – оценка, оценивание), а рассматривает его гораздо шире, считая эвалюацию интегративной категорией оценочно-аналитической деятельности в различных проектах по управлению качеством образования [10].

За рубежом научный термин «эвалюация» получил распространение в конце 60-х – начале 70-х гг. XX в. и использовался сначала при анализе результативности экспериментальной деятельности на основе изучения эмпирических данных в социальных науках. За годы существования понятие «эвалюация» приобрело различные оттенки и определения. Иногда эвалюацией называли проверку эффективности осуществленной деятельности и степени ее соответствия поставленным целям. В других случаях она рассматривалась в контексте рационально-критического осмысления социально-педагогической значимости целей образовательной деятельности и сочетала контрольные функции с критическим анализом эмпирического опыта на фоне прогнозирования тенденций развития образовательного процесса, включая разработку и обоснование процедур оценивания качества и всех его компонентов. Под эвалюацией понимали также систематическое оценивание всех аспектов обучения и воспитания, включающее совокупность методов корректировочных воздействий для повышения качества образования. Иногда ее связывали с процессом развития образовательных учреждений, дискуссиями о качестве образования, разработкой программ развития школ. В этом случае эвалюация рассматривалась как инструмент самоуправления, самоорганизации, проектирования и развития школьной жизнедеятельности. В последнем контексте данные эвалюации предоставляли учителям возможность осуществлять рефлексию профессионального поведения, школьной администрации – контролировать и анализировать деятельность образовательного учреждения, родителям – выявлять индикаторы объективного и субъективного имиджа школы, органам управления образованием – принимать обоснованные управленческие решения.

Современному пониманию этого термина наиболее адекватна трактовка, при которой в понятие «эвалюация» вкладывается весь спектр теоретико-методологических и практических работ по систематическому исследованию качества результатов и процесса образования, анализируемых на основе единой методологии, сочетания количественных и качественных методов для отслеживания характера и динамики изменений оценок по совокупности показателей качества, учета влияния факторов, в том числе находящихся вне сферы влияния системы образования.

В предлагаемой трактовке понятие «эвалюация» охватывает множество направлений систематических исследований, проводимых в рамках различных образовательных проектов и программ, эффективность реализации которых вместе с эффективностью осуществления самих оценочных процессов также подвергается многоплановому оцениванию. Таким образом, эвалюация в образовании является интегративным понятием, которое включает все направления оценочно-аналитической деятельности. Процесс эвалюации охватывает постановку целей, определение методологического подхода (как правило, с опорой на динамические методы анализа изменений характеристик обучаемых в условиях сочетания количественных и качественных методов измерения), разработку логических и математических моделей проведения процесса эвалюации, разработку дизайна исследования, выбор методов сбора и анализа информации (как правило, с преимущественным использованием аппарата педагогических измерений и статистических методов, не исключающих широкого применения качественных экспертных оценок), разработку инструментария, сбор эмпирической информации, обработку, анализ и интерпретацию данных эвалюации для принятия управленческих решений в целях повышения качества образования. Таким образом, эвалюация понимается как спектр различных направлений анализа процесса и результатов образования, обеспечивающий по совокупности научно-обоснованные решения для управления его качеством.

Хотя методологические основы эвалюации в наше время строятся на сочетании количественных и качественных методов, тем не менее центральное место в научном аппарате отводится теории педагогических измерений, поскольку качественные данные также подлежат анализу для выявления их надежности и валидности, а инструментарий разрабатывается с применением математико-статистических методов.

Так как эвалюация сформировалась на стыке педагогики, психологии, экономики, менеджмента и других наук, то ее теория носит явный междисциплинарный характер. Применение количественных методов в эвалюации требует использования математики, статистики, дисперсионного, факторного анализа и метаанализа и т.д. Теория управления качеством образования привносит синергетический и процессный подходы к анализу эмпирических данных в эвалюации. При использовании качественных методов сбора информации привлекаются эксперты, применяются анкеты и интервью. Теория генерализации, используемая в эвалюации для анализа точности данных на различных уровнях применения, непосредственно смыкается с теорией решений, относящейся к сфере менеджмента. Интерпретация данных эвалюации и постановка проблем предполагает обращение к аппарату педагогики и психологии. Оценивание эффективности деятельности образовательных учреждений обычно включает анализ соотношения финансовых затрат на образование и их отдачи, поэтому при рассмотрении вложений и реализации средств используются различные стоимостные модели и количественные методы анализа социально-экономических объектов. Связь эвалюации с менеджментом качества образования неизбежно влечет за собой применение стандартов качества ИСО 9000 и EQUIS.

Эти тенденции и направления деятельности нашли свое отражение во многих странах с высокоразвитыми системами образования. В США, Канаде созданы ассоциации оценщиков: American Evaluation Association (AEA) и Canadian Evaluation Society (CES), объединяющие педагогов, управленцев и других работников социальной сферы из разных стран мира. Проводятся ежегодные конференции по эвалюации, издается научная литература, энциклопедии и журналы по проблемам эвалюации в образовании, политике, медицине и т.д. Эвалюация является необходимым слагаемым современных образовательных систем, без которого нельзя решить многие современные проблемы образования. Она обеспечивает информацию о соответствии результатов обучения образовательным целям, позволяет прогнозировать различные, в том числе негативные, последствия модернизации программ обучения или образовательных инновационных проектов, которые могут оказывать различное влияние на качество образования.

Теоретики выделяют два уровня проведения эвалюации, охватывающие реализацию программ образовательных исследований, или модернизации образования и отдельные проекты. Под программой понимается единый скоординированный научный подход к исследованию области образования, включающий различные частные проекты, связанный с миссией учебного заведения и базирующийся на общей методологии выполнения исследовательских работ. Проекты нацелены на специфические исследования в образовании, входящие в программу и обеспечивающие в совокупности реализацию программных целей. Поэтому за рубежом в управлении качеством образования нередко используются термины «программная эвалюация» и «проектная эвалюация».

Применительно к уровню отдельного образовательного учреждения обычно говорят о формирующей (formative) и итоговой (summative) эвалюации. Цель первой состоит в оценке и анализе входных и текущих данных процесса обучения, включая информацию о соответствии хода образовательных проектов плановым характеристикам для информационно-аналитической поддержки оперативных административных решений. Данные формирующей эвалюации бывают направлены, главным образом, на повышение эффективности работы преподавателей с наиболее слабыми, неуспевающими студентами или учениками, нуждающимися в индивидуальных программах обучения. Наряду с тестами, в формирующей эвалюации широко используется инструментарий для сбора качественных данных. Итоговая эвалюация нацелена на оценку качества достигнутых результатов образования в рамках полностью осуществленных проектов и предназначается для принятия стратегических управленческих решений в образовании. Поэтому при проведении итоговой эвалюации ужесточаются требования к надежности, валидности и сопоставимости информации о качестве образования, что достигается обеспечением репрезентативности выборки обучаемых, высокого качества измерителей, используемых при сборе данных, приоритет среди которых отдается стандартизованным тестам.

Процессы итоговой и формирующей эвалюации проходят определенные этапы. К ним обычно относят шесть стадий:

1) построение концептуальной модели исследования в рамках программы или проекта;

2) идентификацию ключевых пунктов процесса эвалюации;

3) определение измеримых результатов эвалюации;

4) разработку модели проведения эвалюации;

5) сбор данных путем проведения измерений, анализ данных измерения;

6) интерпретация данных анализа для получения оперативной и прогностической информации об изменениях в качестве образования.

При отсутствии одной из стадий, каждая из которых является очень важной для получения надежной и валидной информации о качестве образования и путях его повышения, эвалюация не будет вносить существенный вклад в принятие обоснованных управленческих решений в образовании.

В основе эвалюации должна лежать концептуальная логическая модель, которая охватывает все этапы и устанавливает связи между ними, включая описание процессов взаимодействия компонентов эвалюации и планируемые формы представления данных в области краткосрочных и долгосрочных результатов. Типичная модель строится в рамках процессного подхода к управлению этапами эвалюации и имеет структуру, представленную на рис. 1.13.

Рис. 1.13. Общий вид модели эвалюации

В развернутом виде модель включает проект выполнения работ, являющийся частью общей программы исследований в образовании и содержащий постановку приоритетных задач управления качеством образования, характеристики входных данных эвалюации, описание различных источников финансирования, информационных и ресурсных потоков, обеспечивающих поддержку проекта. Помимо этого, в нее входит описание методологических основ измерения, инструментария, данных мониторинга, технологий сбора данных о качестве образования и требования к процессам сбора данных вместе с характеристиками подходов к обработке, анализу и интерпретации данных о качестве образования. Завершающая часть модели предназначается для описания выходных данных, подразделяющихся в соответствии с оперативными и стратегическими задачами управления качеством образования. В целом логическая модель идентифицирует все составляющие и показывает связи между процессами, протекающими при эвалюации.

Область результатов эвалюации оперативного характера должна охватывать рекомендации по совершенствованию образовательных программ, оптимизации методик преподавания, развитию системы повышения квалификации преподавательского состава учебных заведений и т.д. Стратегические результаты эвалюации включают рекомендации по тем изменениям в образовании, которые носят долгосрочный характер и рассчитаны на ближайшие годы. К ним могут относиться проекты по инновациям, модернизации учебных планов и программ, влекущие за собой изменения в статусе или структуре учебных заведений и т.д. В соответствии с современными взглядами многие команды управленцев в образовании предпочитают преимущественную ориентацию на долгосрочные результаты, связанные с задачами стратегического управления. Особенностью такого подхода является движение сверху вниз, когда конкретные количественные, реже качественные, но однозначно интерпретируемые показатели стратегического характера выступают в роли целевых критериев реализации данных эвалюации при принятии оперативных управленческих решений.

Возможность эффективного осуществления процесса эвалюации тесно связана с проблемой измеримости показателей качества образования, поскольку при оценивании изменений качества процесса и результатов образования необходимо обращение к теории педагогических измерений для обеспечения высокой надежности и валидности результатов оценки. Кроме слабой операционализируемости показателей качества, на достоверность данных эвалюации может негативно влиять отсутствие должной мотивации участников этого процесса, недостаточная репрезентативность выборки учащихся, недоработки по обеспечению логической корректности заданий, слабая устойчивость оценочных шкал, препятствующая сопоставлению результатов оценочных процессов, отсутствие условий для независимой работы экспертов при проверке результатов выполнения тестов с развернутыми ответами или других оценочных средств и т.д.

Можно считать, что становление и развитие эвалюации в образовании в наши дни – неизбежное следствие современных глобальных перемен XXI в., когда функции, методы процедуры и технологии менеджмента широко внедряются в различные направления профессиональной деятельности, в том числе и в образование. Современная парадигма теории управления, включающая системный подход, стратегическое управление, управление развитием социально-экономических систем, мониторинг и бенчмаркинг, во всем мире постепенно входит в образование, позволяя управлять нововведениями, качеством образования, оценивать риски принятия управленческих решений, эффективно распределять человеческие ресурсы и внедрять новые информационные технологии в образование.

Выводы

Таким образом, сегодня качество становится основным фактором, определяющим приоритеты прогресса в высокоразвитых странах мира во всех сферах жизнедеятельности, в том числе и в образовании, являющемся источником развития производительных сил общества и формирования человеческого капитала государства. Актуальность проблем повышения качества образования носит вечный характер, поскольку именно ему отводится ведущая роль в обеспечении воспроизводства необходимой квалификации населения, уровень образованности которого – залог успешного развития общества и экономики, повышения национальной безопасности и общего потенциала каждой страны.

Несмотря на непреходящий характер, проблема качества образования приобретает особую актуальность в наши дни в силу ряда причин, к которым можно отнести рост зависимости темпов развития общества от уровня образованности населения, нарастающую информатизацию всех уровней жизнедеятельности, развивающуюся глобализацию в сочетании с интернационализацией образования, переход от интенсивных методов развития образования к экстенсивным, повышение доступности образования на основе новых информационных технологий, модернизацию образования. Процесс модернизации образования, проходящий в условиях изменения содержания его гуманитарной составляющей, смещения акцентов в естественнонаучной базе, формирования новых взглядов на процесс обучения и его результаты, выдвигает новые требования к подготовке выпускников учебных заведений, благодаря которым проблема повышения качества образования приобретает политический и социальный характер.

Подводя итоги и сравнивая опыт России с опытом других стран, можно сказать, что на смену преимущественной констатации состояния качества образования по результатам оценочных процессов приходят инновационные методы долгосрочного прогноза и анализа тенденций в изменении качества образования. В связи с этим приоритет получают оценки изменений по совокупности показателей качества образования, накопление этих оценок в системах мониторинга, методы статистического анализа данных мониторинга с учетом многочисленных внутренних и внешних факторов влияния на результаты образования. Результаты оценочных процессов широко интерпретируются, что позволяет учебным заведениям, управленцам, администрации учебных заведений и преподавателям выбирать перспективные направления коррекции процесса обучения для повышения качества образования.

Во многих вузах ведутся целенаправленные систематические работы по созданию систем менеджмента качества. В нормировании требований к качеству образования главенствующее значение приобретает компетентностный подход, предполагающий четкую ориентацию совокупности компетенций на задачи будущей профессиональной деятельности выпускников учебных заведений и привлечение представителей профессиональных сообществ к оцениванию качества результатов образования, что способствует ориентации процесса управления качеством образования на реальные запросы современного общества.

Процесс управления качеством образования предполагает целенаправленную деятельность по реализации целей и координации действий всех составляющих образовательной системы, его субъектов для достижения планируемых результатов обучения. Информационное обеспечение процесса управления достигается на основе развития современных контрольно-оценочных систем, обеспечивающих надежную, валидную и сопоставимую информацию о качестве образования и опирающихся на аппарат теории педагогических измерений. Результаты измерения являются научной основой для распознавания, анализа, функционирования, развития, прогнозирования и совершенствования систем управления качеством образования.

Для эффективного управления качеством образования необходимо сформировать системный подход, который должен опираться на разработки в области эвалюации. Результаты эвалюации оперативного и стратегического характера позволят получить обоснованные рекомендации по тем системным изменениям в образовании, которые будут опираться на различные проекты по инновациям в образовании и предназначаться для различных уровней, начиная от задач макроуровня до управления качеством в отдельном учебном заведении или в каждой учебной группе. Реализация комплексного подхода к использованию результатов эвалюации в управлении качеством образования должна включать динамический, сравнительный, дифференцирующий и прогностический анализ данных измерений и регламентироваться рядом научных требований к характеристикам информационной базы, учету смещающих факторов, процедурам сбора, обработки, анализа и интерпретации данных измерения. К этим требованиям следует отнести применение в осмыслении результатов измерения базисной методологии управления качеством, высокую надежность и валидность результатов измерения, широкое использование динамического подхода при оценивании качества обучения, учет всех факторов, влияющих на качество результатов обучения и обеспечение сопоставимости оценок качества образования.

Практические задания и вопросы для обсуждения

1. Назовите политические и социальные тенденции, которые приводят к резкому возрастанию актуальности проблем качества образования, поиску новых подходов к повышению эффективности управления образовательными системами.

2. В чем причины появления компетентностного подхода в профессиональном образовании?

3. Какие трудности по внедрению инноваций, компетентностного подхода и проведению болонских реформ вы видите в своем вузе и в целом в системе высшего профессионального образования?

4. Каковы компоненты качества процесса образования?

5. В чем вы видите преимущества динамического подхода к определению качества образования, каковы его недостатки?

6. Каковы требования к качеству государственных образовательных стандартов третьего поколения?

7. В чем различия между традиционным оцениваем и педагогическим измерением? Назовите основные компоненты педагогического измерения.

8. Назовите основные задачи системы менеджмента качества в вузе.

9. Предложите совокупность показателей качества результатов обучения для студентов своей группы. Проведите анализ факторов, влияющих на результаты обучения и выделите наиболее значимые.

10. Согласны ли вы с тем, что в настоящее время в подготовке студентов важен не объем усвоенных знаний или алгоритмы их воспроизведения по образцам, а ключевые компетенции, творческий подход к решению учебных и жизненных проблем, умения самостоятельно приобретать знания и применять их в нестандартных ситуациях, близких к будущей профессиональной деятельности? Предложите способы и технологии реализации этого подхода к трактовке качества результатов обучения в учебном процессе.

11. Проведите сравнительный анализ трактовок терминов «компетентность» и «компетенции», выделите те, которые наиболее адекватны современным запросам работодателей к качеству подготовки выпускников системы профессионального образования.

12. Проанализируйте обобщенные группы показателей качества результатов образования. Предложите совокупность показателей для вузовской системы мониторинга качества образования.