Качество оценивания результатов обучения

Требования к качеству оценивания результатов обучения следуют из базовых принципов Болонского процесса:

1. Сопоставимость и «прозрачность» образовательных программ: их понятность работодателям, студентам, иным вузам и всем заинтересованным лицам.

2. Ориентация на результаты обучения.

Сопоставимость результатов обучения в разных образовательных учреждениях по разным образовательным программам означает сопоставимость компетенций «на выходе», а это в свою очередь подразумевает сопоставимость и «прозрачность» и (не тождественность!) обучающих технологий и способов оценки качества освоения образовательной программы.

Принципы Болонского процесса касаются, прежде всего, системы высшего образования, но, на наш взгляд, могут быть адаптированы к образовательной системе любого уровня.

Вернемся к общей схеме системы управления качеством образования (см. рис. 75).

Рис. 75. Схема системы управления качеством образования

Движущей силой этой системы является потребитель, поскольку все действия в области качества начинаются с него и им же заканчиваются. Потребителем в образовании является обучающийся (студент, учащийся), поэтому он присутствует на входе данной системы с требованиями, формируемые к образованию обучающимся, обществом и государством через образовательный стандарт (ФГОС) соответствующего уровня. Федеральный государственный образовательный стандарт (ФГОС) – социальная норма образования и образованности, разрабатываемая и вводимая в соответствии с Конституцией РФ.

На выходе из системы реализуется цель – удовлетворение потребностей обучающегося и общества через реализацию услуги, поэтому на «выходе» обучающийся присутствует с полученной услугой – приобретенной или повышенной квалификацией, компетенциями, привитыми ему определенными жизненными позициями и ценностями.

Реализация услуги осуществляется в образовательном учреждении (ОУ), которое должно иметь лицензию и быть аккредитованным. Оно должно иметь и соответствующую образовательную среду, в которой функционирует педагогическая система.

Лицензирование дает право образовательному учреждению на проведение образовательной деятельности. Аккредитация образовательного учреждения дает ему право на выдачу документа об образовании государственного образца.

Показатели качества обучения можно разделить на две основные группы:

– показатели, характеризующие качество организации учебного процесса;

– показатели, характеризующие уровень сформированности компетенций обучающихся.

Цели оценки качества образования:

– определить уровень учебных достижений;

– выявить конкретные сильные и слабые стороны в знаниях, умениях и навыках, которыми владеют учащиеся;

– выяснить, имеются ли проблемы с учебными достижениями у тех или иных групп обyчающихся;

– выявить факторы, связанные с учебными достижениями;

– отслеживать динамику учебных достижений.

Возможны два механизма совершенствования системы качества оценивания результатов обучения:

– первый реализуется в педагогической системе; он включает выявление несоответствий и проведение корректирующих или предупреждающих действий преподавателем при реализации педагогической технологии;

– второй механизм заключается в критическом анализе системы в целом в процессе различных ее рассмотрений, прежде всего – в ходе анализа со стороны руководства различного ранга и доработок системы на их основе.

Деятельность руководства и основные моменты плана качества отражены в табл. 15.

Таблица 15

Планирование деятельности в области качества образования

В стандартах ФГОС всех уровней образования за основу принят компетентностный подход, который может быть реализован только в системе «опережающего образования», т.е. в рамках активного образовательного процесса.

Активный образовательный процесс рассматривается как межличностное, диалогическое взаимодействие в системах «обучающий-обучающийся», организуемое в направлении достижения объединяющей их цели – формирования компетенций и переноса акцента с обучающей деятельности преподавателя на познавательную деятельность обучающегося. Достижение этого возможно через реализацию в педагогической системе педагогической технологии.

По определению ЮНЕСКО: «Педагогическая технология – это системный метод создания, применения и определения всего процесса преподавания и усвоения знаний с учетом технических и человеческих ресурсов и их взаимодействий, ставящий своей задачей оптимизацию форм образования».

Рассматривая реализацию педагогической технологии, можно выделить ряд ее основных составляющих:

1) разработка в соответствии с ФГОС педагогических целей обучения и воспитания;

2) структурирование, упорядочение, уплотнение информации, подлежащей усвоению в соответствии с содержанием, устанавливаемом ФГОС;

3) формирование и применение системы средств обучения;

4) применение современных средств оценивания результатов обучения и воспитания;

5) определение и использование оптимальных форм обучения и воспитания, гарантирующих высокий уровень их качества.

Без реализации данных составляющих не может быть педагогической технологии, причем структурирование, упорядочение, уплотнение информации, формирование и применение систем средств обучения, применение современных средств оценивания результатов обучения ложатся на плечи преподавателя, и он отвечает за их реализацию.

Таким образом, перед российской системой образования в ближайшие годы стоит задача – выработать образовательные технологии и научиться формировать оценочные средства, которые позволяют:

– формировать у обучающихся требуемые образовательной программой компетенции;

– проводить объективную комплексную оценку сформированных компетенций.

Каждый преподаватель должен четко представлять себе:

– что означает данная компетенция для обучающихся;

– каким образом используемые им методы преподавания способствуют овладению студентами этой компетенцией;

– какие учебные задания выполняют обучающиеся в целях развития этой компетенции:

– каким образом он оценивает, овладели ли или в какой степени овладели обучающиеся этой компетенцией;

– каким образом узнают обучающиеся, овладели ли, или в какой степени они овладели этой компетенцией, а если нет – то почему они ей не овладели.

Следовательно, реализовать педагогическую технологию невозможно без диагностических функций образования, мониторинг процесса обучения должен осуществляться на протяжении всего процесса учебной деятельности. Кроме того, процесс обучения должен контролироваться не только преподавателем, но и самим обучающимсяпо четким, понятным ему и личностно-значимым критериям. Только при этих условиях можно рассчитывать на возникновение познавательной мотивации и превращение ее в мотивацию профессиональную.

Резюмируя, можно отметить следующее:

– образовательные технологии (способы выработки компетенций) и методы оценки их сформированности (оценочные средства) – неразрывно связанные аспекты обучения;

– формы контроля должны еще более чем раньше, стать своеобразным продолжением методик обучения, позволяя студенту более четко осознавать его достижения и недостатки, корректировать собственную активность, а преподавателю – направлять деятельность обучающегося в необходимое русло.

Оптимальным путем формирования системы качества оценивания результатов обучения в рамках реализации компетентностного подхода является сочетание традиционных методов и средств проверки знаний, умений и навыков и инновационных подходов, ориентированных на комплексную оценку формирующихся компетенций. При этом традиционные средства контроля следует постепенно совершенствовать в русле компетентностного подхода, а инновационные средства, в том числе пришедшие из зарубежной практики или иных образовательных систем (общее и среднее профессиональное образование) адаптировать для широкого применения в российской образовательной практике.

В качестве инновационных средств оценивания результатов обучения рассмотрим следующие педагогические средства:

· Тестирование (с внедрением компетентностного подхода происходит переход от традиционного тестирования к тестированию на основе теории педагогических измерений (психометрии, теории IRT, тестологии).

· Кейс метод (кейс-метод, кейс-стади, метод конкретных ситуаций, метод ситуационного анализа) – техника обучения, использующая описание реальных экономических, социальных и бизнес-ситуаций.

· Портфолио – подборка сертифицированных достижений, наиболее значимых работ и отзывов на них. Основной идеей портфолио как формы и метода оценки результатов обучения студента является смещение акцента с того, что он не знает и не умеет, на то, что он знает и умеет по данной теме и данному предмету; интеграция количественной и качественной оценок; перенос педагогических акцентов с авторитарной оценки на самооценку.

· Мониторинг – специально организованное, систематическое наблюдение за состоянием объектов, явлений, процессов с целью их оценки, контроля или прогноза.

Тестирование. Существуют различные определения теста. Тест – это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии и анализа результатов для измерения качеств и свойств личности, учебных достижений, изменение которых возможно в процессе систематического обучения (А.Н. Майоров).

Тест как инструмент измерения определяется как система заданий (в большинстве случаев возрастающей трудности) специфической формы, позволяющая качественно оценить структуру и эффективно измерить уровень знаний, умений и навыков учащихся (В.С. Аванесов).

Тест как одна из форм контроля имеет существенные отличия:

– содержание теста подвергается четкому планированию, при этом содержательный план теста анализируется экспертами;

– в тестах форма заданий стандартизирована по форме предъявления и по форме записи ответов;

– каждое тестовое задание имеет статистические характеристики;

– могут быть использованы специальные шкалы;

– при использовании тестов можно оценить точность измерения (ошибки измерения).

Существуют различные классификации тестов, исходя из разных оснований. По целям использования тесты подразделяются на:

– входное тестирование, которое обеспечивает проверку знаний и умений в начале обучения;

– формирующее и диагностическое тестирование, которое предполагает контроль за формированием компетенций в процессе обучения;

– тематическое, итоговое, рубежное тестирование обеспечивает определение итоговых достижений;

– оценка остаточных знаний.

По подходу к разработке тестов они подразделяются на:

– нормативно-ориентированный, основной задачей которого является дифференциация испытуемых, т.е. он позволяют сравнивать уровень учебных достижений испытуемых друг с другом;

– критериально-ориентированный, в основе которого лежит сопоставление продемонстрированных знаний и умений испытуемого (правильно выполненные задания) с планируемым объемом знаний и умений, т.е. он служит для определения уровня освоения учащимся содержания какого-либо предмета, дисциплины, раздела, темы.

Сравнительный анализ нормативно- и критериально-ориентированных тестов представлен в таблице (табл. 16).

Таблица 16

Сравнительный анализ нормативно- и критериально-ориентированных тестов

Подводя итоги можно представить следующую классификацию видов тестов (рис. 76).

Рисунок 76. Классификация видов тестов

При проектировании всех видов тестов, а также заданий в системах аттестации и сертификации необходимо руководствоваться какой-либо таксономией, т.к. предложенные обучающимся вопросы и задания должны соответствовать требованиям их уровня обучения, рекомендуемая нами таксономия Б.Блума позволяет определить уровень сложности вопросов тестов, а также способы их формулирования и постановки (табл. 17).

Таблица 17

Требования к построению вопросов тестов

Рассмотрим разновидности тестовых заданий по уровням сложности.

Первый уровень (знакомство) – тесты по узнаванию, т.е. отождествлению объекта и его обозначения: задания на опознание, различение или классификацию объектов, явлений и понятий. Последняя ступень процесса узнавания называется опознаванием. С помощью опознавания человек решает два вида задач:

1. Известно, что объект опознавания принадлежит к некоторому множеству и к тому же множеству принадлежит какой-то другой объект. Необходимо установить, связан ли объект опознавания с данным объектом каким-то определенным отношением (задачи опознавания отношения).

Примеры: Является ли пирамида АВСД правильной?; Эта стена окрашена в зеленый цвет?

2. Известно, что объект опознавания принадлежит к некоторому множеству, и дана некоторая совокупность предметов, принадлежащих к тому же множеству. Необходимо найти тот, с которым опознаваемый объект связан указанным отношением (задачи опознавания объекта).

Примеры: В каком падеже стоит выделенное существительное в предложении: «Мы с приятелем вдвоем очень весело живем»?; Кто изображен на этом портрете?

По способу решения задачи узнавания (опознавания) делятся на два вида:

1) задачи, решаемые с помощью проверки признаков (первые вопросы приведенных примеров). Процесс решения этих задач происходит развернуто во времени;

2) задачи, решаемые путем сравнения с некоторым эталоном (вторые вопросы приведенных примеров). Процесс решения этих задач происходит почти мгновенно.

В первом случае производится поэлементное обследование объекта, постепенное выделение (обнаружение) опознавательных признаков, причем очередной выбор происходит после того, как произведена оценка предыдущего.

Второй уровень (репродукция) – тесты-подстановки, в которых намеренно пропущено слово, фраза, формула или другой какой-либо существенный элемент текста, и конструктивные тесты, в которых учащимся в отличие от теста-подстановки не содержится никакой помощи даже в виде намеков и требуется дать определение какому-либо понятию, указать случай действия какой-либо закономерности и т.д.

В качестве тестов второго уровня могут использоваться и типовые задачи, условия которых позволяют «с места» применять известную разрешающую их процедуру (правило, формулу, алгоритм) и получать необходимый ответ на поставленный в задаче вопрос.

Третьему уровню соответствуют задания, содержащие продуктивную деятельность, в процессе которой необходимо использовать знания-умения. Тестами третьего уровня могут стать нетиповые задачи на применение знаний в реальной практической деятельности. Условия задачи формулируются близкими к тем, которые имели место в реальной жизненной обстановке.

Тесты четвертого уровня – это проблемы, решение которых есть творческая деятельность, сопровождающаяся получением объективно новой информации. Тестами четвертого уровня выявляется умение учащихся ориентироваться и принимать решения в новых, проблемных ситуациях.

Тесты действия (performance tests). Термин взят из психологии, где тесты действия понимаются как процедура, ориентирующая испытуемого на выполнение какого-нибудь практического действия (практические испытания).

Тесты действия распространены как проверка реальных профессиональных умений (напечатать на машинке или на компьютере текст, откорректировать газетную статью, измерить давление пациенту и т.д.).

Подобные тесты предназначены, в том числе, для выявления умений выполнять работу с лабораторными приборами, механизмами, материалами, инструментами. Они позволяют проверить не только уровень овладения навыком, но и оценить различные качества личности и уровень формирования сопутствующих компетенций. Например, могут помочь оценить когнитивный стиль, эстетический вкус, юмор и т.д.

Ситуационные тесты(имитационные методы учебной деятельности). Требуют не произвести реальное действие, а выполнить его имитацию. При их проведении не является необходимым наличие реальных механизмов, полевых производственных условий (реальных пациентов и т.п.).

Примером является анализ конкретной ситуации. Испытуемым предлагается обширная информация о конкретной ситуации (например, студентам-экономистам предлагается смоделировать развитие производства при росте цен на сырье). Требуется провести анализ ситуации, при этом испытуемый должен учитывать, что часть информации – лишняя, но есть возможность добыть дополнительную информацию (воспользовавшись справочником или задав вопрос). После анализа принимается мотивированное решение. Работа может проводиться как в группе, так и индивидуально.

Более сложная форма – методика последовательных ситуаций. В этом случае задача разворачивается во времени и решается поэтапно; переход к следующему этапу возможен только в случае правильного ответа на вопросы предыдущего этапа, условия следующего этапа определяются в зависимости от варианта ответа на предыдущем этапе.

Например, при определении стратегии лечения «больного» студентами медиками если избирается путь оперативного вмешательства, то на следующем этапе студент сталкивается с одним набором проблем, если избирается путь консервативного медикаментозного лечения – с другим. Учащимся начальной школы может быть предложена ситуация в виде сюжета сказки, а они должны сформулировать и обосновать свое поведение в данной ситуации.

Кейс-метод. Название кейс-метода происходит от английского слова «кейс» – папка, чемодан, портфель (можно перевести и как «случай, ситуация»). Под кейсом при этом понимается текст (до 25-30 страниц), который описывает ситуацию, некогда имевшую место в реальности в этом его отличие от иных ситуационных заданий, например деловой игры.

Кейсы могут быть представлены обучающимся в самых различных видах: печатном, видео, аудио, мультимедиа.

Кейс-метод позволяет активизировать различные факторы: теоретические знания по тому или иному курсу, практический опыт обучаемых, их способность высказывать свои мысли, идеи, предложения, умение выслушать альтернативную точку зрения, и аргументировано высказать свою.

С помощью этого метода обучающиеся имеют возможность проявить и усовершенствовать аналитические и оценочные навыки, научиться работать в команде, применять на практике теоретический материал.

Основные преимущества метода заключаются в следующем:

Во-первых, метод ориентирован на те дисциплины, в которых нет однозначного ответа на познавательный вопрос, а есть несколько ответов, которые могут соперничать по степени истинности. Задача преподавания в этом случае сразу отклоняется от классической схемы, и становится ориентированной на получение не единственной, а многих истин и ориентацию в их проблемном поле.

Во-вторых, при использовании кейс-метода акцент образования переносится с овладения готовым знанием, на его выработку, на сотворчество обучающегося и преподавателя. Отсюда принципиальное отличие кейс-метода от традиционалистских методик – демократия в процессе получения знания, когда обучающийся по сути дела равноправен с другими студентами и преподавателем в процессе обсуждения проблемы.

В-третьих, результатом применения метода являются не только знания, но и навыки.

В-четвертых, технология метода довольно проста. По определенным правилам разрабатывается модель конкретной ситуации, произошедшей в реальной жизни, и отражается тот комплекс знаний и практических навыков, которые обучающимся нужно получить. Эта модель представляет собой текст объемом от нескольких страниц до нескольких десятков страниц. Обучающиеся предварительно прочитывают и изучают кейс, привлекая к этому учебные материалы и другие источники информации. После этого идет подробное обсуждение содержания. При этом преподаватель выступает в роли ведущего, генерирующего вопросы, фиксирующего ответы, поддерживающего дискуссию и т.д.

В-пятых, несомненным достоинством метода является не только получение знаний и формирование практических навыков, но и развитие системы ценностей обучающихся, профессиональных позиций, жизненных установок, своеобразного профессионального мироощущения и миропреобразования.

Наконец, в-шестых, при использовании кейс-метода преодолевается классический дефект традиционного обучения, связанный с сухостью, неэмоциональностью изложения материала.

Портфолио. Философия учебного портфолио предполагает: смещение акцента с того, что учащийся не знает и не умеет, на то, что он знает и умеет по данной теме и данному предмету; интеграцию количественной и качественной оценок; перенос педагогического ударения с оценки педагога на самооценку обучающегося.

Портфолио выполняет ряд функций в рамках учебного процесса:

– диагностическую, т.к. фиксирует изменения и качественный рост обучающегося за определенный период времени;

– целеполагания – поддерживает учебные цели;

– мотивационную – поощряет результаты обучающихся, преподавателей и родителей;

– содержательную – раскрывает весь спектр выполняемых работ;

– развивающую – обеспечивает непрерывность процесса обучения от года к году;

– рейтинговую – показывает диапазон навыков и умений.

К портфолио предъявляются следующие требования:

– он выборочен в зависимости от цели: самооценка; документация прогресса в учебе; помощь учителю при принятии решения; для отчета перед администрацией или родителями;

– должен отражать прогресс обучающегося;

– должен отражать объективно существующий уровень подготовки учащегося (проблемы, трудности, необходимость коррекции);

– должен демонстрировать прогресс обучающегося во времени;

– должен быть нацелен на рефлексию, на самооценку;

– портфолио представляет собой совместную работу обучающихся, преподавателей и даже родителей.

Мониторинг. Педагогический мониторинг – это форма организации, сбора, обработки, хранения и распространения информации о деятельности педагогического коллектива, позволяющая непрерывно отслеживать состояние и прогнозировать его деятельность.

В процессе мониторинга выявляются тенденции в развитии системы образования, соотнесенные во времени, а также последствия принимаемых решений.

В рамках мониторинга проводится выявление и оценивание проведенных педагогических действий. При этом обеспечивается обратная связь, осведомляющая о соответствии фактических результатов деятельности педагогической системы ее конечным целям.

Главное отличие мониторинга качества обучения от контроля, прежде всего в том, что задача мониторинга состоит в установлении причин и величины несоответствия результата целям. Кроме того, мониторинг отличается систематичностью и протяженностью во времени, применяемыми критериями и показателями.

Существуют различные виды мониторинга.

1. По содержанию:

– дидактический мониторинг, предметом которого являются новообразования учебного процесса (получение знаний, умений, навыков, соответствие их уровня требованиям ФГОС и т. д.);

– воспитательный мониторинг, который учитывает изменения в создании условий для воспитания и самовоспитания обучающихся, «приращение» их воспитательного уровня;

– социально-психологический, показывающий уровень социально-психологической адаптации личности обучающегося;

– мониторинг управленческой деятельности, отражающий изменения в различных управленческих подсистемах.

2. По характеру используемых методов и методик – статистический и нестатистический мониторинг.

3. По направленности:

– мониторинг процесса – представляет картину факторов, влияющих на реализацию конечной цели;

– мониторинг условий организации деятельности, выявляющий отклонения от запланированной нормы деятельности, уровень рациональности деятельности, необходимые ресурсы;

– мониторинг результатов, выясняющий, что было сделано из запланированного, какие результаты достигнуты.

Инструментом для проведения мониторинга качества образования могут служить те же тесты различных уровней, опросники, анкеты и т.д.