Часть 2. Теоретические основы измерения качества преподавания

Важнейшей составляющей контроля образовательного процесса является измерение и контроль качества деятельности педагога во время проведения учебного занятия.

Главным способом отслеживания качества преподавания является экспертиза реального учебного занятия. В роли экспертов могут выступать представители администрации образовательного учреждения, другие преподаватели.

Еще одним способом оценки качества преподавания или качества педагогической деятельности в целом является самоанализ или рефлексия собственной деятельности. Однако педагогический самоанализ без внешней оценки ограничен в свих возможностях, т.к. преподаватель должен иметь средства самооценки, которые позволяют объективно сопоставлять собственные достижения с нормой или с уровнем других педагогов.

Отсюда следует, что экспертное посещения лекций семинарских занятий остаются пока еще доминирующим способом оценки качества преподавания. Поэтому важно, чтобы содержание экспертизы основывалось на научно обоснованной модели качества и отталкивалось о правовых норм и требований.

Модель есть некоторая система, представляющая собой подобие или образ системы-оригинала.

Модели для оценки качества преподавания должна соответствовать следующим требованиям:

- оцениваемый должен быть убежден в объективности оценки;

- воспринимал ее как полезную для себя;

- знал, что нужно сделать, чтобы устранить выявленные недостатки;

- хотел их устранить;

- руководитель знал, какая помощь нужна оцениваемому и последний должен быть уверен, что эта помощь будет оказана.

Cуществуют два способа формирования моделей. Первый основан на расчленении исходной системы на подсистемы, свойства которых легче поддаются исследованию, благодаря их относительной простоте или нашему опыту. Второй способ моделирования отталкивается от наблюдений руководителя за реакцией человека или коллектива на управляющие воздействия. Этот тип исследования обычно исчерпывается поиском сторонников и противников «линии управления». Именно такой подход реализуется при рассмотрении исследуемых объектов в виде «черного ящика» В системе образования такие модели не совсем уместны, т.к. они строятся на отношении к человеку или коллективу как объекту. Подобное моделирование является характерным для авторитарного стиля управления.

По типу реализации различают натурные и знаковые модели. Натурная модель уже по своей физической природе отражает существенные черты оригинала.

Знаковые модели представляют собой символьное описание системы-оригинала. Это могут быть графические, вербальные, математические модели. Примерами знаковых моделей являются концепции, программы развития, планы работ, математические модели процесса. Концептуальные модели представляют формализованный, систематизированный вариант системы знаний об объекте исследования. Основные недостатки концептуальных моделей – субъективность и связанная с ней неоднозначность интерпретации содержания. Количественные исследования лучше проводить с помощью математических моделей. Возможности математического моделирования ограничены количественным описанием свойств объектов, но они зачастую дают глубокое понимание исследуемых процессов, пригодны для прогноза. В связи с этим вполне разумным вариантом моделирования объектов управления можно считать сочетание концептуального и математического подходов.

Особый интерес в управлении качеством образования представляют модели, позволяющие производить оценки качества деятельности.

Уровни моделирования

Система знаний о качестве педагогической деятельности может быть представлена в разных формах: в виде правовой нормы на государственном или институциональном уровне, в виде устных указаний руководителя или в виде простой формы отчетности педагога о своей деятельности. Эти и другие вербальные модели имеют важное значение для организации мониторинга в образовательном учреждении. При осуществлении мониторинга возникает вопрос о качестве производимых измерений.

Процесс создания средств мониторинга нуждается в рассмотрении иерархической цепочки моделирования – от уровня нормативных документов до конкретного средства измерения. Исходя из этого можно выделить три уровня моделирования.

Генеральный уровень системы знаний о педагогической деятельности – нормативные документы, принятые на государственном муниципальном и институциональном уровнях. Эти документы задают правовую норму средств мониторинга и оценки качества деятельности. Однако этот уровень описания содержания, форм и результатов деятельности не детализован в той степени, который необходим в мониторинге.

Уровень обобщенной системы знаний руководителя о качестве педагогической деятельности, т.е. совокупность понятий, правил, принципов, вытекающих из нормативных документов и собственных представлений. Формой представления могут быть либо мыслеречевая, либо в виде компактного структурированного текста (так называемого базиса обобщенной системы знаний).

Последним в данной иерархии является унифицированный измеритель в виде текста или анкеты, которых в особой специфической форме отражается содержание нормативных документов, и собственных представлений руководителя о важнейших качествах педагогической деятельности.

Так как все уровни моделирования основываются на тематических требованиях нормативных документов и на представлениях лиц, их разрабатывающих, то возникает проблема качества самих моделей. В методологическом плане решение данной задачи сводится к обеспечению объективности, надежности и валидности измерителей и измерений.

Шкалированные модели

Пусть объект исследования (технология, деятельность преподавателя, образовательная деятельность заведения и др.) моделируется множеством свойств, присущих этому объекту. Каждое свойство объекта характеризуется множеством проявлений. Проявления свойств могут быть числовыми и вербальными. Числовые оценки свойств предмета исследования могут быть обеспечены шкалированием свойств.

Принято выделять 4 типа шкал: наименований, ранговую, интервальную и пропорциональную. Последние две шкалы называют также метрическими, т.к. они позволяют определять место величины в числовой мере.

Шкала наименований разделяет объекты только по их именам, но позволяет ранжировать их.

В ранговой (или порядковой) шкале исследуют проявления, которые можно соотнести по степени выраженности какого-либо показателя.

Метрическое шкалирование позволяет соотнести проявления по критерию «на сколько больше или лучше», что соответствует интервальной шкале, или по критерию «во сколько раз больше или лучше», что соответствует пропорциональной шкале. Метрические шкалы наиболее точно определяют взаимное положение объектов.

Состояние и эффективность педагогической деятельности

Важную роль играет такой показатель деятельности, как ее эффективность. Эффективность связана с эффектом и обычно понимается как эффект, отнесенный к времени его получения. В образовании термин «эффективность» обычно используется при оценках качества управления.

Зависимость эффекта от параметров деятельности можно описать математически. Рассмотрим математическую модель управления педагогической деятельностью. Будем считать положительный эффект педагогической деятельности определяется взаимодействием двух сил: творческого потенциала учителя и совокупности управляющих воздействий администрации школы.

При выводе математической модели эффективности педагогической деятельности будем считать, что творческий потенциал преподавателя отражается рейтингом (R), полученным на основе объективных измерений, а система управляющих воздействий определяется поставленными целями и учитывает рейтинг преподавателя. Если предположить, что цель управления – максимальный рейтинг (обозначим его h), то чем больше разность (h-R), тем сильнее воздействие управления на педагогическую деятельность. С учетом сделанных предположений прирост рейтинга преподавателя можно записать в виде математического уравнения:

ΔR = α*R*((h-R)* Δt (1)

где α – весовой коэффициент пропорциональности, зависящий от факторов исследуемого процесса, Δt – промежуток времени, в течение которого происходит увеличение рейтинга на величину ΔR.

Можно показать, что дискретному уравнению (1) соответствует непрерывная модель исследуемого процесса в виде функциональной зависимости рейтинга от времени:

R =h* R₀/(R₀+(h- R₀)*exp(-α*h*t)), (2)

где R₀ – рейтинг в момент времени t=0. График функции (2) имеет вид вытянутой S – образной кривой, постепенно приближающейся к горизонтальной линии, определяющей теоретическое предельно возможное значение рейтинга (R стремится к h).

Из анализа формул (1) и (2) следует, что максимальные приращения рейтинга имеют место при значении R= 0,5*h. Чем меньше значения текущего рейтинга, тем меньше его приращения за одно и то же время. Точно так же приращения рейтинга уменьшаются при его приближении к значению h. Такие свойства функции R связаны с характером принятых гипотез. Приращения R малы либо при низком творческом потенциале субъекта измерения, либо при малых управляющих воздействиях вследствие высокого уровня педагога. Таким образом, наша модель показывает, что добиться одинакового эффекта труднее тому, кто еще мало знает и умеет, также тому, кто работает на относительно высоком уровне.

Из уравнения (1) следует, что эффективность педагогической деятельности можно вычислить по формуле:

Э= ΔR/ Δt= α* R*(h- R) (3)

Формула (3) содержит числовой параметр α, который можно найти на основе экспериментальных наблюдений.

Формула (3) может использоваться для определения эффективности любой деятельности, качество которой можно выразить интегральной числовой характеристикой – рейтингом. Необходимо лишь обеспечить объективность, надежность и валидность измерений рейтинга.

Требования к качеству измерений

Важнейшими требованиями к качеству измерений (критериями качества) являются объективность, надежность, валидность.

Объективность предполагает, что результат измерения соответствует определенным требованиям, предъявляемым к исследованию.

1. Результат должен быть обусловлен только свойствами самого предмета исследования и не должен зависеть от предпочтений исследователя.

2. Условием объективности является унификация измерителей. Это позволяет обеспечить равные условия измерений для всех субъектов исследования.

3. Сопоставимость результатов измерений. Только в этом случае их можно эффективно использовать в управлении образовательными процессами.

Под надежностью обычно понимается точность измерения. При эффективном управлении всегда стремятся к обеспечению высокой надежности данных о состоянии исследуемых объектов. Теория надежности основана на использовании математических методов и широко применяется в психологическом и педагогическом тестировании. При выполнении определенных условий теорию надежности тестов уместно применять при оценках качества анкетных измерений.

Определение валидности необходимо для того, чтобы определить, действительно ли измерялось то, что требовалось измерить. Принято рассматривать несколько видов валидности: содержания, соответствия критерию или другому измерителю, прогноза и др.

Установление содержательной валидности предполагает исследование соответствия содержания измерителя действующим правовым нормам и стандартам. Для этой цели можно использовать матрицу соответствия в виде прямоугольной таблицы строки, которой образуют свойства-вопросы измерителя, а столбцы – базовые элементы нормативного документа. На пересечении строк и столбцов ставится условная отметка, например, знак (+), означающая соответствие содержания измерителя базовым элементам нормативного документа. Как инструментарий исследования содержательной валидности матрица соответствия дает возможность сочетать качественные и количественные оценки содержания средств измерения.

Валидность соответствия (конкурентная валидность) важно обеспечить при разработке новых методов и средств измерений. При этом важно обеспечить параметры соответствия экспертной оценки и оценки, полученной с помощью унифицированного измерителя.

Валидность прогноза устанавливает соответствие результатов текущих наблюдений будущему состоянию объекта в процессе его развития. Данная характеристика важна при конкурсных отборах поступающих в вуз, когда по результатам пробных испытаний необходимо отобрать наиболее подготовленных к продолжению обучения абитуриентов.

Валидность по критерию (критериальная валидность) – наиболее распространенный вид исследования качества измерений. Все рассмотренные выше варианты являются частным случаем валидности по критерию.

Валидность теста по критерию целевого назначения может определяться по кривой статистического распределения баллов, в простейших случаях – по его интегральной сложности.

Нормы и нормирование

Нормирование измерителей качества деятельности важно с точки зрения соблюдения прав субъектов образования. С формальной точки зрения нормирование есть установление подмножества проявлений, которые считаются допустимыми в рамках используемой системы.

Нормы можно разделить на количественные и качественные (концептуальные). Количественные нормы связаны с применением математических критериев и должны быть обоснованы какой-либо математической моделью нормируемого процесса.

Очевидным примером концептуальной нормы являются учебные программы. Они представляют собой тексты, содержание которых отвечает на вопрос, чему следует учить. Эти тексты не должны и не могут содержать детального описания всех учебных элементов. Они задают лишь рамочные нормы. Поэтому естественным дополнением учебных программ должны быть измерители, например, тесты, которые позволяют количественно оценивать результаты реализации программ обучения.

Контрольные вопросы и задания

1. Чем определяется эффективность деятельности по контролю и оценке результатов образовательного процесса?

2. Что является главным способом отслеживания качества преподавания?

3. Чем ограничена эффективность такого вида оценки качества преподавания как самоанализ?

4. Опишите два способа формирования моделей оценки качества преподавания.

5. Перечислите уровни моделирования при оценке качества преподавания

6. Опишите математическую модель оценки эффективности педагогической деятельности.

7. Приведите формулу для оценки эффективности педагогической деятельности.

8. Перечислите основные требования, предъявляемые к качеству измерений.