Прочитайте материал о методе экспертных оценок и выполните задание, предложенное после данного материала

Экспертиза конкретного проекта группой экспертов осуществляется по заранее выработанным критериям. Прежде чем приступить к экспертизе необходимо решить концептуальные и технологические проблемы.

К концептуальным относятся:

- выбор шкалы измерения (Измерение – это применение набора правил, по которым определенным характеристикам объекта ставятся в соответствие числа или символы. Введение показателей сравнения позволяет установить отношения между объектами, например – лучше-хуже, больше-меньше,т.п.),

- обоснование весов критериев (для оценки весов критериев можно также воспользоваться методом экспертных оценок, но можно применить и метод качественного упорядочивания критериев по важности),

- методы оценки согласованности мнений экспертов и формирование итогового мнения.

К технологическим:

- обоснование числа экспертов в группе (также необходима рабочая группа для организации мероприятий по отбору экспертов, их опросу, обработке полученной информации),

- обоснование набора критериев (не всегда удается обосновать набор критериев, необходимых и достаточных для принятия решения. При формировании набора критериев можно использовать следующие подходы: попросить каждого эксперта дать свое подмножество критериев, а затем объединить все предлагаемые подмножества в одно множество; если существует ограничение по числу критериев, то нужно упорядочить критерии по частоте упоминания; выбрать пересечение подмножеств критериев, предложенных экспертами),

- обоснование числа анализируемы одновременно альтернатив (Число одновременно оцениваемых альтернатив не должно превышать девяти).

В процессе применения метода экспертных оценок могут возникнуть некоторые проблемы, пример решения которых приведен в Таблице 5.

Таблица 7. Проблемы, возникающие при использовании методов экспертной оценки и варианты их решения

Алгоритм процедуры экспертизы:

- Эксперт получает материалы для анализа.

- Изучив представленный материал, а также руководствуясь собственным опытом и знаниями в области экспертируемой тематики, эксперт разрабатывает экспертное заключение (по каждому проекту, заявке, т.п.). Оно готовится с использованием специальной экспертной анкеты, путем проведения по установленным критериям количественной (бальной) и качественной оценки (выбором одного из предложенных вариантов уровней оценки), с соответствующим обоснованием оценок в письменном виде.

- Подготовка обобщенного заключения. После завершения оценки всех проектов формируется обобщенное заключение, содержащее таблицу с ранжированными, по суммарному количеству выставленных баллов, проектов. В данном заключении экспертом дается краткий сравнительный анализ рассмотренных проектов с указанием причин отданного предпочтения в отношении рекомендуемого победителя конкурса. Заключение направляется куратору экспертизы (в рабочую группу). На основании обобщенных заключений куратор экспертизы (рабочая группа) готовит общее заключение.

Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ)[7] и Российский фонд фундаментальных исследований (РФФИ)[8]. В РГНФ экспертная оценка формализуется в виде ответов на вопросы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:

5 — проект заслуживает безусловной поддержки;

4 — проект заслуживает поддержки;

3 — проект может быть поддержан;

2 — проект не заслуживает поддержки;

1 — проект не заслуживает рассмотрения экспертным советом.

Задание: В соответствии с данной шкалой вам предлагается экспертный лист по оценке инновационных образовательных проектов (см. Приложение 1).

A. Обсудите его в группе и договоритесь, будете ли вы использовать его в данном виде или он нуждается в некоторой переработке. О своем решении сообщите другим группам экспертов и обсудите с ними количество критериев, которые вы будете использовать для оценки инновационных проектных предложений на получение статуса ФИП (можете использовать критерии, предложенные в экспертном листе).

B. Проведите процедуру экспертизы каждого проектного предложения и определите уровень его зрелости (см. Профиль зрелости проекта – Приложение 1).

C. На основе профиля зрелости лучшего проектного предложения составьте обобщенное экспертное заключение (мнение о лучшем проектном предложении у разных групп экспертов может не совпасть). В экспертном заключении (итоговой оценке) необходимо обобщить результаты анализа проекта:

- Особенности проекта (НИР, программа развития, программа эксперимента и т.д.)

- Потенциал проекта

- Профиль зрелости проекта с комментариями

- Обобщенная оценка

- Преимущества, слабые стороны и риски проекта.

D. Представьте экспертное заключение в письменном виде.

Приложение I. Экспертный лист «Критерии оценки инновационных образовательных проектов»