А. И. Розенблюм. Методология и методика измерения квалификации 32

Методология и методика измерения квалификации ³²

I. Существеннейшим условием развития психотехники является возможность проверки методов испытаний с точки зрения практической пригодности. Однако сопоставление результатов психотехнических испытаний с данными о профессиональной успешности наталкивается на значительное препятствие — на отсутствие или сомнительное достоинство второго члена сравнения. Именно поэтому на психотехнические организации ложится обязанность быть инициатором возможно более надежных измерений профессиональной успешности. Главным образом поэтому отдел профотбора Всеукраинского института труда создал секцию измерения квалификации, которая ведет работу по преимуществу в условиях опыта, связанного с выполнением непосредственных практических заданий (Харьковский кабинет экспертизы) и экспериментальную работу в ФЗУ.

II. Основной задачей секции измерения квалификации ВУИТ было создание методов измерения квалификации, отвечающих требованиям экономности и достаточности. Условием достаточности испытаний должна быть точность. В процессе работы эти требования нашли свою конкретизацию.

III. При построении требований точности мы исходили из концепции, развитой в работах М. Ю. Сыркина^* <...> Результаты экспертизы (оценки) необходимо считать тем более точными, чем менее они зависят от посторонних испытываемому умению факторов:

а) от личности экспертов;

б) от изменения состояния испытуемых на коротком (не больше нескольких дней) промежутке времени;

в) от конкретного содержания испытаний определенного типа.

Показателем, измеряющим искажающую роль всех трех посторонних факторов (а, б, в) является коэффициент

198

надежности (Н), фактора а — коэффициент объективности (О), фактора б — коэффициент стабильности (С), фактора в (в тех случаях, когда состав испытания допускает его вычисление) — коэффициент репрезентативности (Р).

IV. Сколь угодно точное измерение какого-либо из компонентов профессии может оказаться недостаточным для суждения об общем уровне квалификации испытуемого. Отсюда возникает требование критерия пригодности экспертизы, т. е. соответствия результатов экспертизы с данными о профессиональной успешности испытуемого в производственных условиях.

V. Критерий пригодности экспертизы, т. е. соответствия результатов экспертизы с данными о профессиональной успешности (на коротком промежутке времени), является верховным реальным критерием. Однако получение достаточно надежных данных об успешности испытуемых на производстве пока (до создания объективного постоянного учета работы) почти не осуществимо. Поэтому следует:

а) производить суммарные сопоставления результатов экспертизы с фактами изменения разрядов на производстве или с количеством обжалований результатов; такие суммарные сопоставления могут играть роль лишь общей оценки и в случае больших расхождений — роль сигнала;

б) перенести центр тяжести методологической проверки пригодности в ФЗУ, где возможны проведения оценочных опытов и постановка детального учета производственной успешности^**.

VI. Показатели пригодности являются количественными показателями достаточности экспертизы. Кроме них, для заключения о достаточности экспертизы исключительную роль должно сыграть компетентное суждение о полноте экспертизы.

Для суждения о полноте или достаточной представительности экспертизы необходимо исследование технического состава профессии на различных ступенях овладения ею. Предварительная техническая профессиограмма (схема требований, предъявляемых к различным

199

разрядам профессии по отдельным профессиональным умениям) является продуктом работы специалистов в данной профессии. Дальнейшее статистическое исследование результатов экспертизы должно установить вес отдельных профессиональных компонентов, их дифференцирующую силу и взаимную связь между ними. На базе технической профессиограммы строится суждение о составе испытания, о его полноте или достаточной представительности.

Примечание. Через изучение технического состава профессии (построение технической профессиограммы) работа по измерению квалификации входит в соприкосновение с психотехнической профессиографией и с еще почти нетронутой проблемой рационального конструирования профессий.

VII. Измерения квалификации, отвечающие требованию точности и в то же время достаточно полно представляющие техническую профессиограмму, могут считаться автовалидными измерениями и могут быть сами по себе шкалой для сопоставления.

VIII. Требование экономии экспертизы является для ряда профессий практически весьма существенным, ибо традиционная производственная проба продолжается обычно довольно долго (около рабочего дня и того больше). Возможность выбора представительных умений для испытания и исследование точности испытания в условиях разных сроков позволяют обоснованно установить оптимальный состав и длительность экспертизы. Таким образом определяются наиболее экономные сроки испытания без ущерба для правильности его результатов.

IX. При конструировании испытания, отвечающего требованиям точности, достаточности и экономии, наиболее существенным является аналитический подход — по отдельным умениям технической профессиограммы. В настоящее время выкристаллизовались следующие элементы испытания: рабочие пробы, короткие задания, измеряющие навыки, вопросы, относящиеся как к знаниям, так и умениям.

Опыт Харьковского кабинета экспертизы позволяет считать установившейся и схему налаживания экспертизы по каждой из профессий. Первая стадия — определение состава профессий и конструирование технической профессиограммы, вторая — определение состава

200

испытаний и конструирование рабочих проб, заданий и вопросов (в вариантах), третья — подготовка техники экспертизы, четвертая — экспертиза и пятая (одновременно с четвертой) — стадия контрольная и экспериментальная. Кабинет проводит экспертизу по большому числу (около 70) профессий. Далеко не во всех профессиях пройдены все стадии и далеко не всюду — под давлением оперативных нужд — экспертиза проходила стадии в указанном выше порядке. Однако уже сейчас кабинет имеет методологическую продукцию: около 20 технических профессиограмм, значительный материал для конструирования стандартизованных испытаний и некоторые достижения в стадии контрольной и экспериментальной <...>

XI. В стадии контрольной и экспериментальной кабинет и институт для небольшого числа профессий (8) ставили следующие работы:

а) параллельная экспертиза одних и тех же испытуемых в одном испытании различными экспертами (исследование объективности экспертизы);

б) повторная экспертиза тех же испытуемых в разное время на разных вариантах, разными экспертами (исследование надежности экспертизы);

в) повторная экспертиза в тот же день тем же экспертом на другом материале (исследование надежности экспертизы) при выключении роли неполной объективности;

г) многократная оценка результатов (в отсутствии испытуемых) различными экспертами (исследование объективности оценки, стабильности оценки, роли наблюдения над работой испытуемых при вынесении оценки, попытка создания оценочных шкал);

д) повторная экспертиза с промежуточной тренировкой (исследование — для профессии машинисток — скорости восстановления умений, утраченных за период безработицы);

е) установление испытательных норм для лиц с уж известной квалификацией и сопоставление этих норм с длительно учитываемой производительностью тех же лиц;

ж) по возможности, регулярное прослеживание профессиональной судьбы испытуемых (на коротком сроке от испытания), учет обжалований и т. д.

201

Таким образом, работа над методологией экспертизы с первых шагов уже переступает за пределы исследований точности и пригодности и сталкивается с некоторыми дополнительными вопросами (роль наблюдения при вынесении оценки, выработка испытательных норм и т. д.).

XII. Основные выводы, которые следует еще достаточно обще сформулировать на данной стадии методологической работы, сводятся к следующему:

а) короткая (в среднем одночасовая) экспертиза, поставленная в условия стандартизованной техники проведения и проводимая подотчетными и контролируемыми экспертами, оказывается в общем не менее пригодной, чем традиционная длительная экспертиза. Процент обжалований ничтожен (около 1%), хотя процент снижения притязаний испытуемых равен 70—80%.

Коэффициент пригодности в отношении длительной приемной экспертизы не мог быть вычислен из-за небольшого числа случаев (242) и из-за различия принципов квалификационных делений в разных профессиях. Процент полного совпадения с длительной экспертизой — 84 (201 из 242). Разница в один разряд имеется в 32 случаях, в два разряда — в 7 и в три разряда — в 2 случаях.

б) Исследования точности квалификационных измерений заставляют считать оценку экспертов хотя и не уступающей по точности обычной экспертизе на заводе или в учреждении, однако недостаточно точной (коэффициенты О, Р, С, Н колеблются от 0,50 до 0,90). Эта точность имеет тенденцию повышаться в зависимости от тщательности инструктирования экспертов.

в) Однако в некоторых профессиях (слесари и столяры) фактором, в значительной мере определяющим качества оценки, является личная искуссность экспертов, наблюдающих за работой. Точность самих испытаний ниже точности оценки. Колеблемость материальных результатов пробы выше, чем колеблемость суждения экспертов.

Это с особой наглядностью подтверждено двукратными испытаниями в ФЗУ (слесарь), где единственно стабильным признаком оказался темп работы, т. е. признак, не дифференцирующий испытуемых по критерию

202

производственной успешности. Признаки же качества работы оказались не только неустойчивыми, но и относительно мало дифференцирующими что, естественно, связано между собой. Таким образом, в результате проверки точности экспертизы задачи научно обоснованного измерения квалификации для некоторых профессий ставятся наново: экспертиза, точность которой покоится на опыте экспертов, имеет право на существование и развитие, однако, основной задачей является отыскание признака, устойчиво дифференцирующего по критерию профессиональной успешности.

г) Одним из путей улучшения методов испытаний оказался путь анализа расхождений между результатами разных испытаний. Устранение конструктивных недостатков испытаний повышало и точность испытаний и значительно уменьшало разницу между экспертизой испытуемого и экспертизой продукции.

д) Во всех профессиях проверка точности испытаний продолжает оставаться первоочередной задачей. В профессиях же, где точность испытаний оказалась высокой, на очереди стоит исследование закономерностей, связывающих компоненты профессий. Здесь измерение квалификации перестает быть целью исследования и делается его средством.

Сноски

Сноски к стр. 197

^* М. Сыркин. Критерии точности тестовых измерений. Труды ВУИТ, вып. III, б/г., Харьков.

Сноски к стр. 198

^** Следует однако, заметить, что проверка измерений квалификации в процессе ее формирования не может вполне заменить проверки измерений готовой квалификации.

202