М. Ю. Сыркин

Критерии оценки методов психотехнических испытаний

(в частности, групповых тестов) ³¹

I

Всякое психотехническое испытание является методом измерения.

Его результатом является одно из трех:

а) отнесение к «типу»,

б) установление рангового ряда,

в) квантитативная оценка каждого испытуемого в некоторых более и менее обоснованных единицах измерения (балл скорости, балл точности, умственный возраст, коэффициент одаренности и т. п.).

Основным формальным критерием оценки метода измерения является степень его точности.

II

Если бы психотехническое испытание ограничивалось скромнейшей задачей измерить умение испытуемых решать данные задачи в данный момент и ничего более, — то и в этом случае стоял бы вопрос о точности такого измерения: он свелся бы к вопросу о точности установления качественных или количественных признаков решения. Мерой точности в этом смысле является «Коэффициент технической точности» метода (КТ).

194

Его можно определить как средний коэффициент корреляции между оценками некоторой типической группы испытуемых, сделанными несколькими квалифицированными испытателями на основании одного и того же материала испытания <...>

III

1. Психотехническое испытание не может ограничиться столь бесплодной задачей — измерять умение решать данные задачи в данный момент. По меньшей мере оно направлено на измерение умения решать задачи данного типа. Однако по необходимости оно ограничивается некоторым определенным набором задач, который предполагается репрезентативным для всей массы задач данного типа.

2. Оттого, в какой мере выбранный набор является действительно репрезентативным, зависит точность метода. Мерой точности в этом смысле является:

коэффициент репрезентативности набора задач (КР).

Его можно определить как средний коэффициент корреляции между несколькими действительными вариантами испытания, примененными к одной и той же группе в тождественных условиях испытания. <...>

3. <...> Коэффициент репрезентативности в первом приближении показывает, насколько замена теста вариантом сохраняет относительные оценки испытуемых. Его вычисление может быть упрощено еще более (с тем, что результат получится менее точный, но все же достаточный для установления «порядка чисел») — путем разбивки данного теста пополам на четные задачи и последующего использования формулы Спирмэн-Броуна <...>

IV

1. Обычно являющиеся предметом психотехнических измерений «способности», даже «знания», «навыки», не являются величинами, тесно связанными с «данным моментом». Возможно меньшая зависимость результатов

195

испытания от «переменного фактора состояния» испытуемых — одно из основных требований, предъявляемых к испытанию.

2. Измерителем точности испытания в указанном смысле является:

Коэффициент стабильности метода измерения (КС). Он вычисляется как коэффициент корреляции между показаниями двух — на коротком интервале друг от друга проведенных измерений одной и той же группы лиц одним и тем же методом.

3. Так как повторное измерение одним и тем же тестом может в некоторых случаях дать искаженны результаты, вследствие привнесения постороннего фактора — различий памяти, — то предпочтительней при установлении этого коэффициента применять два «действительных варианта» теста (или испытания). При такой постановке опыта коэффициент стабильности покрывает собой и коэффициент репрезентативности.

V

1. Поскольку психотехническое испытание претендует на измерение индивидуальных различий, устойчивых на длительных промежутках времени, <...> то мерой их точности является коэффициент константности (КК), т. е. то же, что и коэффициент стабильности при длительном интервале между испытаниями. Несмотря на отсутствие качественных различий между КС и КК, полезно выделить последний особым термином.

2. Для большинства испытаний установление КК возможно производить на том же самом тесте, хотя и в этом случае полезно применять действительный вариант.

VI

1. Перечисленные три измерения точности (КР, КС, КК) находятся в иерархической зависимости. Так, например, можно утверждать, что КК и КС данного испытания, вообще говоря, должны быть ниже, чем КР.

2. Из всех коэффициентов проще всех устанавливается КР; так как он не ограничивает величины прочих,

196

то КР может быть всегда использован для негативной оценки метода: малый КР является достаточным обоснованием для того, чтобы тест или метод забраковать <...>

VIII

1. Кроме формальных критериев точности метода измерения, подлежит проверке степень соответствия испытаний тем практическим применениям, ради которых метод конструирован, т. е. «Коэффициент пригодности метода» (КП), например, коэффициент корреляции между показаниями испытания и измерениями успешности в учении, в работе профессиональной — если испытание имеет в виду прогноз учебной или профессиональной успешности.

2. При установлении коэффициента пригодности необходимо учитывать степень точности измерений успешности: с некоторым приближением можно считать, что КП не может превышать среднюю геометрическую коэффициентов точности теста и точности измерения успешности <...>

X

Практическое применение психотехнических методов без исследования их точности является грубейшей эмпирией, не соответствующей современному уровню развития психотехнической науки.

XI

Перечисленные выше критерии опираются на применение методов математической статистики к результатам психотехнических измерений. Эти методы предполагают оперирование единицами аддитивными и эквивалентными, чего нельзя утверждать о единицах, применяемых в большинстве случаев психотехнических испытаний.

Однако применение упомянутых коэффициентов вскрывает реальности более четко и однозначно, чем субъективные оценки методов, которые к величайшему вреду для развития психотехники являются ходовыми.

197