Системы сравнения с нормой

Существуют два типа систем оценивания относительно нормы; они обеспечивают систему координат, па основе которой кандидатов мож­но сравнить друг с другом. Позиционной называется такая система оценивания, где происходит только классификация кандидатов по от­ношению друг к другу; стандартизированные системы оценок дают информацию как о классификации кандидатов, так и о величине раз­личия между ними. Важно подчеркнуть, что как процентиль, так и результат в рамках стандартизированной системы должны рассмат­риваться но отношению к подходящей эталонной группе. Другими словами, не имеет никакого смысла сравнивать баллы, полученные медсестрами-стажерами, с результатами банковских менеджеров.

Позиционные системы оценки

Наиболее простыми позиционными системами оценки являются те, где результат, полученный кандидатом, оценивается как выше или ниже среднего или же осуществляется ранжирование результатов в порядке убывания, от самых лучших до самых худших. Например, кандидат А по результатам теста А занял третье место, пятое по тесту В и девятое по тесту С. Однако следует помнить, что результаты ран­жирования зависят от количества людей, выполняющих тест, и поло­жение кандидата окажется неодинаковым, если в тестировании при­мут участие меньшее или большее число человек, — это мешает делать обоснованные суждения о том, насколько хорошо люди выполнили задание по сравнению с остальными. Другая сложность состоит в том, что компетентность или другие достоинства кандидатов не отражают­ся на их размещении. Все кандидаты, сдающие тест, могут оказаться более высокого или низкого уровня, чем предыдущие группы.

Позиционные системы оценки ■ 215

Наиболее сложным типом позиционпой оценки является ироцентиль, т. е. расположение кандидатов в по­рядке репрезентативной очереди,где место каждого определяется по отно­шению к 99 другим (см. табл. А 1). Процентнль показывает, какая доля от остальных кандидатов получили результат ниже, чем те, кто получили определенный процентнльнып ранг. Так, например, если кандидат А полу­чает 75-й процентнль, то это говорит о том, что 75% испытуемых получи­ли более низкие результаты, чем дан­ный кандидат. Причина этого заклю­чается в том, что система основана на процентильных показателях, которые находятся в диапазоне от нуля до ста,при этом самым худшим показателем является нуль, а лучшим — сто. В группе из 100 человек, где все получили разные баллы, тот, чей про-центильный показатель составил 50, будет помещен в очереди на 50-е место, а тот, чей показатель равен 60, — на 60-е. Па практике нор­мальное распределение характеристик людей может приводить к тому, что процентил ьная шкала будет вводить в заблуждение, если ее смысл не до конца понятен. В качестве примера можно представить распре­деление баллов, которые 100 человек получили при выполнении те­ста на вычислительные навыки. Очень немногие люди получат особен­но высокие или крайне низкие результаты; большинство результатов будут сгруппированы вокруг среднего показателя. Десятка лучших ис­пытуемых может получить результаты от, например, 80 до 95 (разни­ца составит 15 пунктов). В середине разброса результатов из-за боль­шой их скученности 50-й процентнль может соответствовать, напри­мер, результатам от 47 до 50 (разница составит 3 пункта). Другими словами, различие, выраженное в форме процентиля, не отражает ре­альной разницы величин полученных баллов. С точки зрения отличий по качеству выполнения заданий расхождения между двумя людьми, помещенными на уровень 90-го и 95-го процентилей, вероятнее всего, окажутся значительно больше, чем между теми, кто находится на 50-м и 55-м процентилях. Все же, даже с учетом этого недостатка, пред-

216 ■ Приложение А. Системы сравнения с нормой

ставлен не результатов в виде процентиля дает два преимущества: кан­дидата возможно сравнить со всеми остальными, выполнившими оп­ределенный тест; кроме того, легко можно оценить данные, получен­ные одним кандидатом при выполнении разных тестов, друг с другом. Основной недостаток состоит в том, что результаты, представленные в форме процентиля, не показывают величину различия между тесто­выми результатами отдельных кандидатов, так как они фиксируют только относительные достижения кандидатов в рамках конкретного тесла.

В случаях, когда требуется более точная и пригодная для интер­претации оценка относительных показателей достижений, становит­ся необходимым учесть не только ранжирование кандидатов, но и ве­личину различия между ними. Именно ото делается с помощью си­стем оценивания, основанных на нормальной кривой, в отношении так называемых стандартных показателей результатов. Из свойств нор­мальной кривой (см. рис. А.1) известно, что одно среднее квадратич­ное отклонение (отрицательное или положительное) охватывает об­ласть, в которой располагаются 68,26% от общего количества резуль­татов теста, два средних квадратичных отклонения соответствуют области расположения 95,44% результатов и 99,74% будут лежать в пределах трех квадратичных отклонений (более подробное рассмот­рение этого вопроса можно найти в работе Миллера, Miller, 1984 tor a fuller discussion)..Зная это свойство нормальной кривой, можно легко выстроить взаимосвязь процентиля и баллов, полученных кандида­тами, и, таким образом, можно получить более удобную для интерпре­тации информацию; делается.это на основе стандартизованного бал­ла (результатов по сравнению со стандартным показателем).

Стандартизованный балл показывает положение балла, получен­ного кандидатом, относительно среднеарифметического балла всех кандидатов, проходивших конкретный тест (т. е. выше или ниже сред­него арифметического), а также то, насколько результат кандидата отличается от среднеарифметического. Эти два свойства стандарти­зованного балла просто отражают две основные характеристики нор­мальной кривой: среднее арифметическое и среднее квадратичное от­клонение. Среднее арифметическое показывает средний результат всех принявших участие в тесте кандидатов, тогда как среднее квадра­тичное отклонение говорит о том, насколько полученный балл отли­чается от среднеарифметического, и становится, таким образом, еди­ницей измерения разброса.

Позиционные системы оценки ■ 217

Самой простой разновидностью стандартизованного балла явля­ется Z-показатель, который указывает только на то, на сколько сред­них квадратичных отклонений результат кандидата выше или ниже среднеарифметического. Кандидат, который получил Z-показатель, равный нулю, находится точно на уровне среднеарифметического по­казателя; гот, у кок) Z-показатель составил минус два (-2) (т. е. отри­цательный балл), -- на два средних квадратичных отклонения ниже среднеарифметического, а кандидат, получивший положительный Z-иоказатель, равный 1,56, находился на 1,56среднего квадратичного отклонения выше среднеарифметического. 11реобразовапне необрабо­танных баллов (rawscores), подученных при помощи теста, в Z-пока­затель осуществляется элементарно просто. Нужно только вычестьпз среднеарифметического балла по тесту «сырой» балл, а затем разде­лить эту разницу на величину размаха (т. е. на среднее квадратичное отклонение). В бол ыпинстве опубликован пых гестов указывается как среднеарифметическое, так и среднее квадратичное отклонение, ос­нованные на норма!тпшых таблицах. Так, например, если среднеариф­метическое для теста составляет 75, а среднее квадратичное отклоне­ние - 15, то у кандидата, получившего на тесте 90 баллов, Z-иоказа­тель будет равен 1,т. е. (90 -75)/15 = 1.

Преимущество применении баллов, основанных на нормальной кривой, для определения различия между кандидатами заключается в том, что каждого из них можно разместить по отношению к осталь­ным, при этом также определяя величину различий между тестовыми результатами. Кроме того, при;лом не происходит искажения или пре­увеличения различий между кандидатами,так как величина различий в пределах показателей среднего квадратичного отклонения одинако­ва. Следовательно, анализ и интерпретация баллов, полученных по ре­зультатам теста, становится несколько легче.

Как уже было отмечено выше, возможно достаточно эффективное использование взаимосвязи между стандартизованными баллами и процентильными эквивалентами. Стандартизованный балл +1 пока­зывает, что выполнение задания оценивается как одно среднее квад­ратичное отклонение выше среднеарифметического. Как показано на рисунке А.1, известно, что на нормальной кривой определенный процент людей (84,13%) получат стандартизованный балл, состав­ляющий менее +1, а 15,87% получат более высокие результаты. С по­мощью такого способа стандартизованные баллы могут получать интерпретацию непосредственно в форме процентилыюго эквива­лента, и наоборот. Например, для того чтобы оказаться в числе 5%,

получивших наилучшие результаты, кандидат должен иметь стандар­тизованный балл +1,96. Аналогичным образом стандартизованный балл -1,96 будет указывать на то, что испытуемый относится к 5% вы­полнивших тест хуже всех. Небольшой недостаток стандартизован­ных баллов состоит в том, что форма их представления включает зна­ки «плюс» пли «минус», а также десятичные дроби, при этом знаки после запятой часто теряются при переписывании результатов. Для того чтобы исключить эти проблемы, можно использовать другие виды стандартизованных баллов, полученные путем трансформации Z-иоказателя. Во многих широко распространенных психологических тестах, например в тесте 16PF, часто используются Т-иоказатель (T-score), 10-балльпая шкала пли шкала станов. При переводе в шка­лу станов среднеарифметическому баллу присваивается значение 50, а среднее квадратичное отклонение составляет 10, при атом количе­ство баллов может составлять от 20 до 80. На 10-балльной шкале сред­неарифметическому присваивается значение 5,5, а среднее квадратич­ное отклонение равно 2. Недостатки десятибалльной шкалы состоят в использовании половинных показателей очков, а также в том, что при вычислениях относительно тех, кто получил максимальный ре­зультат, приходится использовать двузначное число. На шкале станов среднеарифметическому присваивается значение 5; шкала станов на­поминает десятибалльную, но при этом стандартизованные баллы могут составлять от 0 до 9. Обе эти разновидности стандартизован­ных баллов не используют показателей ниже 0 и могут непосредствен­но переводиться в форму процентиля.

Приложение Б

Date: 2015-07-01; view: 420; Нарушение авторских прав