Надежность

Очевидно, что совершенно необходимо иметь надежные инстру­менты измерения, поскольку иначе специалисты по персоналу не мо­гут даже в малейшей степени доверять результатам процедуры отбора. Непротиворечивость измерений является фундаментальной основой самой концепции надежности, и следовательно, важнейшим стандар­том при оценке любого метода отбора. Если тест или метод отбора не­надежен, то специалисты по персоналу получают результаты ничуть не лучше, чем если бы они выбирали сотрудников «методом тыка» или вытягивали из шляпы бумажки с именами. Принципиально надеж­ность любой системы измерения может быть определена путем много­кратного измерения характеристик одного и того же объекта в одних

Надежность ■ 65

и тех же условиях. Это объясняется тем, что средний результат, полу­ченный по итогам проведения ста испытаний, более надежен, чем лю­бой отдельный результат, поскольку нетипичные обстоятельства (на­пример, похмельный синдром) могут влиять на результат какого-либо одного теста, по при усреднении данных эти отклонения компенсиру­ются; также сглаживаются различия, возникшие по причине неудач­ной, непонятной формулировки вопроса. По сути, чем более согласо­ваны результаты друге другом, тем более надежна система измерения. Предположим, что компания «Грейтплей» перед кадровыми со­беседованиями провела для ста человек предварительное испытание двух метов: структурированного собеседования, когда каждому кандидату задаются одни и те же вопросы в одном и том же порядке, и традиционное собеседование в свободной форме, в ходе которого кадровые специалисты могут задавать любые вопросы, которые сочтут нужными. Предположим, что согласие между сотрудниками, прово­дившими собеседование, по поводу решения об отборе кандидатов со­ставило 95% в случае структурированных собеседований и 37% для собеседований в свободной форме. Это явно указывало бы па то, что более надежным является структурированное собеседование, посколь­ку при его проведении постоянно наблюдался более высокий уровень согласия между сотрудниками, проводившими собеседование.

Типы надежности

В большинстве случаев дорого и непрактично выявлять надеж­ность метода отбора кадров путем его многократного проведения, и поэтому часто требуется другая стратегия. Например, перед тем как применить на практике упражнения на анализ документов, компания «Грейтплей» могла бы определить их надежность, проведя тестирова­ние одной и той же группы своих сотрудников с помощью этих тестов два раза в разное время. В этом случае надежность метода определялась бы путём анализа корреляции между двумя группами результатов. Поскольку надежный метод измерения должен для каждого из испытуемых давать очень близкие показатели, корреляция результа­тов используется в качестве показателя стабильности. Чем выше уро­вень корреляции, тем ближе соответствие баллов, полученных каж­дым отдельным кандидатом при повторном проведении процедуры отбора, и тем надежнее, следовательно, окажется метод. Приведенная здесь стратегия, использованная для оценки надежности упражне­ния на анализ документов, называется «тест-ретестовая надежность»,

3 -294

66 ■ Глава 4. Оценочные стандарты для методов отбора персонала

и главной ее целью является определение стабильности измерений по прошествии времени (см. Curelon, 1971). По сути, при помощи кон­кретного метода получают результаты для некоторого числа кандида­тов, а затем, по прошествии определенного времени, тех же самых кан­дидатов просят повторно выполнить течт. Основным недостатком дан­ного подхода является то, что кандидаты во время первого испытания могут чему-то научиться и, таким образом, показать лучшие резуль­таты при проведении повторного тестирования, за счет чего снизится коэффициент надежности. Можно сделать вывод, что огромную роль играет то, какой отрезок времени прошел с момента первого проведе­ния теста. В целом чем меньше прошло времени, тем вероятнее, что сыграет свою роль эффект обучения, которое происходит при первом тестировании. Аналогичным образом при слишком большом проме­жутке времени могут оказывать влияние другие факторы, например приобретение опыта, который опять же снизит показатель надежно­сти измерения. Оптимальный промежуток времени назвать сложно, но в большинстве тест-ретсстовых исследований он составляет от од­ного до трех месяцев.

В случаях, когда существуют две различных версии одного и того же теста пли процедуры отбора, коэффициент надежности может определяться путем корреляции результатов, полученных при помо­щи разных вариантов теста. Такой вид надежности называется «надежность параллельных форм» (parallel fonn reliability), но в большин­стве случаев его применение считается нецелесообразным из-за того, что разработка двух отдельных форм измерения является дорогосто­ящей и требует больших временных затрат. Поэтому метод параллель­ных форм используется почти исключительно в тех случаях, когда по каким-либо причинам уже существуют две версии теста. Необходимо обеспечить соответствие тематики, сложности и типов заданий в обе­их версиях. В противном случае подученный коэффициент надежно­сти будет просто отражать уровень менее удачного варианта теста, скрывая достоинства более удачной версии. В результате обе версии могут быть признаны непригодными для отбора кадров, несмотря на то что лучшая версия может быть весьма и весьма надежной. Кроме того, могут возникнуть проблемы, связанные с проведен нем этих двух измерений. Если выполнение заданий кандидатами не будет одина­ковым в обоих случаях (если, например, испытуемые не отнесутся к обеим версиям одинаково вдумчиво и внимательно), надежность ме­тода, вероятнее всего, останется недооценена. Аналогичным образом

Надежность ■ 67

если испытуемые выполняют версии теста, находясь в различном на­строении, то оценка надежности может быть завышена.

Более часто используется другой метод, логически основанный на параллельных формах, — метод внутренней непротиворечивости. В этом случае не требуется разрабатывать двух вариантов одного и того же теста; тест делится на две части (например, на задания с чет­ными и нечетными номерами). Затем выявляется корреляция резуль­татов, полученных при выполнении каждой половины теста, между собой. Основным преимуществом этой формы оценки надежности является удобство ее проведения, позволяющее снизить общую сум­му затрат. Однако важно учитывать и то, что такая форма оценки на­дежности имеет свои минусы. Говоря простым языком, деление на два пункта, используемых для определения показателей на любой шкале, снижает надежность оценки, поскольку короткая шкала менее надеж­на, чем длинная. Такие отклонения при оценивании могут быть скор­ректированы по формуле Спермана— Брауна (см. Smith and Robert­son, 1993). Однако на практике применение таких компьютерных про­грамм, как SPSS («Пакет статистических программ для применения в сфере социальных наук», Statistical Package for Social Sciences) позво­ляет избавиться от необходимости использовать эту формулу, по­скольку оценку надежности можно получить с помощью операций, в которых учитываются все задания теста. Наиболее распространен­ными показателями внутренней непротиворечивости являются аль­фа Кронбаха (Cronbach, 1951), использующаяся в случаях, когда эле­менты теста оцениваются при помощи какой-либо рейтинговой шка­лы, а также индекс Кулера-Ричардсона (Knder-Richardson, 1937), который используется, если оценивание производится но принципу «да или нет». В действительности оба метода позволяют подсчитать среднее значение для любого возможного показателя надежности средства оценивания при помощи разделения результатов задания на две равные части, хотя получаем ый в 11тоге результат несколько завы­шений (приблизительно на 3%) указывает общую надежность метода. Метод внутренней непротиворечивости, включающий использование альфы Кронбаха или показателя Кудера-Ричардсона, является наибо­лее распространенным из всех методов оценки надежности, применя­емых издателями тестов.

Другой важной формой оценки надежности, которую мы видели на примере компании «Грейтплей», является_межэкспертная надежность (inter-rater reliability); она показывает степень согласия оценивающих

3'

68 ■ Глава 4. Оценочные стандарты для методов отбора персонала

между собой. Способ в основном применяется для определения на­дежности собеседований или других методов отбора, в основе кото­рых лежит субъективная оценка. Как правило, оценщики проходят обучение тому, как следует применять какую-либо систему однознач­ного оценивания. Затем двое оценщиков определяют баллы для не­большой репрезентативной выборки результатов прохождения про­цедуры отбора. Любые возникшие расхождения обсуждаются, и в ито­ге оба оценщика приходят к единому мнению по поводу проведения балльной оценки конкретных аспектов. Затем оба оценщика незави­симо друг от друга проводят оценивание всех кандидатов, после чего осуществляется корреляция результатов, полученных одним из оцен­щиков, с результатами, полученными другим. Желательно, чтобы ко­эффициент межзкеиертпой надежности оказался более 0,8, т. е. согла­сие оценщиков составило 80%. Если выявлен показатель ниже этой отметки, это говорит о наличии некоторых проблем. Очевидно, что чем ниже коэффициент надежности, тем о более серьезных пробле­мах это свидетельствует. Наиболее вероятная причина несоответствий бывает вызвана тем, что, несмотря на первоначальную договоренность по поводу того, как, оценивая качества кандидата, начислять баллы по конкретным аспектам, разные люди, занимающиеся отбором пер­сонала, при определении своих оценок полагаются на слегка различ­ные критерии. Например, для одного из оценщиков более важным ока­жется наличие определенного уровня образования, а для других — практически опыт реальной работы. В других случаях может оказать­ся, что один из оценщиков будет более снисходителен при оценке кандидатов, чем остальные. Вследствие этого очень важно выявить проблемы, возникшие при оценивании и снижающие коэффициент надежности, и принять меры в соответствующем направлении. Ис­пользование ненадежных методов измерения может привести к ошиб­кам, которые дорого обойдутся организации.