Понятие надежности теста

Надежность теста – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов.

В качестве критериев надежности можно отметить следующие:

1) при повторном применении метода к тем же самым испытуемым в одних и тех же либо измененных условиях через определенный интервал времени результаты обоих тестирований существенно не различаются между собой. Под измененными имеется в виду следующие условия: другой экспериментатор, состояние респондента и др.

2) действия случайных посторонних факторов не оказывают существенного влияния на результаты тестирования. Такие посторонние случайные факторы еще называют факторами нестабильности измерительной процедуры.

Общий разброс (дисперсию) результатов произведенных измерений можно представить как результат суммирования двух источников разнообразия: самого измеряемого свойства и нестабильности измерительной процедуры, обусловливающей наличие ошибки измерения.

К числу таких факторов следует отнести:

– разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (время суток, освещенность, температура в помещении, наличие посторонних звуков, отвлекающих внимание и т.п.);

– динамичные внутренние факторы, по разному действующие на разных испытуемых в ходе тестирования (время так называемой “врабатываемости” – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость утомления и т.п.);

– информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование, возможное наличие других людей в помещении, наличие предыдущего опыта знакомства с данным тестом, наличие какого-то знания и отношения к тестам вообще и т.п.).

Разнообразие и изменчивость этих факторов обусловливают появление у испытуемых непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы в принципе получить в идеальных условиях). Средняя относительная величина этого отклонения определяется как “ стандартная ошибка измерения ” (Se). Таким образом, стандартная ошибка измерения – средняя относительная величина отклонения тестового балла от истинного вследствие действия факторов, связанных с изменчивостью самого измеряемого свойства и нестабильности измерительной процедуры. Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы.

Ошибка измерения (Se) и надежность измерения (R), согласно общепринятой психометрической теории, связаны следующей формулой:

R = 1 – Se²/Sx 2, где Sx – дисперсия тестовых показателей Х.

Источниками неудовлетворительной надежности также являются:

1. Субъективное оценивание. Субъективное оценивание является общим источником ошибок. При таком оценивании допускаются различия между результатами различных экспериментаторов и между результатами работы одного и того же экспериментатора в разных случаях. Решением этой проблемы будет использование только тех типов заданий, результаты выполнения которых могут быть обработаны объективно. При использовании таких типов заданий источником неудовлетворительной надежности может стать только случайная ошибка при подсчетах.

2. Угадывание. Влияние угадывания испытуемыми правильного ответа снижается с увеличением общего количества заданий теста.

3. Понятность заданий. Использование понятных, недвусмысленных заданий увеличивает надежность тестов.

4. Величина теста. Чем длиннее тест, тем он надежнее. Для удовлетворительной надежности достаточно 20 заданий.

5. Инструкции к тесту. Инструкции к тесту должны быть недвусмысленными и понятными. При помощи инструкций можно легко изменить уровень трудности заданий.

6. Неудовлетворительная ретестовая надежность. Ошибки, допускаемые при проведении повторного тестирования (изменения в условиях тестирования, вариации в самочувствии испытуемых и пр.), обычно являются источником неудовлетворительной ретестовой надежности.

7. Другие источники ошибок. Обычно к ним относят состояния испытуемых, которые могут являться причиной неудовлетворительной надежности теста.

Таким образом, тест называется надежным, если он является внутренне согласованным, а также, если он дает одни и те же показатели для каждого испытуемого при повторном тестировании. Исходя из этого, выделяются следующие типы характеристик надежности: ретестовая надежность, надежность параллельных форм, надежность частей теста. С выделенными типами тесно связаны и способы определения надежности теста.

Надежность при повторном обследовании испытуемых по прошествии времени с помощью одного и того же теста называется ретестовой надежностью. За индекс надежности принимается коэффициент корреляции между результатами двух тестирований одной и той же выборки испытуемых. Наименьшим удовлетворительным значением для ретестовой надежности является 0,7.

Общая формула ретестового метода следующая:

ТЕСТ → ИНТЕРВАЛ → РЕТЕСТ

Временной интервал зависит от возраста (например, у маленьких детей изменения могут произойти в течение одного месяца), а также событий, происходящих с испытуемым в жизни.

Существует два пути вычисления ретестовой надежности: с применением одного и того же теста и с применением двух взаимозаменяемых форм данного теста одним и тем же испытуемым. Однако на практике довольно трудно обеспечить идентичность характеристик задания.

Недостатком применения одного и того же теста является то, что испытуемые помнят свои ответы (если тестирование проводят спустя непродолжительное время). Если же тестирование провести через значительное время, то это уже будут “не те” испытуемые. Полученная высокая корреляция может быть результатом тренированности испытуемого на заданиях подобного типа; низкая корреляция может быть результатом происшедших изменений с испытуемым, а также может свидетельствовать о ненадежности теста.

Надежность по внутренней согласованности – способ определения надежности, опирающейся на оценку степени выраженности интеркорреляционных связей между заданиями, составляющими тест. В данном случае истинный показатель по тесту понимается как результат, который получил бы испытуемый, если бы ему были предъявлены все возможные задания, относящиеся к черте или свойству, являющемуся объектом тестирования.

Внутренняя согласованность – это характеристика теста, указывающая на степень однородности состава заданий с точки зрения измеряемого качества. Степень внутренней согласованности измеряется значением корреляции между всеми заданиями теста. Однородность, в свою очередь, характеризует степень соответствия всех заданий измеряемой черте или свойству (определяется как средняя корреляция между заданиями теста).

Один из возможных вариантов измерения надежности теста по внутренней согласованности представляет собой коррелирование параллельных форм теста (четная и нечетная половины теста). Надежность параллельных форм – характеристика надежности методики с помощью взаимозаменяемых форм теста.

Для выявления надежности параллельных (взаимозаменяемых) форм проводится повторное тестирование выборки испытуемых параллельной формой теста через минимальный интервал времени при одних и тех же условиях. Общая формула следующая:

ТЕСТ А → ИНТЕРВАЛ → ТЕСТ А’

За индекс надежности принимается коэффициент корреляции между результатами тестирования двумя параллельными формами теста. Высокий коэффициент корреляции и большой интервал между двумя испытаниями свидетельствуют о высокой надежности теста. Значение происходящих изменений между двумя испытаниями не играют здесь значительной роли (как в случае с ретестовым методом), однако возможно негативное действие фактора научения, или переноса принципа решения задач.

Надежность частей теста – характеристика надежности психодиагностической методики, получаемая путем анализа устойчивости результатов отдельных совокупностей тестовых задач или единичных пунктов (заданий) теста. Наиболее простым и распространенным способом определения надежности частей теста является метод расщепления, суть которого заключается в выполнении испытуемым заданий двух равноценных частей теста. Для оценки надежности методом расщепления выбирают две эквивалентные по характеру и степени трудности группы задач. Разделение объема заданий теста на сопоставимые части достигается:

- распределением заданий на четные и нечетные;

- распределением пунктов по принципу близости или равенства значений индексов трудности и дискриминативности;

- распределением задач по времени решения каждой из частей.