Этапы проектирования теста

1. Определение цели применения теста.

В зависимости от цели тест применяется в шести случаях:

– для постановки психиатрического, психологического диагноза;

– для классификации специалистов;

– в дифференциальной психодиагностике при поиске и определении индивидуальных различий между людьми;

– для расстановки и перестановки кадров;

– в ходе профориентационной работы;

– для подбора и профотбора кадров.

5. Предметная направленность теста.

Тест может измерять следующие характеристики:

– внешнее поведение или внутреннее состояние;

– свойства, черты, качества, процессы, состояния, образования или особенности личности;

– сложная (комплексная) или простая характеристика личности;

– выраженность, частота или интенсивность проявления психической характеристики.

В зависимости от предметной направленности может планироваться разработка единичного теста, батареи, системы или набора тестов. В соответствии с предметной направленностью выбирается соответствующий стимульный материал.

6. Выбор и определение стимульного материала теста.

Стимульно-инструктивная ситуация изменяется в зависимости от рада параметров:

а) Форма задания (пунктов) теста: цифры, задачи, фигуры, картинки, схемы, рисунки, буквы, символы, сюжеты, фрагменты, цвета, графики;

б) Вопросительная форма или утверждения (может быть и смешанный тип).

в) Реакция или ее отсутствие. В общем требуется реакция на стимул. Но это не всегда так, как, например, в тестах на чувствительность к боли.

г) Ограниченность-неограниченность способов реагирования. В тестировании не известны случаи неограниченного разнообразия ответов. Предполагается, что испытуемые не будут жевать материал тестов, или портить его. Однако ответы могут быть относительно свободными, как, например, в проективных тестах, или с накладываемыми на них ограничениями, как при измерении времени реакции.

д) Наличие вариантов выбора решения или свободно продуцируемый ответ. Примером первых являются ответы типа “правда/неправда”, а примером последних – описание рисунков ТАТ (теста тематической апперцепции).

е) Единичность или повторяемость ответов.

ж) Последовательность ответов: упорядоченная или неупорядоченная. Это относится к тому, до какой степени от испытуемых требуется давать ответы в определенном порядке.

з) Однородность или разнородность ответов. В некоторых тестах требуются ответы одного и того же вида, а в других предусмотрены ответы различных типов.

и) Естественность темпа или ограниченность времени на ответы.

к) Завершенность (окончательность) реакции или реагирование на реакцию. Испытуемый реагирует либо на материал теста, либо на свою собственную реакцию, например, тот или иной стимул как-либо оценивается, вызывает ассоциации или воспоминания.

л) Наличие явного или неявного смысла заданий. Некоторые тесты не имеют никакого вне их лежащего значения, такие параметры как измеряющие время реакции. Однако в определенных тестах (там, где интересуются мнением о чем-либо) это присутствует. Большинство видов искажений и сложностей возникают именно в тех тестах, значение которых неявно.

м) Представление теста в виде отдельных заданий или целостное представление. Этот параметр касается различий между тестами, состоящими из отдельных заданий или из одного единственного.

н) Психологическая сущность действия, необходимого для выполнения задания. Этот параметр учитывает, требуется ли для ответа: а) знания; б) мнение о чувствах, отношениях; или в) опознание или распознание.

о) Различие в мотивах приемлемости ситуации тестирования.

п) Различия в свободе выхода из ситуации тестирования.

Вышесказанное обусловливает существование 25130 типов стимульно-инструктивных ситуаций.

7. Отбор и оценивание заданий.

Тестовые задачи – отдельные задания (пункты) методики, служащие в совокупности для моделирования исследуемой деятельности, актуализации изучаемых психологических качеств, анализа установок и отношений личности и т.д.

При составлении набора заданий наиболее типичным является решение вопросов выбора трудности заданий теста, внутренней согласованности, надежности частей и всей совокупности пунктов, факторной нагрузки отдельных заданий и их комплексов, анализ широкого спектра характеристик валидности выбираемых групп заданий теста.

Однородный и дискриминативный тест может быть получен путем отбора заданий, имеющих высокую корреляцию с общим показателем и, помимо этого, долю правильно ответивших (в соответствии с “ключом”) испытуемых в пределах 80% – 20%.

Кроме этого задания теста должны удовлетворять следующим требованиям:

– легкость запоминания;

– относительная новизна для испытуемых по способу решения и содержанию;

– лаконичность;

– минимальная вероятность случайного решения;

– экономичность с точки зрения времени выполнения (для тестов скорости время выполнения одного задания должно быть минимальным).[6]

8. Определение формы ответов на задания.

Могут быть использованы четыре формы ответов:

а) Выражающие отношения: согласия, неопределенности, отрицания;

б) ответы как проекция актуальных, ретроспективных или перспективных состояний испытуемого, его отношений на стимульный материал;

в) как свободная интерпретация заданий или вопросов;

г) как выбор из вариантов ответов предпочитаемого. При составлении заданий, необходимо помнить, что изменение формы ответа влияет на валидность методики. Формы ответов должны быть стандартизированы, где это возможно.

Параметры, лежащие в основе оценивания ответов.

1. Объективность или субъективность оценивания. Этот момент касается в основном тех тестов, в которых используются задания на самооценку. Будет ли ответ испытуемого оцениваться так, как это предполагается инструкцией или каким-либо неизвестным для него образом? Например, испытуемого просят высказать субъективное отношение, оценку каким-либо действиям других людей, а на самом деле оценивается общая тенденция давать негативную оценку.

2. Целостное поведение (весь организм) или физиологическая реакция (часть организма). Типичной физиологической реакцией может быть покраснение от смущения или тремор.

3. Измерение одного возможного ответа или классификация разнообразных ответов (параметрическое оценивание или непараметрическое). Параметрическими измеряются такие особенности ответа, как время, количество ошибок, повторений. Непараметрическими раскрывается количество и разнообразие классов ответов. В этом смысле многие тесты на креативность оцениваются непараметрическими.

4. Общее количество ответов или часть, соответствующая некоторому критерию. Это пересекается с описанным выше третьим параметром, поскольку различные оценки могут быть любой из указанных здесь категорий.

5. Единый однородный показатель или разнотипные относительные показатели. Определить единый показатель можно только тогда, когда тест оценивается в целом, как в случае личностных опросников. Разнотипные относительные показатели могут определяться в следующих формах: различия во времени выполнения первой и второй частей теста; запоминание материала при обычных условиях и при отвлекающих обстоятельствах.

6. Нормативное или личностное (ипсативное) оценивание.

Ипсативное оценивание основывается на показателе, допускающем сравнение выраженности тех или иных психологических особенностей относительно самого обследуемого (в отличие от нормативных, дающих внешние сравнения относительно нормативной выборки).

Нормативное оценивание – подход к оценке и интерпретации измеряемых тестом показателей, отражающих особенности личности или поведения, путем сравнения индивидуальных результатов со статистическими значениями нормативной выборки. Положительные стороны нормативного оценивания: возможность ранжирования испытуемых, относительная доступность интерпретации. Недостатки связаны с эмпиричностью рассчитываемых показателей, определенной условностью перенесения выборочных данных на индивидуальное обследование.

9. Поиск, выделение и обоснование критериев валидизации методики.

Концептуальная валидизация включает проверку теоретической обоснованности конструктов (концептов) теста, сравнение их с уже известными теориями, общепринятыми и общеизвестными положениями. Один из вариантов валидизации, когда эксперты оценивают по 5-балльной шкале каждое задание теста на предмет соотнесенности этих заданий с теорией.

Валидизация эмпирическая – это выявление наиболее репрезентативных для исследуемой характеристики личности признаков поведения и деятельности человека. Критерий валидизации – признак, независимый от валидизируемого теста, хорошо (достаточно надежно, полно) отражающий меру изучаемого качества (свойства, процесса).

В качестве критериев валидизации на практике обычно используют:

– объективные социально–демографические и биографические данные (стаж, образование, профессия, прием или увольнение с работы);

– показатели успеваемости, чаще всего являющиеся критериальной мерой тестов способности к обучению, достижений в отдельных дисциплинах, тестов интеллекта;

– производственные показатели эффективности выполнения отдельных видов профессиональной деятельности, имеющие наибольшее значение при валидизации методик, используемых в профотборе и профориентации;

– результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, тестов личности;

– врачебный диагноз и другие заключения специалиста;

– контрольные испытания знаний и умений;

– данные других методик и тестов, валидность которых считается установленной.

Среди многообразия видов критериев валидизации можно выделить две группы:

– объективные (относительно независимые от субъективных мнений, оценок людей);

– субъективные критерии (оценки, суждения, заключения об объекте исследования, сделанные экспертом, например, педагогом, руководителем, психологом и т.п.).

В случае использования субъективных критериев индивидуальная оценка и заключение экспертом делается на основе предложенной ему оценочной шкалы. Объективность критерия валидизации достигается увеличением числа экспертов. Кроме того, эксперты не должны быть знакомы с информацией, полученной об испытуемых по другим методикам (см. понятие “контаминация критерия”), так как знание результата испытуемого по тесту может сказываться на оценке его успехов в реальной деятельности.

Требования к критерию валидизации:

– устойчивость (т.е. не должен изменяться);

– надежность;

– адекватность (соответствие его содержания, формы исследуемой характеристике);

– дифференцирующая способность критерия (способность с его помощью отграничивать данную характеристику от тех, которые ею не являются).

Примечание:

– критерий должен иметь нормальное распределение, описанное кривой Гаусса;

– критериев может быть выделено много, но каждый валидизирует тест отдельно;

– от точности определения внешнего критерия зависит валидность теста.

Чем более сложным, комплексным является изучаемое психическое явление, тем шире, обобщеннее, должен быть критерий. Например, при обосновании теста на интеллект в качестве критерия валидизации может выступать эффективность учебной, производственной, научной деятельности; при валидизации методики для исследования экстраверсии-интроверсии – экспертные оценки таких личностных характеристик, как общительность, жизнерадостность, социальная ответственность и пр.

Последовательность поиска и выделения критериев:

– изучается максимально возможный перечень критериев в реальной жизнедеятельности популяции, связанных с изучаемым свойством;

– выделяется из них наиболее практичный и репрезентативный;

– оценивается соответствие критерия требованиям его устойчивости, надежности, адекватности, дифференцирующей способности;

– анализируется корреляция с выбранным критерием отдельного теста, каждого теста в батарее и в целом батареи тестов (в зависимости от корреляции каждого теста с внешним критерием определяется корреляционная значимость каждого теста).

Использование экспертных оценок в качестве критерия валидизации включает четыре возможных метода проведения процедуры валидизации.

а) Коллективная оценка. При коллективной оценке эксперты совместно оценивают объект с помощью оценочной шкалы. Выбор оценочных шкал чаще всего осуществляется по принципу наибольшего удобства для эксперта. Условием коллективной оценки является выработка общего компромиссного мнения. При таком способе оценивания результат весьма зависим от личностных особенностей и характера группового взаимодействия экспертов.

б) Метод средневзвешенной оценки. В данном случае каждый испытуемый оценивается несколькими экспертами независимо друг от друга. Затем полученные оценки усредняются.

в) Метод ранжирования. Этот метод заключается в том, что несколько экспертов независимо друг от друга или совместно распределяют всех членов выборки на группы по степени выраженности оцениваемого признака. Полученные ранговые места при независимом оценивании могут быть также усреднены.

г) Метод парного сравнения. Здесь задача экспертов состоит в попарной расстановке субъектов по позициям альтернативных признаков (“общтельный – замкнутый” или выраженность большая – меньшая предложенного для оценки качества). Показателем места, занимаемого испытуемым в ряду других, служит общее число предпочтений этого субъекта по сравнению с другими по данным всех экспертов. Этот показатель может быть приведен к числу экспертов и числу сравниваемых испытуемых и вычислен в процентах. Для расчета применяется формула Дж. Гилфорда

где В – число предпочтений, N – число экспертов, n – количество сравниваемых объектов.

С выделением критерия валидизации тесно связан критериально-ключевой принцип – принцип конструирования тестов на основе обнаружения (эмпирического) психологических признаков, позволяющих дифференцировать релевантные критериальные группы от контрольных. То есть для включения в субтест (шкалу) отбираются лишь те задания, которые, будучи тесно связаны с внешним критерием, хорошо дифференцируют на группы испытуемых, например, с тем или иным клиническим диагнозом и здоровых людей.

Другой принцип конструирования тестов на основе выявления ограниченного, определяемого разработчиком круга факторов, носит название факторно-аналитического принципа. В данном случае при разработке теста корреляционному анализу подвергаются связи между заданиями, и в тесте оставляют только те из них, которые коррелируют с общим фактором.

10. Расчет временных параметров теста.

Для расчета временных параметров следует уяснить:

– необходимо или нет ограничение по времени для испытуемых;

– учесть сложность и длину методики (количество заданий);

– учесть необходимые затраты на инструктирование, работу испытуемых со стимульным материалом и обработку результатов;

– если тестирование проводится с использованием ЭВМ, то осуществляются отдельные расчеты.

Расчет времени носит сугубо предварительный характер. После экспериментальной работы временные параметры теста уточняются. Обычно на работу с одним тестом должно уходить времени не более двух – двух с половиной часов с перерывами.

11. Определение условий применения теста.

Определяются 2 группы условий:

а) организационные:

– учет квалификации экспериментатора (разработчик психодиагностической методики, пользователь-профессионал, пользователь-неспециалист);

– отношения с испытуемыми (добровольные-обязательные, бесплатные – за оплату);

б) материально-технические:

– необходимость специально оборудованного помещения;

– компьютеризованный, бланковый или смешанный варианты методики;

– необходимость аудио-, видеоаппаратуры;

– стандартные для всех испытуемых условия.

12. Формирование исследовательской выборки.

Наиболее важными здесь являются две процедуры:

– определение необходимого количества выборок (лучше 2–3);

– определение их количественных и качественных характеристик.

13. Компоновка и оформление бланков, буклетов со стимульным материалом.

Последовательность работы:

– составление композиционной схемы;

– наполнение композиционной схемы стимульным материалом.

Примечание:

– стимульный материал должен быть оформлен в соответствии с нормативными требованиями по форме, размеру, цвету, расположению. Размеры всех знаков и стимулов должны при этом обеспечивать хорошее восприятие без коррекции зрения.

14. Разработка ключей, инструкций и интерпретационных схем.

Инструкция – руководство по выполнению заданий теста, предъявляемое испытуемому письменно, устно или с помощью компьютера и направленное на создание адекватной мотивации, установки субъекта на обследование. Инструкция помещается как правило на первом листе.

Наряду с инструкцией испытуемому составляются также инструкции экспериментатору. Инструкция не должна быть перегружена деталями и подробностями. Формулировки не должны содержать двусмысленных оттенков. Неадекватная инструкция может существенно повлиять на очевидную валидность методики, сказаться на результативности выполнения заданий теста. В ряде случаев перед инструкцией стоит задача камуфлирования истинных целей обследования и показателей, на диагностику которых ориентирован тест.

Схема интерпретации результатов должна позволить составить итоговое заключение психолога. При этом существуют три вида заключений:

– описательное (психологическая характеристика обследуемого);

– консультационное (делается прогноз дальнейшего развития);

– оценочное (в виде балльной оценки изучаемого свойства).