Анализзаданий

Анализзаданийпорезультатам,полученнымвпилотажномисследовании,имеет своейцельюотборнаилучшихзаданийдляокончательной версииопросника и включает всебя определениедолиответившихправильно (всоответствии склю- чом) и дискриминантности каждогозадания. Первый шагсостоитвтом,чтобы составитьтаблицуанализазаданий(табл.3.3),вкоторойкаждаяколонка (а,b,с, d ит.д.)представляетзадание,акаждаястрока(1,2,3,4,5 ит.д.)—обследуемо- го.Когдаречьидеторазработкеличностныхопросников,втаблицувписывается соответствующийбаллпокаждомузаданию,априэтомимеетсяввиду,чтообрат- ныезадания(спротивоположным содержанием)оцениваютсятакже, какипря- мыезадания,новпротивоположномнаправленииконтинуумаоценок.Затемсум- мируютсябаллыпокаждойклеткедляполученияобщегобаллапокаждомуряду (испытуемые)иобщегобаллапокаждойколонке(задания).

Следующимшагомбудетвычислениепоказателя,определяющегодолюиспы-

туемых,ответившихвсоответствии с«ключом»опросника илии ндексаэффек- тивностизадания1. Этотпоказатель подсчитывается делениемколичества обсле- дуемых,давшихправильный (такназываемый «ключевой»)ответ,наихобщее количество. Видеалtэтотиндексдлякаждогозаданиядолженрасполагаться в интервалеот0,25до0,75,приближаясьвсреднемк0,5длявсегоопросника. Ин- декс,меньшийчем0,25,показывает,чтозаданиенеэффективно потому,чтоочень

таприсутствуютсубтести,предназначенные дляопределения общейосведомленности исостоящие извопросовтипа:«НазовитестолицуУругвая» или«Ктоавтор"Критикичистогоразума"?».Втаких тестахспомощьюиндексасложностиустраняютсятезадания,накоторыеотвечаютпочтивсеиспы- туемые(легкие)ите,накоторыеотвечаютправильнооченьнемногие(сложные).

3.5Анализ заданий 159

немногие обследуемые отвечают нанегоправильно,авыше0,75указывает нато, чтонаданное задание получено слишком много правильных ответов. Втабл.3.3 анализа заданий индекс эффективности длякаждого задания получается следу- ющимобразом: (а) 3/5-0,6; (b) 2/5-0,4;(с)0/5-0; (d) 3/5-0,6и (е) 5/5=1.Из этого следует,чтонужно устранить задания (с)и (е) изокончательной версии опросника.

Также нужноудостовериться,просмотрев результаты втаблице анализа зада- ний,втомчтохороший индекс эффективности,т.е.лежащий где-топосередине междукрайними оценками,непросто означает выборсредних оценок воценоч- номконтинууме каждымиспытуемым,апредставляет собойвариацию различных оценок.

Задания (вопросы,утверждения) толькотогдаследуетвключать вокончатель- нуюверсию опросника,когдаониизмеряют тежесамыеличностные особенно- сти,чтоидругие,предназначенные дляэтогозадания. Дляопределения дискри- минативностизаданий используетсякоэффициент корреляции каждого задания собщимбалломвсеготеста.Чемвышекоэффициент корреляции,темвышедис- криминантность задания,темлучшезадание. Это основной критерий. Какправи- ло,требуетсяминимальная корреляция в 0,2.Задания сотрицательной илинуле- войкорреляцией почтивсегдаисключаются.

Длярасчетаэтогопоказателя чащевсегоприменяется коэффициент произве- дения моментов Пирсона (заметим,чтооннаиболее приемлем дляоценивания заданий,имеющих пятьиболеевариантов ответа,авслучаедихотомических за- даний используется точечно-бисериальная корреляция). Вычисления обычно производятся спомощью специальных компьютерных программ,однако каждый разработчик тестовдолженхотябыодинразпровести расчеты вручную. Этодает возможность проникновения всмыслтого,чтопроисходит сзаданиями теста.Тем читателям,которые попытаются осуществить этупроцедуру,напоминаем,чтоко- эффициенты корреляции всегдаменьше+1ибольше-1.Еслиполученозначение коэффициента,выходящее заграницы этогоинтервала,значит,допущена ошибка врасчетах. Формула коэффициента произведения моментов Пирсона имеетвид:

гдеr—коэффициент корреляции; X —результат покаждому заданию; Y— балл

(результат) повсемутесту; п— количество попарных произведений; 2—сумма.

Длятогочтобыподсчитать коэффициент корреляции произведения моментов

числяется коэффициент корреляции. Нижеследующий пример демонстрирует простойспособполучения этогокоэффициента. Дляизбежания ошибокрекомен- дуетсяповторный подсчет покаждомузаданию.

При решении вопроса овключении задания вокончательную версию теста нужнопринимать во внимание многиефакторы. Вдополнение к изучению эффек- тивности идискриминантности нужно определить токоличество заданий,кото- роепотребуется дляокончательной версии (неменее20-30заданий!) инасколь- кохорошо они «вписываются» вранее созданную длятестарешетку. Например, можно включить задания снизкой дискриминативностыо,еслиимеется немного заданий понекоторой области измерения. Также иногдаимеетсмыслвключение вокончательный вариант опросника задания снедостаточно высоким показате- лемэффективности приусловии,чтоонообладаетдостаточной дискриминантно- стью.Также важно обеспечить приблизительно равное количество прямых иоб- ратных заданий. Дляиспытуемых разных полов необходимо выполнить отдель- ныепроцедуры анализа заданий.

Способы улучшения заданий выясняются какразнаэтойстадииконструирова- ниятеста.Например,изменение формулировки ответавзадании с«иногда»на«все- гда»можетповысить показатель эффективности. Однако этиизменения вовсех вопросах (утверждениях) могутповлиять нанадежность ивалидность теста.Про- цедураанализа заданий даетнеобходимую информацию относительно параметров каждого задания.Темнеменее толькоисследователь можетвынестирешение о том,какой изкритериев наиболее важендляреализации целисоздаваемого теста.

Вначале 1980-хгг.,помимо традиционных процедур анализа заданий,появ- ляются болеесложные,использование которых невозможно бездостаточно мощ- ногокомпьютерного обеспечения. Ктаковым прежде всегоотносится теория«за- дание—ответ» (item responsetheory,IRT). Технические приемы этойтеории,не- смотрянапродолжающиеся дискуссии,сегодня включаются вовновьсоздаваемые

тесты.Однакоречьидетпреждевсегоо тестировании способностей. Наиболее слож- ныепроблемы возникают всвязи спопытками приложения ITR ктестамлично- сти.Безусловно,нельзяутверждать,чтопроцедуры из ITR неприменимы в оценке личности,однакотребуетсярешение многихзадач,преждечемэтатеориязаменит традиционные процедуры анализа заданий подробнее обэтойтеории см.врабо- тахП.Клайна,1994;А.Анастази иС.Урбина,2001;и др.).