Контент-анализа1

Методом экспертных оценок называется совокупность эмпирических процедур, направленных на оценку объекта в определенной шкале путем его экспозиции экспертам (эксперту) с последующей регистрацией их (его) оценочных суждений (Шошин В.П., 1987, с.17).

В.П. Шошин выделяет четыре смысловых инварианта, определяющих метод экспертных оценок: наличие готового объекта, подлежащего оценке; получение оценки объекта путем обращения к высказываниям специально отобранных людей (экспертов); наличие более или менее строгих процедурных правил работы экспертов; наличие заранее обусловленного ассортимента суждений (количественных или качественных), с помощью которых эксперту предписывается выражать свое мнение об объекте, – балльная шкала, классификация и т.д.

Благодаря методу экспертной оценки можно решать разные классы задач. Использование экспертной оценки в процедуре контент-анализа позволяет принять решение типа категоризации (категоризация объекта предусматривает его отнесение к определенному классу в рамках данной классификации); оценить объекты, для которых еще не разработаны или в принципе не могут существовать объективные методы оценки. Например, в психологических исследованиях при анализе текстов свободных самоотчетов к экспертам чаще всего обращаются, когда необходимо оценить результаты выполненных исследовательских шагов:

-правомерность выделения основных смысловых единиц контент-анализа;

-соответствие основных названий категорий контент-анализа их содержанию;

-четкость и однозначность в формулировании формальных признаков категорий контент-анализа;

-обоснованность содержания смысловых единиц.

Кроме этого, экспертов просят произвести идентификацию основных категорий и подкатегорий контент-анализа.

В работе каждого отдельного эксперта можно условно выделить следующие этапы.

I этап. Исследование объекта и наблюдение за ним. Задача этапа – сформировать определенное впечатление об объекте исследования. Этот этап должен быть достаточно длительным.

II этап. Формирование имплицитной оценки. Задача этапа – сформировать впечатление об объекте на уровне имплицитного сознания, не представленного средствами внутренней речи или, тем более, в произносимых словах и иных коммуникативных средствах. Например: эксперту может понравиться или не понравиться название той или иной категории контент-анализа. Или прочитав высказывание «обычно я «водопад», а сейчас скорее озеро спокойное», эксперт, еще не относя его к какой-то конкретной категории, отдает себе отчет в том, что работает с многогранным феноменом, в котором представлены индивидуальные характеристики, эмоциональные переживания субъекта, а также происходит обращение к метафорическому образу.

III этап. Экспликация оценки. Задача эксперта на этом этапе состоит в том, чтобы подыскать для имплицитной оценки наилучшее соответствие в заданной ему системе шкальных значений. На этом этапе происходит перевод с внутреннего, имплицитного «языка» на доступный восприятию язык специальных словесных формулировок. Этот процесс нередко сопряжен с искажением исходной, имплицитной оценки. В. П. Шошин называет три основных источника таких искажений: 1) недостаточная четкость впечатления, которая приводит к более или менее случайному называнию одной из возможных позиций эксплицитной шкалы; 2) неуверенное владение эксплицитной шкалой, недостаточное понимание ее устройства, смысла каждой из ее позиций; 3) сознательное смещение оценки при экспликации. Такое смещение может быть не только данью сложившейся традиции, молчаливого соглашения, но и результатом прямой недобросовестности или, наоборот, стремления застраховать себя от вероятных обвинений в предвзятости (Шошин В.П., 1987).

IV этап. Информационный обмен между экспертами. Задача этапа – оглашение, комментирование своих оценок, обмен мнениями между экспертами.

Эффективность экспертного оценивания зависит от подхода к подбору экспертов и от организации их деятельности.

Рассмотрим основные подходы к формированию экспертной группы.

Экспертные группы могут быть:

-Элитарными. Такая группа формируется из специалистов высшей квалификации, профессиональной элиты в данной области; отличается высоким уровнем профессиональных знаний, способна в короткий срок приходить к определенному мнению по предмету экспертизы. Результаты такой экспертной оценки видимо будут являться наиболее валидными, но сложность практического формирования подобной группы часто заставляет исследователя отказаться от того, чтобы это делать;

-Институциональными. Условием формирования такой группы является заинтересованность в получении данных от специалистов одной и той же организации, научной школы. Группа экспертов может включать в себя или всех сотрудников данной организации или репрезентативную выборку таких работников. Институциональная экспертная группа позволяет получить экспертную оценку специалистов, уже имеющих опыт работы с подобными объектами;

- Псевдоинституциональными. К их числу относят группы, образованные из лиц, откликнувшихся на призыв об участии в экспертизе, специалистов, менее других загруженных работой, добрых знакомых организаторов экспертизы. По мнению Д. Кэмпбелла (1980), такие добровольцы не могут служить источником валидных экспертных данных.

Необходимо отметить, что группа экспертов может состоять из лиц более или менее одного профессионального профиля – и тогда мы имеем дело с профессионально однородной группой. И может включать в себя специалистов, работающих в разных областях, - такую группу экспертов называют составной. При формировании составной группы во внимание принимается лишь перечень аспектов рассматриваемой проблемы. В эту же группу могут быть привлечены специалисты одной и той же профессии, но нескольких противостоящих друг другу школ. Составная группа обычно формируется при работе с элитарными экспертами.

Вместе с тем необходимо отметить, что при отборе экспертов (если нет специальной задачи) предпочтение отдается специалистам, работающим по проблематике, близкой к данному исследованию (Богомолова Н.Н., Стефаненко Н.Г., 1992; Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995).

Каким должен быть количественный состав экспертной группы? Однозначного ответа не существует. Чаще всего количество экспертов варьируется от 3-5 до 7 человек.

На этапе отбора экспертов важно оценить компетентность каждого. Под компетентностью эксперта понимается его способность эффективно участвовать в экспертной процедуре и служить источником доброкачественной информации об объекте экспертизы (Шошин В.П., 1987). Как правило, компетентность складывается из следующих трех компонентов: профессиональная компетентность (уровень осведомленности в данной профессиональной области, умение формировать удовлетворительное по четкости имплицитное представление об объекте экспертизы); к омпетентность в эспликации оценок (умение адекватным образом переводить имплицитные оценки в доступную для окружающих специалистов коммуникативную форму, умение следовать навязанным извне жестким правилам экспликации оценок); с оциально-психологическая компетентность (умение аргументировать свои оценки в устной дискуссии, умение выслушивать и адекватно оценивать суждения коллег – экспертов и т.д.) (Шошин В.П., 1987, с. 49-51). Отдельно отмечается требование к добросовестности эксперта. За этим обычно стоит искренний отказ от каких – либо «нечестных» оценок со стороны эксперта.

Организуя процедуру экспертной оценки, необходимо помнить, что основная задача на этом этапе – обеспечить максимально высокую валидность (степень приближения к истине – реальной или гипотетической) результатов экспертизы. Для этого необходимо четко сформулировать экспертную задачу, сформировать экспертную группу, проинструктировать членов экспертной группы относительно задач экспертизы, порядка работы экспертов, включая процедуру ознакомления с объектом и способы экспликации суждений. Следовательно, с каждым экспертом необходимо обстоятельно провести инструктаж об основных правилах намечаемой процедуры. Особое внимание при этом следует уделить выполнению правил экспликации оценок.

Сама подготовка экспертов может производиться на материале, сходным с тем, который предполагается предъявлять для экспертной оценки. Если этим пренебречь, то в итоге эксперт будет ориентироваться главным образом на свои собственные представления. Например, в исследовании особенностей познания внутреннего мира психологом были выделены следующие категории контент-анализа: физиологические проявления, эмоциональные явления, психические процессы, индивидуальные характеристики, мотивационная сфера, волевая сфера, действия, внешние явления, метафорический образ (Шиленкова Н.А., 2003). При этом один из экспертов отнес высказывание «На улице холодно, падает снег» к категории «эмоциональные явления» (вместо категории «внешние явления»). Представляется, что серьезный инструктаж и тренировка в распределении высказываний по категориям позволили избежать столь досадных разногласий с экспертом.

Обдумывая организацию процедуры экспертного оценивания, важно учитывать источники риска для валидности экспертных оценок (табл. 3).

Таблица 3.

Источники риска для валидности

экспертных оценок и способы их преодоления

Организовывая экспертную оценку в процедуре контент-анализа, перед экспертами можно ставить следующие задачи:

-самостоятельно выделить основные категории контент-анализа в анализируемом тексте. В этом случае экспертная оценка потребует большего времени для ее реализации, специальной организации обсуждения между экспертами, а также высокого профессионализма экспертов;

-ознакомиться с объектом исследования, кодировочной инструкцией (включающей в себя формальные признаки категорий и основные эмпирические индикаторы этих категорий контент-анализа) и самостоятельно распределить основные единицы контент-анализа по соответствующим категориям.

-ознакомиться с кодировочной инструкцией, предложенным списком уже распределенных по категориям и подкатегориям смысловых единиц контент-анализа и выразить свое согласие / несогласие с правомерностью отнесения последних к тем или иным категориям (подкатегориям). Данная процедура потребует меньших временных затрат, она более проста в реализации, но, по нашему мнению, включает в себя и больше источников риска для валидизации.

Еще одним важным вопросом для проведения экспертного оценивания является вопрос, касающийся уровня согласованности экспертов. Так, Н. Н. Богомолова и Н. Г. Стефаненко считают, что расхождение у экспертов не выше 5% позволяет говорить о надежных результатах. Вместе с тем авторы отмечают, что высокая надежность обычно свойственна простым формам контент-анализа: «Усложнение, более тонкая дифференциация категорий связаны с понижением надежности, однако это дает большую информацию об объекте исследования» (Богомолова Н.Н., Стефаненко Н.Г., 1992, с. 27). Т. Н. Ушакова, В. В. Латынов, А. А. Павлова, Н. Д. Павлова, осуществляя экспертную оценку адекватности трактовки интенций, приводят проценты совпадений оценок экспертов от 100% до 25% и 37,5% (по разным категориям) и считают, что применяемый метод анализа текста позволяет со значительной степенью объективности характеризовать его интенциональное содержание (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995, с. 40-41). Справедливости ради необходимо сказать, что полученные результаты экспертной оценки авторы пытаются проанализировать и сделать выводы о столь разных совпадениях у экспертов.

Описание результатов экспертной оценки должно включать в себя:

1.Теоретические основания проведения экспертной оценки.

2.Кодировочную инструкцию.

3.Описание задач, которые ставились перед экспертами; инструкций, предложенных экспертам.

4.Описание экспертной группы.

5.Обозначение критериев для отбора объектов экспертного оценивания.

6.Результаты экспертизы по каждой из поставленных задач.

7.Анализ результатов и выводы.

Пример описания процедуры и результатов

экспертной оценки

В диссертационном исследовании Н. А. Шиленковой «Метод интроспекции в познании внутреннего мира психолога» изучались особенности интроспективного познания внутреннего мира профессиональным психологом (в отличие от не психолога). В качестве одного из эмпирических методов применялся метод интроспективного самоотчета; при обработке полученных от испытуемых интроспективных самоотчетов использовался метод контент-анализа.

Правомерность использования выделенных категорий для анализа проверялась посредством осуществления процедуры экспертного оценивания (Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д., 1995; Богомолова Н.Н., Стефаненко Н.Г., 1992). Экспертам были представлены таблица, содержащая описание категорий контент-анализа интроспективных самоотчетов (Таблица 4), таблица эмпирических индикаторов категорий контент-анализа (Таблица 5).

Таблица 4.

Описание категорий контент-анализа

текстов интроспективных самоотчетов

Таблица 5.

Эмпирические индикаторы категорий контент-анализа текстов интроспективных самоотчетов

Перед экспертами ставились 3 задачи: 1. Выделить в текстах свободных самоотчетов законченные по смыслу высказывания, суждения испытуемых; 2.Произвести идентификацию категорий контент-анализа; 3. Произвести идентификацию подкатегорий контент-анализа.

Группа экспертов состояла из 4 человек, имеющих психологическое образование (преподаватели кафедры психологии Пермского государственного университета, практические психологи). Для анализа экспертам была предложена выборка текстов, случайно отобранных из общего массива, с инструкцией выделить в них законченные по смыслу высказывания и распределить их по соответствующим категориям. Для выполнения третьей задачи экспертам предлагались таблицы уже выделенных в текстах самоотчетов категорий контент-анализа с инструкцией распределить их по соответствующим подкатегориям.

Ниже приводятся результаты проведенной экспертизы:

§ Оценка адекватности выделения в текстах свободных самоотчетов законченных по смыслу высказываний, суждений испытуемых представлены в таблице 6.

Таблица 6.

Степень согласованности экспертов с выделением единиц контент-анализа

Общий процент совпадений у 4-х экспертов составил 92,7%, т.е. за незначительным исключением эксперты были согласны с выделением единиц контент-анализа.

Анализ полученных результатов показал, что выделение экспертами законченных по смыслу высказываний, содержащихся в одном предложении или предъявленных через запятую, не вызывал трудностей при работе с эмоциональными явлениями (даже близкими по своему содержанию); и наоборот, вызывал трудности при работе с физиологическими проявлениями и мотивационной сферой. Например: высказывание «Самочувствие хорошее; в теле приятные ощущения в области плеч» было идентифицировано как одно законченное по смыслу высказывание; высказывания «Писать не хочу, хочу петь»; «Желание сходить куда-нибудь, пообщаться с хорошими людьми» также были идентифицированы некоторыми экспертами как одно законченное высказывание. Это свидетельствует о необходимости в дальнейшем предъявлять экспертам наряду с инструкцией конкретные примеры выделения единиц контент-анализа.

§ Оценка адекватности идентификации категорий контент-анализа.

А) степень согласованности экспертов по идентификации категорий контент-анализа: общий процент совпадений – 87,8%; распределение совпадений по экспертам: I – 93,3%; II – 83,3; III – 93,3; IV- 81,3%.

Б) степень согласованности экспертов по каждой из категорий контент-анализа:

Физиологические проявления. Общий процент совпадений – 90,6%; распределение совпадений по экспертам: I –100%; II – 87,5%; III – 93,6%; IV – 81,25%.

Эмоциональные явления. Общий процент совпадений – 88,5%; распределение совпадений по экспертам: I – 99,2%; II – 79,8%; III – 96,8%; IV – 78,2%.

Познавательные психические процессы. Общий процент совпадений – 77,5%; распределение совпадений по экспертам: I – 62%; II – 86,2%; III – 86,2%; IV – 75,9%.

Индивидуальные характеристики. Общий процент совпадений – 95%; распределение совпадений по экспертам: I – 100%; II – 100%; III – 80%; IV – 100%.

Мотивационная сфера. Общий процент совпадений – 91,3%; распределение совпадений по экспертам: I – 90,4%; II – 92,3%; III – 92,3%; IV – 90,4%.

Волевая сфера. Общий процент совпадений – 80%; распределение совпадений по экспертам: I – 90%; II – 70%, III – 80%; IV – 80%.

Действия. Общий процент совпадений – 70,7%; распределение совпадений по экспертам: I – 66,7%; II – 66,7%; III – 100%; IV – 66,7%.

Внешние явления. Общий процент совпадений – 75%; распределение совпадений по экспертам: I – 77,8%; II – 66,7%; III – 88,9%; IV – 77,8%.

Метафорический образ. Общий процент совпадений – 75%; распределение по экспертам: I – 60%; II – 80%; III – 80%; IV – 80%.

Таким образом, общий процент согласованности экспертов по идентификации категорий контент-анализа позволяет говорить о возможности со значительной степенью объективности осуществлять распределение высказываний по предложенным категориям. Наибольшее согласие достигается при идентификации индивидуальных характеристик, мотивационной сферы, физиологических проявлений, эмоциональных явлений. Относительно невысокий процент согласованности по категориям «действия», «волевая сфера», «внешние явления», «метафорический образ» может быть объяснен недостаточной представленностью в предложенных для экспертизы текстах индикаторов перечисленных категорий (3, 10, 9, 5 – соответственно).

Несогласие экспертов с идентификацией той или иной категории контент-анализа в ряде случаев объяснялось тем, что описание категории предъявлялось в наиболее обобщенной форме, что давало экспертам некоторую свободу при интерпретации и было интересным на данном этапе исследования. Например, высказывание: «На улице холодно, падает снег» одним из экспертов было отнесено к эмоциональным явлениям, а не к категории, отражающей наблюдения за внешними явлениями. Или высказывание «Интерес к происходящему» отнесено к мотивационной сфере, а не к эмоциональным явлениям. Таким образом, анализ полученных экспертных оценок показал необходимость предоставления более детального описания каждой категории контент-анализа с приведением конкретных примеров, представляющих эмпирические индикаторы.

Date: 2015-07-02; view: 715; Нарушение авторских прав