Главная Случайная страница


Полезное:

Как сделать разговор полезным и приятным Как сделать объемную звезду своими руками Как сделать то, что делать не хочется? Как сделать погремушку Как сделать так чтобы женщины сами знакомились с вами Как сделать идею коммерческой Как сделать хорошую растяжку ног? Как сделать наш разум здоровым? Как сделать, чтобы люди обманывали меньше Вопрос 4. Как сделать так, чтобы вас уважали и ценили? Как сделать лучше себе и другим людям Как сделать свидание интересным?


Категории:

АрхитектураАстрономияБиологияГеографияГеологияИнформатикаИскусствоИсторияКулинарияКультураМаркетингМатематикаМедицинаМенеджментОхрана трудаПравоПроизводствоПсихологияРелигияСоциологияСпортТехникаФизикаФилософияХимияЭкологияЭкономикаЭлектроника






Классификация методов социально-психологического воздействия





{по А.Л. Журавлеву, 1990)

Цель воздействия Название группы методов Методы
Оптимизация Оптимизирующие Формирование благоприятного психологического климата, тренинг общения, комплекто­вание совместимых групп
Интенсификация (стимулирование, активизация) Интенсифицирующие Приемы рациональной организации труда, комплектование сработанных групп
Управление Управляющие Психологический отбор, расстановка кадров, планирование жизнедеятел ьности групп
Развитие, формирование Развивающие Групповая подготовка, обучение и воспитание
Предупреждение Профилактические Способы коррекции психологических свойств индивида и группы
Оценка Диагностические Аттестация, самоаттестация
Информирование Информирующие Психологическое консультирование

• разработка «провоцирующих методов» сбора информации, «активной стратегии» исследования, т е. целенаправленное создание в естественных условиях ситуаций социального взаимодействия с целью вызвать (актуализировать) опреде­ленное социально-психологическое явление (например. ситуации конфликта, социальной взаимопомощи и т.п.)

Метод наблюдения. Наблюдение в социальной психологии — ме­тод сбора информации путем непосредственного, целенаправленно-

Предмет, история и методы социальной психологии ____________________4|

го и систематического восприятия и регистрации социально-психо­логических явлений (фактов поведения и деятельности) в естествен­ных или лабораторных условиях. Метод наблюдения может исполь­зоваться как один из центральных, самостоятельных методов иссле­дования. Классические примеры — изучение жизни бродяг Н Ан­дерсона, работы У Уайта по изучению жизни эмигрантов. В Б Оль­шанского по исследованию ценностных ориентации у молодых ра­бочих {Г М Андреева, 1972) Метод наблюдения осуществляется также в целях сбора предварительного материала исследования, а также для контроля полученных эмпирических данных Классифи­кация наблюдения производится по различным основаниям В зави­симости от степени стандартизации техники наблюдения принято выделять две основные разновидности этого метода' стандартизиро­ванное и нестандартизированное наблюдение Стандартизирован­ная техника предполагает наличие разработанного списка призна­ков, которые предстоит наблюдать, определение условий и ситуаций наблюдения, инструкции для наблюдателя, единообразных кодифи­каторов для регистрации наблюдаемых явлений Сбор данных при этом предполагает последующую их обработку и анализ посредством приемов математической статистики. Наиболее известными схе­мами набтюдения являются методики 1РА. СИМЛОГ Р. Бейлза (М А Робер, Ф. Тильман, 1988), схема набгподения за лидер­ством Л Картера, фиксации невербального поведения П. Экмана и др Несгандартизированная техника наблюдения определяетлишь об­щие направления наблюдения, где результат фиксируют в свободной форме, непосредственно в момент восприятия или по памяти Дан­ные этой техники обычно представлены в свободной форме, возмож­на также и их систематизация с помощью формальных процедур.

В зависимости от роли наблюдателя в изучаемой ситуации раз­личают включенное (участвующее) и невключенное (простое) на­блюдение. Включенное наблюдение предполагает взаимодействие наблюдателя с изучаемой группой как полноправного ее члена Ис­следователь имитирует свое вхождение в социальную среду, адапти­руется к ней и наблюдает события в ней как бы «изнутри*. Существу­ют разные виды включенного наблюдения в зависимости от степени информированности членов изучаемой группы о целях и задачах ис­следователя (В Е Семенов, 1987, А А.Ершов, 1977; Г. М.Андреева, 1972) Невключенное наблюдение регистрирует события «со сторо­ны», без взаимодействия и установления отношений с изучаемым лицом или группой Наблюдение может проводиться открытым спо­собом и инкогнито, когда наблюдающий маскирует свои действия

42_____________________________________________________ Глава 1

(Л. А. Петровская, 1977). Главный недостаток включенного наблю­дения связан с воздействием на наблюдателя (его восприятие и ана­лиз) ценностей и норм изучаемой группы. Исследователь рискует ут­ратить необходимую нейтральность и объективность при отборе, опенке и интерпретации данных Типичные ошибки: сокращение впечатлений и их упрощение, банальное их истолкование, реконст­рукция событий к среднему, выпадение «середины» событий и др. Кроме того, вызывают серьезные проблемы трудоемкость и органи­зационная сложность данного метода По условию организации на­блюдения делятся на полевые (наблюдения в естественных услови­ях) и лабораторные (наблюдения в условиях эксперимента). Объек­том наблюдения являются отдельные люди, малые группы и боль­шие социальные общности (например, голпа) и социальные процес­сы, происходящие в них, например, паника. Предметом наблюдения обычно служат вербальные и невербальные акты повеления индиви­да или группы в целом в определенной социальной ситуации. К наи­более типичным вербальным и невербальным характеристикам от­носят1 речевые акты (их содержание, направленность и последова­тельность, частота, продолжительность и интенсивность, а также экспрессивность); выразительные движения (экспрессия глаз, лица, тела и т.п.); физические действия, т.е. касания, толчки, удары, со­вместные действия и т.п. (В А Лабунская, 1986). Иногда наблюда­тель фиксирует происходящие события, используя обобщенные чер­ты, качества человека или наиболее типичные тенденции его пове­дения, например, доминирование, подчинение, дружелюбие, анали­тичность, экспрессивность и т.д. (Р Бейлз. 1979). Вопрос о содержа­нии наблюдения всегда конкретен и зависит от цели наблюдения и теоретических позиций исследователя относительно изучаемого фе­номена. Главная задача исследователя на стадии организации на­блюдения — определить, в каких актах поведения, доступных наблю­дению и фиксации, проявляется интересующее его психологическое явление или свойство, и выбрать наиболее существенные, наиболее полно и достоверно характеризующие его признаки. Выбранные ха­рактеристики поведения (единицы наблюдения) и их кодификаторы составляют так называемую «схему наблюдения» (см. схему Р. Бейлза). Сложность или простота схемы наблюдения влияет на надеж­ность метода. Надежность схемы зависит от числа единиц наблюде­ния (чем их меньше, тем она надежнее); их конкретности (чем при­знак абстрактнее, тем сложнее его фиксировать); сложности умоза­ключений, к которым приходит наблюдатель при классификации выявленных признаков. Надежность схемы наблюдения обычно


Предмет, история и методы социальной психологии __________________43

Проверяют с помошью контроля данных со стороны других наблю­дателей, а также иными методами (например, использование сход­ных схем наблюдения, экспертная оценка) и повторным наблюдени­ем. Результаты наблюдения фиксируются в соответствии со специ­ально подготовленным протоколом наблюдения. Наиболее распро­странены следующие способы регистрации данных наблюдения: дес­криптивный (фактологический), предполагающий фиксацию всех случаев проявления единиц наблюдения; оценочный — когда прояв­ление признаков не только фиксируется, но и оценивается с исполь­зованием шкалы интенсивности и шкапы времени (например, дли­тельность акта поведения). Результаты наблюдения должны быть подвергнуты качественному и количественному анализу и интерпре­тации, К числу приемов обработки данных наблюдения относят ме­тоды классификации и группирования, контент-анализа и др.

Выделяют несколько направлений в изменении классических процедур использования метода: а) отказ от пассивности исследова­теля и модификация естественных ситуаций наблюдения (провоци­рующее наблюдение); б) разработка «нереактивных» методов иссле­дования — исключение влияние наблюдателя, фиксация явления только по его объективным признакам (например, степень изношен­ности объекта, разнообразные следы, отпечатки, количество окурков и т.п.); в) анализ социальных ситуаций — изучение поведения (сти­лей, норм и их нарушений) в типичных социальных ситуациях (на­пример, альтруистическое поведение на дорогах); г) изучение невер­бальных аспектов поведения и др. (В. Е. Семенов, J 987). Основны­ми недостатками метода считают: а) высокий субъективизм при сбо­ре данных, привнесенный наблюдателем (эффекты ореола, контра­ста, снисходительности, моделирования и др.) и наблюдаемыми (эф­фект присутствия наблюдателя); б) преимущественно качественный характер выводов наблюдения; в) относительная ограниченность в обобщении результатов исследования. Пути повышения надежнос­ти результатов наблюдения связаны с использованием надежных схем наблюдения, технических средств фиксации данных, трениров­ки наблюдателя, минимизацией эффекта присутствия наблюдателя (В.Е. Семенов. 1987; А.А. Ершов, 1977).


Метод анализа документов. Данный метод является разновиднос­тью способов анализа продуктов человеческой деятельности. Доку­ментом называют любую информацию, фиксированную в печатном или рукописном тексте, на магнитных или фотоносителях (В. А. Ядов, 1995). Впервые в социальной психологии Применен как основной ме­тод исследования У. Томасом и Ф. Знанецким при изучении фено-

44_______________________________________________ Глава 1

мена социальной установки (Г М Андреева, 1972; В А. Ядов, 1995). Документы различаются по способу фиксации информации (руко­писные, печатные, кино-, фото-, видеодокументы), по целевому на­значению (целевые, естественные), по степени персонификации (личные и безличные), в зависимости от статуса документа (офици­альные и неофициальные). Иногда их также делят по источнику ин­формации на первичные (документы на базе непосредственной ре­гистрации событий) и вторичные документы Предпочтение того или иного вида документа как носителя социально-психологической информации определяется исходя из цели исследования и места до­кументов в общей программе исследования Все методы анализа до кументов разделяются на традиционные (качественные) и формали­зованные (качественно-количественные) В основе любого метода лежат механизмы процесса понимания текста, т. е. интерпретации исследователем информации, содержащейся в документе Количе­ственные методы анализа текстовых материалов получили широкое распространение в 30-40-х годах в связи с разработкой специальной процедуры, названной контент-анализом (дословно термин означает анализ содержания). Контент-анализ — это способ перевода в коли­чественные показатели текстовой информации с последующей ста­тистической ее обработкой (А. Н. Алексеев, 1973, В Е Семенов, 1983; Н Н.Богомолова, 1979, 1991) Полученные с помощью кон­тент-анализа количественные характеристики текста дают возмож­ность сделать выводы о качественном, в том числе латентном (не яв­ном) содержании текста В связи с этим метод контент-анализа не­редко обозначается как качественно-количественный анализ доку­ментов Его основные процедуры были разработаны X. Лассуэллом, Б Берельсоном, Ч. Стоуном, Ч. Осгудом и др В отечественной пси­хологии в 20 - 30-е годы выполнены исследования на основе анало­гичных контент-анализу процедур (В А. Кузчичев, Н А Рыбников, И. Н Шпильрейн и др.)


Основные единицы и процедуры контент-анализа. Процедура контент-анализа предполагает несколько этапов: выделение еди­ниц анализа (качественных и количественных), составление коди-ровочной инструкции, пилотажную кодировку текста, кодировку всего массива исследуемых текстов и расчет количественного соот­ношения единиц анализа в исследуемом тексте, а также интерпре­тацию полученных данных Качественные (смысловые) единицы а) категории — наиболее общие, ключевые понятия, составляющие концептуальную схему исследования, б) подкатегории — частные понятия, раскрывающие смысловое содержание категорий; в) ин-

Предмет, история и методы социальной психологии _________________45

дикаторы — формы выражения смысловых единиц анализа на язы­ке изучаемого текста. Например, в качестве смысловых единиц анализа информации (текстов) о политической избирательной кампании (программы, призывы, публикации в прессе, листовки и т.п.) используют: события, субъекты событий (политические лиде­ры, партии, официальные лица, избиратели и т.п.), их отношение к событиям (за-против, вы годно-не вы годно, хорошо-плохо), инте­ресы, позиции, программы, цели и способы их достижения, уста­новки, ценностные ориентации, деловые и личные качества канди­датов и т.п. Основатель данного метода Г. Лассуэлл применял че­тырехмерную схему анализа текста газет: за себя (рго-х) — против себя (contra-x), за противника (рго-у) — против противника (contra-y). К количественным единицам анализа относят: а) еди­ницы контекста — части текста (предложение, ответ на вопрос, абзац текста), в которых считаются частота и объем употребления категорий; б) единицы счета и объема — пространственные, час­тотные, временные характеристики представленности в тексте смысловых единиц анализа. Процедура проведения контент-ана­лиза требует разработки кодировочной инструкции — описания приемов кодирования текста, способов фиксации и обработки дан­ных (Н. Н. Богомолова, 1991; В. Е.Семенов, 1977; В. А. Ядов, 1995). Она содержит краткое обоснование категорий анализа, соответ­ствующий словарь индикаторов категорий и подкатегорий кон­тент-анализа в терминах исследуемого текста, а также определяют­ся их коды (цифровые или буквенные обозначения) и выбранные единицы количественного анализа. Как правило, в ней описывают­ся формы (специально подготовленные таблицы) рабочей регист­рации частоты и объема упоминания категорий контент-анализа. Пример формы фиксации данных контент-анализа см. ниже. Ко­личественная обработка информации предполагает использование типичных способов статистического анализа данных: распределе­ния и частоты встречаемости категорий анализа, коэффициентов корреляции и др. Разработаны специальные приемы количествен­ной обработки данных контент-анализа. Наиболее известными яв­ляются коэффициенты «совместной встречаемости» категорий, «ассоциаций», «благоприятности опенки», «удельного веса» катего­рии и др. Основная методическая сложность контент-анализа — нахождение в тексте соответствующих смысловых единиц анализа исследуемого явления, а также адекватное их описание. Разработаны процедуры для обоснования полноты выделяемых единиц анализа: метод «снежного кома», метод экспертов (судей), метод независимо-

46_____________________________________________„_______ Глава

Форма рабочей фиксации частоты и объема категорий контент-анализа (по Н.Н, Богомоловой,199?)
Категория А Число и объем >поминания кат. А (тыс. печ. знаков) Число и объем упоминания кат. Б (тыс. печ. знаков) Упоминание кат. В связи с кат. Б
А\ 1,8,2,9,6 8:7,8 итд £2- 1.3, £1-4,5 итд + 5251; -ВЗБ2,
Л2 3,9 и т.д   -В1Б\, —ВЪБ7 и т.д.

го критерия идр (В. А. Ядов, 1995). К.-а применяется- а) при необ­ходимости точности и объективности анализа документов; б) нали­чии большого по объему несистематизированного материала; в) в случае, когда категории анализа текста встречаются с определенной частотой. Контент-анализ может использоваться как самостоятель­ный метод, например, в исследовании социальных установок ауди­тории того или иного органа или субъекта коммуникации. Однако чаше и наиболее успешно он используется в сочетании с другими методами, например, наблюдение, опрос и др. Область примене­ния к.-а. в социальной психологии: изучение социально-психоло­гических особенностей коммуникаторов и реципиентов; исследо­вание социально-психологических явлений, отраженных в содер­жании документа; изучение специфики средств коммуникаций, форм и приемов организации их содержания; исследование соци­ально-психологических аспектов коммуникационного воздей­ствия. Специфика применения контент-анализа в каждом конкрет­ном случае в значительной степени определяется исходной теоре­тической основой исследования Ни один другой метод в социаль­ной психологии не связан так непосредственно с целью и теорети­ческой концепцией исследования, как контент-анализ. Это объяс­няется тем, что основные понятия исследования одновременно яв­ляются и категориями контент-анализа, с которыми соотносится изучаемое содержание текста Главная задача контент-анализа не только выявить реальные факты, события, о которых идет речь в тексте, но и настроения, установки, чувства, и другие социально-психологические феномены Техника контент-анализа использует­ся также во вспомогательных целях как техника обработки данных в ряде личностных тестов (ТАТ, тесты мотивации достижения и др.), для обработки и уточнения данных полученных другими мето­дами, например, опросными. Основной недостаток метода зак-

Предмет, история и методы социальной психологии _________________47

лючается в сложности и трудоемкости процедуры и техники, тре­бующей высокой квалификации кодировалыл и ков-аналитиков.

Метод опроса. Весьма распространенный метод в социально-психологических исследованиях. Суть метода заключается в полу­чении информации об объективных или субъективных (мнениях, настроениях, мотивах, отношениях и т. д.) фактах со слов опраши­ваемых. Среди многочисленных видов опроса наибольшее распро­странение имеют два основные тила: а) опрос «липом к лицу» — интервью, очный опрос, проводимый исследователем в форме воп­росов-ответов с опрашиваемым (респондентом); б) заочный оп­рос — анкетирование с помощью предназначенного для самостоя­тельного заполнения вопросника (анкеты) самими респондентами. Первым метод опроса в психологии применил Ф. Гальтон с целью 11зучения происхождения умственных качеств и условий развития ученых. Пионерами его применения в психологии являются также С. Холл, А. Бине, Г. М. Андреева, Э. Ноэль. Область применения опроса в социальной психологии: а) на ранних стадиях исследова­ния, для сбора предварительной информации или пилотажного ис­пытания методического инструментария; б) опрос как средство уточнения, расширения и контроля данных; в) как основной метод сбора эмпирической информации. Специфика применения опроса в социальной психологии связана со следующим: а) в социальной психологии опрос не является основным методическим инструмен­том, например, по сравнению с социологией; б) опрос, как правило, не используется для выборочных исследований; в) применяется как сплошной опрос на реальных социальных группах; г) чаще всего проводится в очной форме; д) в социально-психологическом ис­следовании анкета не просто вопросник, а комплекс специальных приемов и методик (шкалы, ассоциативные приемы, тесты др.) из>чения объектаидр. (А. Л. Журавлев, 1995). Источником инфор­мации при опросе является словесное или письменное суждение опрашиваемого лица. Глубина, полнота ответов, их достоверность зависят от умения исследователя грамотно построить конструхцию опросника. Существуют специальные техники и правила проведе­ния опроса, направленные на обеспечение надежности и достовер­ности инфоргиации: определение представительности выборки и мо­тивации участия в опросе; конструирование вопросов и композиции вопросника; проведение опроса (В. А. Ядов, 1995; Г. М. Андреева, 1972; А. Л. Свенцицкий, 1977; Э. Ноэль, 1978).

В литературе описаны типичные ошибки, возникающие при не­грамотном конструировании вопросов. Наиболее часто упоминают

48_____________________________________________________ Глава 1

такие внешние признаки, связанные с недостатками в составлении анкеты, как отсутствие порядка в ответах (пропуски вопросов)

вследствие неудачного формулирования вопросов, использования специальных терминов, затрудняющих их понимание; преобладание единообразных ответов типа «все или ничего», т.е. отсутствие разли­чий в ответах у респондентов — результат высокой стереотипности вопроса; большое количество ответов «не знаю, затрудняюсь отве­тить» — расплывчатость, неопределенность вопросов; большое ко­личество неуместных комментариев опрашиваемых — неполный перечень возможных альтернатив ответа; значительный процент от­казов — плохая композиция анкеты, неудовлетворительная инструк­ция анкеты и др. Существует специфика составления вопросника для интервью, учитывающего особенности личного взаимодействия участников опроса, а также этап (фазу) его проведения.

Основные виды интервью в социально-психологическом исследо­вании — стандартизированное и нестандартизированное интервью. В первом случае интервью предполагает наличие стандартных форму­лировок вопросов и их последовательности, определенных заранее. При этом исследователь не имеет возможности их изменения. Мето­дика нестанлартизированного интервью характеризуется гибкостью и варьированием в широких пределах. Интервьюер при этом руковод­ствуется лишь общим планом опроса, формулируя вопросы в соответ­ствии с конкретной ситуацией и ответами респондента. Большое зна­чение для успешного интервьюирования имеет техника ведения бесе­ды. Она требует от интервьюера умения устанавливать тесный контакт с респондентом, заинтересовать его в искренней беседе, «активно» слушать, владения навыками постановки и регистрации ответов, пре­одоления «сопротивления» опрашиваемого. При этом интервьюер должен избегать навязывания («подсказывания») опрашиваемому лицу возможного варианта ответа, исключить субъективное истолко­вание его высказывания. Трудность проведения интервью связана с задачей поддержания в течение всего времени беседы необходимой глубины контакта с респондентом. В литературе описаны разнообраз­ные приемы стимулирования активности (ответов) опрашиваемого, среди них наиболее часто упоминаются: выражение согласия (внима­тельный взгляд, кивок, улыбка, поддакивание), использование корот­ких пауз, частичное несогласие, уточнение путем неправильного по­вторения сказанного, указание на противоречия в ответах, повторение последних слов, требование пояснений, добавочной информации и др. Выделяют также другие виды интервью, например, фокусирован­ное, терапевтическое и др. Каждый из перечисленных видов интервью

Предмет, история и методы социальной психологии __________________49

характеризуется определенными ограничениями по целям при­менения и характеру получаемой информации (Г. М. Андреева, 1972; В А. Ядов. 1995; А. Л. Свениицкий, 1977). Принято выделять ключевые фазы установление контакта, основная и завершение интер­вью. Критерии эффективности интервью: полнота (широта) — оно дол­жно позволить опрашиваемому по возможности полно осветить раз­личные аспекты обсуждаемой проблемы; специфичность (конкрет­ность) — в нем должны быть получены точные ответы по каждому зна­чимому для опрашиваемого аспекту проблемы; глубина (личностный смысл) — оно обязано выявить эмоциональный, когнитивный и ценно­стный аспекты отношения респондента к обсуждаемой ситуации; лич­ностный контекст— интервью призвано выявить характеристики лич­ности опрашиваемого и его жизненного опыта (Р Мертон, 1986).

Виды анкетирования разделяются по числу опрашиваемых (ин­дивидуальное и групповое), по месту проведения, по способу рас­пространения анкет (раздаточное, почтовое, прессовое) Среди наиболее существенных недостатков раздаточного, и особенно по­чтового и прессового опроса является низкий процент возврата ан­кет, отсутствие контроля за качеством заполнения анкет, использо­вание только очень простых по структуре и по объему анкет.

Предпочтение типа опроса определяется целями исследова­ния, его программой, уровнем изученности проблематики. Ос­новное преимущество анкетирования связывают с возможностью массового охвата большого количества респондентов и его про­фессиональной доступностью. Информация, получаемая в интер­вью, является более содержательной и глубокой в сравнении с ан­кетой. Однако недостатком является прежде всего трудно контро­лируемое влияние личности и профессионального уровня интер­вьюера на опрашиваемого, которое может приводить к искаже­нию объективности и надежности информации

Метод социометрии. Относится к инструментарию социально-психологического исследования структуры малых групп, а также личности как члена группы Область измерения социометрической техникой — диагностика межличностных и внутригрупповых отно­шений. С помощью социометрического метода изучают типологию социального поведения в условиях групповой деятельности, оцени­вают сплоченность, совместимость членов группы (СЕ. Поддубный, 1995). Метод разработан Дж. Морено как способ исследования эмо­ционально непосредственных отношений внутри малой группы (Дж. Морено, 1958). Измерение предполагает опрос каждого члена малой группы с целью установления тех членов группы, с которыми он

50_____________________________________________________ Става!

предпочел бы (выбрал) или, напротив, не захотел участвовать в оп­ределенном виде деятельности или ситуации. Процедура измерения включает следующие элементы: а) определение варианта (чис­ла) выборов (отклонений); б) выбор критериев (вопросов) оп­роса; в) организация и проведение опроса; г) обработка и интерпре­тация результатов с использованием количественных (социометри­ческие индексы) и графических (социограммы) методов анализа. Социометрическая процедура проводится в двух формах. Непара­метрическая процедура предполагает ответы на вопросы опроса без ограничения числа выборов или отклонений. Их максимальное чис­ло равно N — 1 (социометрическая константа), где N — число членов группы. Преимущество этого варианта связано с выявлением так на­зываемой эмоциональной экспансивности у каждого члена группы. При увеличении размеров группы до 12-! 6 человек возрастает веро­ятность получения случайного выбора Параметрическая процеду­ра — ограничение числа выборов. Испытуемым предлагается выб­рать строго фиксированное число лиц их всех членов группы, т. е. вводится так называемое социометрическое ограничение (d). Дан­ная форма повышает надежность измерения, позволяет стандарти­зировать условия выборов в группах различной численности. Ее не­достаток связан с невозможностью раскрыть всю полноту отноше­ний в группе (И. П. Волков, 1970, 1977; Я. Л. Коломинский, 1971, 1984; И. Г. Кокурина, 1981). Выделяют разные виды социометричес­ких критериев: коммуникативные (выявляют реальные отношения. гностические (определяют степень осознанности реальных отноше­ний), двойные и одинарные, ролевые и др. С выбором критериев связана проблема определения их числа и специализации в социо­метрическом вопроснике. Рекомендуется производить специализа­цию и выбор критериев исходя из предварительного анализа жизне­деятельности группы, выделяя ситуации, особо значимые для груп­пы, т.е. опосредованные задачами и целями, стоящими перед груп­пой, использовать общий, фундаментальный критерий для выявле­ния «глубинной» связи членов группы. Последняя предполагает ис­пользование вопросов, касающихся оценки общего эмоционально­го состояния испытуемых при условии распада группы в будущем, например, в случае реорганизации коллектива, его перемещения, переформирования и т.п. — «С кем из членов вашего коллектива вы хотели бы остаться в том случае, если он будет реорганизован?».

Результаты исследования могут быть представлены в виде социо­метрической матрицы (таблицы), куда включены все выборы и (или) отклонения, сделанные или предполагаемые членами группы, в виде

Предмет, история и методы социальной психологии __________________ 51

соииограммы, графически изображающей полученные результаты или в форме разнообразных социометрических индексов, дающих ко­личественное представление о положении индивида в группе, а также оценку группы в целом (И.П. Волков, 1970,1977; И.Г. Кокурина, 1981; В.И. Паниотто, 1975). Социометрические индексы делят на две груп­пы: индивидуальные и групповые. К индивидуальным показателям относят: социометрический статус — величина позитивности или не­гативности отношения группы к отдельному ее члену, которая опре­деляется отношением количества выборов и отклонений, которые получил индивид, к их максимально возможному числу. Индекс эмо­циональной (психологической) экспансивности — степень активно­сти индивида во взаимодействии с другими членами группы, потреб­ность в осуществлении контактов с ними. Он рассчитывается как от­ношение количества сделанных индивидом выборов и отклонений от­носительно членов группы к их максимально возможному числу. Для характеристики позиции индивида в группе вычисляют и другие ин­дексы, например, «предписанная роль» (СЕ. Поддубный, 2001), при­емлемость индивида группой (Н.В. Бахарева, 1970) и др. Однако глав­ная сложность состоит б их интерпретации, сопоставлении их с изве­стными социально-психологическими понятиями. К наиболее попу­лярным групповым индексам относят: показатели групповой экспан­сивности (интенсивность группового взаимодействия), интегриро­ванное™ группы (степень включенности в общение членов группы в конкретном виде деятельности или ситуации), сплоченности и ряд других. Графический анализ данных осуществляется путем построе­ния социограмм. Последняя позволяет наглядно выделить в составе исследуемого коллектива подгруппы (группировки), положительные, конфликтные или напряженные «участки» внутри групповых отноше­ний, «популярных» его членов (индивиды, имеющие максимальное количество выборов) либо «отвергаемых» (индивиды, получившие максимальное количество отклонений), определить лидера группы. Различают два вида социограмм: коллективную и индивидуальную. Наиболее часто для отображения структуры отношений в группе при­меняют социограмму-мишень (Нортвей, 1952) Она представляет со­бой несколько концентрических кругов (рис. 2), в центр которых по­мещают «популярных индивидов, в наружное кольцо — «отвергае­мых», во внутреннее кольцо — «средне популярных*.

Обычно составляют несколько коллективных социограмм для одной группы: взаимных выборов, взаимных отклонений, первых двух (пяти) выборов и некоторые другие. Индивидуальные социо-граммы позволяют произвести более тонкий анализ положения

52_________________________________ Diaea 1

Рис. 2 Пример социограммы-мишени (первых двух выборов)

конкретного члена в группе1 отличить позицию лидера от позиции «популярных» членов группы. Четкая лидерская позиция часто определяется по тому кому из состава группы преимущественно отдают предпочтения в своих выборах «популярные» ее члены.

Надежность измерения в социометрии зависит от «силы» социо­метрического критерия, возраста испытуемых, вида индексов (персо­нального или группового). В социометрическом тесте не исключена возможность искажения ответов испытуемого, сокрытия его истин­ных чувств. «Гарантией» откровенности испытуемого могут высту­пать1 личностно значимая мотивация участия в исследовании, выбор значимых для членов группы критериев опроса, доверие к исследова­телю, добровольный характер тестирования и др. Устойчивость соци­ометрического измерения подтверждают, как правило, методом па­раллельного теста и взаимной корреляцией результатов. Установле­но, что стабильность социометрических результатов обуславливает­ся динамичной природой социально-психологических явлений, в целом, межличностных отношений, в частности, и стечением време­ни снижается. Для определения валидности социометрического ме­тода применяют сравнение результатов измерения с внешним крите­рием, обычно — с мнением экспертов. Социометрический метод должен быть дополнен другими приемами, направленными на более глубокий анализ оснований межличностных предпочтений: мотивов межличностных выборов, сделанных членами группы; их ценностных ориентации, содержания и типа осуществляемой совместной дея­тельности. Существуют разновидности социометрического метода.

Предмет, история и методы социальной психологии __________________53

К числу наиболее известных следует отнести шкапу приемлемости (Н. В. Бахарева, 1970), аутосоциометрическую методику (К. Е.Дани­лин, 1981; Я. Л. Коломинский, 1984), референтометрию(Е. В. Щед­рина, 1978), коммуникометрию (Я. Л. Коломинский, 1971). Наиболее существенными недостатками метода принято считать: а) невозмож­ность выявления мотивов межличностных выборов; б) возможность искажения результатов измерения из-за неискренности испытуемых или вследствие влияния психологической зашиты; в) социометри­ческое измерение приобретает значение лишь при исследовании ма­лых групп, имеюших опыт группового взаимодействия.

Метод групповой оценки личности {ГОЛ). Метод групповой оцен­ки — способ получения характеристики человека в конкретной груп­пе на основе взаимного опроса ее членов друг о друге. Разработка ме­тода связана с прикладными исследованиями в промышленной и организационной психологии, где на его основе пытаются решать вопросы отбора и расстановки кадров (Э. С. Чугунова, 1986). Данный метод позволяет оценить наличие и степень выраженности (разви­тия) психологических качеств человека, которые проявляются в по­ведении и деятельности, во взаимодействии с другими людьми. Ши­рокое применение ГОЛ в прикладных и исследовательских целях свя­зано с его простотой и доступностью для пользователей, возможно­стью диагностировать те качества человека, для которых отсутствует надежный инструментарий (тесты, опросники) и др. Психологичес­кой основой ГОЛ является социально-психологический феномен групповых представлений о каждом из членов группы как результат взаимного познания людей друг другом в процессе общения. На ме­тодическом уровне ГОЛ есть статистическая совокуп ность индивиду­альных представлений (образов), фиксируемая в форме оценок. Пси­хологическая сущность метода определяет границы его практическо­го применения как приема фиксации некоторых отраженных свойств личности, уровня проявления качеств личности оцениваемого лица в конкретной группе. Процедура метода ГОЛ предполагает оценку человека по определенному перечню характеристик (качеств) с ис­пользованием приемов прямого балльного оценивания, ранжирова­ния, попарного сравнения и др. Содержание оценки, т.е. совокуп­ность оцениваемых качеств, зависит от цели использования получен­ных данных. Число качеств варьирует у разных исследователей в ши­роком диапазоне от 20 до 180. Качества могут группироваться в от­дельные смысловые группы (например, деловые и личные каче­ства). Применяют и другие основания разделения (А. Л. Журавлев, 1990; Э. С. Чугунова, 1986). Для получения надежных результатов ре-

54 _______________________________.____________________ Глава 1

комендуется число субъектов оценивания в пределах 7—12 человек. Адекватность измерения с помошью ГОЛ зависит от трех моментов: познавательных способностей субъектов оценки (экспертов); от осо­бенностей объекта оценки; от позиции (уровня, ситуации) взаимо­действия субъекта и объекта оценки (Э. С. Чугунова, 1977, 1986).

Тесты. Тест — краткое, стандартизированное, обычно ограничен­ное во времени испытание. С помошью тестов в социальной психоло­гии определяются межиндивидуальные, межгрупповые различия. С одной стороны, считается, что тесты не являются специфическим со­циально-психологическим методом, и все методологические норма­тивы, принятые в обшей психологии, справедливы и для социальной психологии (Г. М. Андреева, 1995). С другой стороны, широкий спектр используемых социально-психологических методик диагнос­тики личности и группы, межгруппового взаимодействия позволяет говорить о тестах как самостоятельном средстве эмпирического ис­следования (В. Е. Семенов, 1977: М. В. Kpoj, 1991). Области примене­ния тестов в социальной психологии, диагностика групп, изучение межличностных и межгрупповых отношений и социальной перцеп­ции, социально-психологических свойств личности (социальный ин­теллект, социальная компетентность, стиль лидерства и др.). Проце­дура тестирования предполагает выполнение испытуемым (группой испытуемых) специалького задания или получение ответов на ряд вопросов, носящих в тестах косвенный характер. Смысл последующей обработки состоит в том, чтобы при помощи «ключа» соотнести полу­чен ные данные с определенными параметрами оценки, например с характеристиками личности. Итоговый результат измерения выража­ется в тестовом показателе. Тестовые показатели относительны. Их диагностическое значение обычно определяют через соотнесение с нормативным показателем, полученным статистически на значитель­ном числе испытуемых. Главную методологическую проблему изме­рения в социальной психологии с помощью тестов составляет опреде­ление нормативной (базовой) шкалы оценки при диагностике групп. Она связана с системной, многофакторной природой социано-пси-хологических явлений и их динамичностью. Классификация тестов может быть по нескольким основаниям: по основному объекту иссле­дования (межгрупповые, межличностные, личностные), по предмету исследования (тесты совместимости, групповой сплоченности и т. д), по структурным особенностям методик (опросники, аппаратурные, проективные тесты), по исходной точке отсчета оценки (методики экспертной оценки, предпочтений, субъективного отражения меж­личностных отношений) (Г. Т. Хоментаускас, 1987; В. А. Ядов, 1995).

Предмет, история и истоды социальной психология ____________________55

Среди наиболее известных тестов социально-психологичес­кой диагностики следует указать тест интерперсональной диагно­стики Т. Лири (Л. Н. Собчик, 1981), шкалу совместимости В. Шутиа (А. А Рукавишников, 1992), методику оценочной биполя-ризации Ф Фидлера (И. П Волков, 1977) и др

Среди тестов, используемых в социальной психологии, особое место занимают методики (шкалы) измерения социальных установок, являющиеся важным инструментом изучения и прогнозирования социального поведения личности (А Анастази, 1984). Они предназ­начены для количественного измерения направленности и интен­сивности поведенческих реакций человека по отношению к раз­личным категориям социальных стимулов Шкалы установок ис­пользуются для различных целей. Наиболее известны следующие направления их применения изучение общественного мнения, по­требительского рынка, выбор эффективной рекламы, измерение отношения к труду, к другим людям, к политическим, социальным, экономическим проблемам и т п Установка часто определяется как готовность благоприятно или неблагоприятно реагировать на определенные социальные стимулы Особенностью проявления установок является то, что они не могут наблюдаться непосред­ственно, но могут быть выведены и i особенностей внешнего пове­дения, прежде всего вербального, в частности из ответов человека на специально отобранную совокупность суждений, высказываний (шкалу установки), в которой фиксируется мнение относительно определенного социального объекта или стимула например, отно­шение к религии, войне, месту работы и т.д Шкала установок (в отличие от опроса мнений) позволяет измерять установку как од­номерную переменную, определять специальную процедуру ее по­строения и предполагает единый, суммарный показатель К наибо­лее известным шкалам измерения и построения установок относят

1. Шкалы разных интервалов (Л. Терстоун) Особенностями шкалы являются равенство расстоянии между единицами шкалы и одномерность, или однородность вопросов, суждений. В основе оце­ночной шкалы лежат категориальные суждения, отобранные и клас­сифицированные по результатам предварительного опроса компетен­тных лиц (экспертов) Задача экспертов — отсортировать суждения в определенном порядке в соответствии со степенью выраженного в них благожелательного или неблагожелательного отношения к опре­деленному социальному объекту. Шкальное значение высказывания — медианное положение, приписанное группой экспертов Таким образом, шкала типа терстоуновской представляет собой совокуп-

56_____________________________________________________ Liana 1

ность высказываний, которые равномерно распределены в контину уме установок Утверждения в шкале также отбираются на основе их однозначности и их внутренней согласованности Отвечающий на шкалы установок выбирает все утверждения, с которыми он согла­сен Итоговый показатель — медианная шкальная оценка отмечен­ных высказываний Недостаток метода — влияние установок экспер та при классификации суждений (Анастази, 1984, Ядов, 1995)

2 Шкалы суммарных оценок (Р Лайкерт) В противоположность процедуре равных расстояний высказывания отбираются не на сужде­ниях группы экспертов, а на основе ответов испытуемых, которые предъявляются им в процессе разработки теста Выделение категорий высказывании осуществляется по степени их интенсивности Крите­рием отбора суждений выступает внутренняя их согласованность (ко­эффициент корреляции с итоговым показателем), хотя иногда ис­пользуется и внешний критерии — реальное поведение Количество суждений, составляющих предварительную шкалу, относится к их числу в итоговой шкале примерно как 4 1 Измерение установки пред­полагает оценку набора суждений по пятибалльной шкале включаю­щей пять категории ответов полностью согласен, согласен, неуверен, несогласен, полностью несогласен Итоговый показатель — суммар­ная оценка по всем видам суждений интерпретируется в соответствии с установленными эмпирическими нормами Преимущества шкал ус­тановок типа лайкертовских состоят в том, что они относительно на­дежны даже при небольшом количестве высказываний, а также в том, что не требуют больших трудовых затрат. Недостаток — обычно уро­вень шкалы достигает лишь порядкового типа шкал, хотя процедура построения претендует на интервальную шкалу

3 Кумулятивные шкалы (Л Гутман). Шкала обладает свойствами кумулятивности и репродуктивности При ее построении использу­ется техника шкалограммного анализа, представляющая процедуру отбора и упорядочения высказываний в ранговую шкалу по степени возрастания признака (каждому ее пункту соответствует оценочный балл) По ответу испытуемого на определенное высказывание можно воспроизвести реакции на предыдущие пункты шкалы Годными для шкалирования оказываются лишь такие высказывания, которые дают монотонную последовательность реакций. На основе данной техники разработаны известные тесты шкала социальной дистанции Е Богардуса, тест 20 ответов М Куна и др Критические замечания делаются прежде всего в отношении неустойчивости шкал типа гут-мановских, а также трудоемкости при построении

Методологические проблемы измерения установок связаны с

Предмет, история и методы социальной психологии __________________52

проблемой несоответствия между установкой и внешним поведе­нием, т.е. несоответствия действий индивида его словесным выс­казываниям. Большинство шкал установок достаточно надежны, однако сведений о валидности и нормативности данных накопле­но мало, поэтому большинство из них должны рассматриваться как исследовательские методики. (Анастази, 1984).

Метод аппаратурный. Данная группа методов является развитием экспериментальных процедур исследования соииально-психологи-ческих особенностей индивида, малой группы и различных соци­альных обшностей (аудиторий) {Н. Н. Обозов, 1977; В. А. Терехин, 1988; Р. Б. Гительмахер, В. Н. Куликов, 1985). Наиболее известны и широко применяются в социальной психологии аппаратурные мето­ды изучения различных социально-психологических феноменов, которые проявляются в условиях групповой работы. В основе конст­руирования аппаратурных методов и их классификации лежат следу­ющие принципы: технический (особенности конструкции, функци­ональные возможности модели, способность регистрации различ­ных компонентов деятельности), общепсихологический (включен­ность различных психических процессов в моделируемую деятель­ность), социально-психологический (характер, тип, уровень взаимо­связанности действий при выполнении заданий). Принято выделять на основе этих критериев следующие группы аппаратурных моделей: а) модели сравнительной оценки индивидуальных вкладов (Арка, Лабиринт, Эстакада); б) модели суммарного воздействия (Ритмог-раф, Волюнтограф); в) модели многосвязанного управления равно­весием в системе (Гомеостат); г) модели многосвязанного управле­ния движущимся объектом (Кибернометр, Групповой сенсомотор-ныи интегратор) (Л, И. Уманский, 1977, А. С. Чернышев, 1980, 1985; Н. Н. Обозов, 1977; В. Терехин, 198S). Несмотря на то, что все мето­ды конструктивно весьма условны, они считаются достаточно адек­ватными природе изучаемых социально-психологических явлений. Обычно степень эффективности и достоверности этих методов оп­ределяется совпадением полученных в эксперименте данных с прак­тикой, с результатами применения других методов. Данные методы применяются в прикладных исследованиях при решении задач диаг­ностики, комплектования и обучения групп малой численности.

Эксперимент. Термин «эксперимент» имеет в социальной психо­логии два значения: опыт и испытание, как принято в естественных науках; исследование в логике выявления причинно-следственных связей. Одно из существующих определений метода эксперимента указывает, что он предполагает организованное исследователем

58_____________________________________________________ Глава 1

взаимодействие между испытуемым (или группой) и эксперимен­тальной ситуацией с целью установления закономерностей этого взаимодействия. Однако считается, что наличие только логики экс­периментального анализа не является достаточным и не указывает на специфику эксперимента (Ю. М. Жуков, 1977). Среди специфи­ческих признаков эксперимента выделяют: моделирование явле­ний и условий исследования (экспериментальная ситуация); актив­ное воздействие исследователя на явления (варьирование перемен­ных); измерение реакций испытуемых на это воздействие; воспро­изводимость результатов (В Н. Панферов, В. П. Трусов, 1977). Воз­никновение социальной психологии как науки обязано проникнове­нию эксперимента в исследование человеческих отношений: став­шие классическими исследования В. Меде, Ф. Олпорта, В. М. Бех­терева, А. Ф. Лазурского и др. заложили экспериментальные осно­вы изучения «группового эффекта», социальной психологии лич­ности. По мере развития социальной психологии данный метод приобретал все большее значение в теоретических прикладных ис­следованиях, совершенствовалась его техника (Ю. М. Жуков, 1977). Как правило, эксперимент предполагает наличие следующих эта­пов его проведения. Теоретический этап — определение исходной концептуальной схемы анализа изучаемого явления (определение предмета и объекта исследования, формулирование гипотезы иссле­дования). Следует отметить важность этого этапа, т. к. эксперимент имеет самую высокую опосредованность теорией Методический этап исследования предполагает выбор общего плана эксперимента, выбор объекта и методов исследования, определение независимых и зависи­мых переменных, определение процедуры опыта, а также приемов обработки результатов (Д. Кэмибелл, 1980. В. Н. Панферов, В. П. Тру­сов, 1977), Экспериментальный этап — проведение эксперимента: создание экспериментальной ситуации, управление ходом экспери­мента, измерение реакций испытуемых, контроль переменных, явля­ющихся неорганизованными, т.е. входящими вчисло изучаемых фак­торов. Аналитический этап — количественная обработка и интерпре­тация полученных фактов в соответствии с исходными теоретически­ми положениями. В зависимости от основания классификации выде­ляют разные типы эксперимента: по специфике задачи — научные и практические; по характеру экспериментального плана — параллель­ные (наличие контрольной и экспериментальной групп) и последова­тельные (эксперимент «до и после*); по характеру экспериментальной ситуации - полевые и лабораторные; по числу изучаемых перемен­ных — однофакторные и многофакгорные эксперименты. Иногда

I

Предмет, история и методы социальной психологии __________________J59

выделяют естественнонаучный эксперимент (А. Ф. Лазурский) и эк­сперимент «экс-пост-факто» (Э Христиансен){Г. М.Андреева, 1972). Принято считать метод эксперимента наиболее строгим и на­дежным методом сбора эмпирических данных. Однако использова­ние эксперимента как основного метода сбора эмпирических дан­ных привело в 70-е годы к кризису экспериментальной социальной психологии. Эксперимент критикуют прежде всего за его низкую экологическую валидность, т. е. невозможность перенесения выво­дов, получаемых в экспериментальной ситуации, за ее пределы (в естественные условия). Тем не менее существует точка зрения, что проблема валидности эксперимента заключается не в том, что фак­ты, полученные в эксперименте, не имеют научной ценности, а в их адекватной теоретической интерпретации (Ю. М. Жуков, 1977). Несмотря на многие критические оценки этого метода, эксперимент остается важным средством получения достоверной информации.

Вопросы для повторения

1. Какие представления о предмете сложились в современной социальной психологии1

2. Приведите примеры разных социально-психологических явлений-процессов, состояний, свойств личности или группы.

3. Перечислите основные объекты исследования в социальной психологии

4. На какие составляющие части (разделы) дифференцировалась соци­альная психология?

5. Что такое внешний и внутренний контуры интеграции социальной психологии?

6 Какие периоды выделяются в истории отечественной социальной пси­хологии?

7. Какой вклад Н К. Михайловского в зарождение социальной психоло­гии в России?

8 Кто является автором и чему посвящено первое в России специальное социально-психологическое исследование?

9. В чем состоят основные заслуги В. М Бехтерева в развитии социальной

ПСИХОЛО] ИИ?

10. Какова роль А. С. Макаренко в исследованиях психологии коллектива и личности?

11. Какова основная причина формирования социальной психологии в самостоятельную научную дисциплину9

12. Назовите первые публикации по социальной психологии, знаменовав­шие формально год рождения социальной психологии на Западе

13 Какова основная причина кризиса западной социальной психологии в 1960-1970-е годы11

14. Назовите основные теоретико-методологические ориентации в зару­бежной социальной психологии.

15. Перечислите проблемы, наиболее активно разрабатываемые в совре­менных социально-психологических исследованиях

16. В чем особенности социально-психологического исследования по сравнению с лругими социальными науками, например, социологией'

17. Каковы основные источники получения информации в социально-психологическом исследовании?

18 Охарактеризуйте основные этапы социально-психологического иссле­дования

19 Назовите основные методы социально-психологического исследования

20 Каковы достоинства и недостатки включенного и невключенного на­блюдения0

21 В чем особенности использования метода контент-анализа текстовой информации?

22 Каковы достоинства и недостатки очного и заочного опроса9

23 Для решения каких задач используется социометрический метод1

24 Перечислите основные процедуры проведения социометрического оп­роса и анализа данных

25 Для решения каких задач используется метод групповой оценки личности''

26 В чем основные трудности приченения эксперимента в социальной психологии'

27 Каковы достоинства и недостатки аппаратурных методов иссжедования''

Литература

1 Андреева Г М Социальная психология М Аспект Пресс, 2000

I Бехтерев В М Избранные работы по социальной психологии М На­ука, 1994

3 Будилова Е А Социально-психологические проблемы в русской на­уке М Наука, 1983

4 Введение в практическую социальную психологию / Под ред Ю М Жукова, Л А Петровскои, О В Соловьевой М Наука, 1994

5 Кэмпбе1л Д Модели экспериментов в социальной психологии и при­кладных исследованиях СПб Социально-психологический центр, 1996

6 Лекции по методике конкретных социальных исследований / Под рел Г М Андреевой М Изд-во МГУ, 1972

7 Методики социально-психочогического исследования личности и малых групп/Отв ред А Л Журавлев, Е В Журавлева М ИП РАН, 1995

8 Методики с.оциально-психологическои диагностики личности и груп­пы/Отв ред А Л Журавлев, В А Хащенко М ИП АН СССР, 1990

9 Методология и методы социальной психологии / Отв ред £ В Шоро-хова М Наука, 1977

10 Методы социальной психологии / Под ред Е. С Кузьмина, В Е Се­меном Л Изд-во ЛГУ, 1977

I1 Пайнс Э, Маслач К Практикум по социальной психологии СПб Изд-во «Питер», 2000

12 ПарыгинБ Д Социальная психология Проблемы методологии, исто­рии и теории СПб ИГУП, 1999

13 Современная психология Справочное руководство / Отв ред В Н Дружинин М ИНФРА-М, 1999 С 466-484

14 Социальная психология в трудах отечественных психологов СПб Изд-во «Питер», 2000

15 Слецлрактнкуч по социальной психологии опрос, семейное и инди­видуальное консультирование /Под ред Ю Е Алешиной, К Е Дани-лика, Е М Дубовской М МГУ, 1989

16 Чернышев А С Ла&ораторныи эксперимент э социально-психологи­ческом изучении оргатиованности коллектива // Психол журн Т! 19S0 №4'С 84-94

17 Чугун она Э С Социально-психологические особенности творческой акшвности инженеров Л Изд-во ЛГУ, 1986

18 ШихиревП Н Современная социальная психопогия М Изл-во «Ин­ститут психологии РАН», 1999

19 Энциклопедия психологических тестов Общение, лидерство, межлич­ностные отношения М ACT, 1997

._____6J.







Date: 2015-05-05; view: 611; Нарушение авторских прав



mydocx.ru - 2015-2024 year. (0.057 sec.) Все материалы представленные на сайте исключительно с целью ознакомления читателями и не преследуют коммерческих целей или нарушение авторских прав - Пожаловаться на публикацию