Самостоятельная работа

1. Составьте схемы классификаций методов психологического исследования Г.Д.Пирьева, Б.Г.Ананьева, М.С.Роговина и Г.В.Залевского.

2. Экспериментатор исследует познавательную активность студентов на семинарских занятиях. Для этого он использует метод наблюдения. Составьте программу наблюдения.

3. Составьте таблицу «Классификация вопросов опросников».

4. Составьте план диагностической беседы. Тему выберите самостоятельно. Выделите целивые и поддерживающие вопросы. Определите есть ли влияющие вопросы.

Составить тест достижения по курсу «Экспериментальная психология». Содержание теста должно охватывать ранее изученные темы. Опишите как определить трудность данного теста.

Литература

· Дружинин, В.Н. Экспериментальная психология / В.Н. Дружинин. – СПб.: Питер, 2008. – 318 с.(Гриф Мин.обр РФ).

· Загвязинский, В.И., Атаханов, Р. Методология и методы психолого-педагогического исследования: Учебн. пособие для студ. / В.И. Загвязинский, Р. Атаханов. – М.: Издательский центр «Акадамия», 2001.

· Константинов, В.В. Экспериментальная психология. Курс для практического психолога / В.В. Константинов. – СПб.: Питер, 2006.

Никандров, В.В. Экспериментальная психология/ В.В. Никандров. – СПб.: Речь, 2009.

Оглавл

	Подождите, идёт загрузка курса
Теоретический раздел → Курс лекций → Тема 8. Надежность и валидность исследований в психологии → Тема 8. Лекция

Тема 8. Лекция

Тема 8. Надежность и валидность исследований в психологии.

Качество отдельных индикаторов, суммарных показателей (индексов) и шкал определяется их надежностью и валидностью.

Надежность измерения связана с его устойчивостью и воспроизводимостью. Показатель может считаться надежным в той мере, в которой полученные оценки могут быть воспроизведены на данной совокупности объектов измерения. Основной вид надежности — это надежность-повторяемость (или диахронная, ретестовая надежность). Оценка ретестовой надежности отражает результаты повторного применения одного и того же показателя (вопроса, теста) для одной и той же выборки случаев (респондентов) в разные моменты времени. Если люди отвечают на вопрос одинаково и в первом, и во втором, и во всяком последующем случае, то этот вопрос надежен. Если тест умственных способностей дает те же результаты при повторной проверке на одной и той же группе старшеклассников, то это надежный тест.

Важно отметить, что надежность инструмента измерения не отражает его точность или правильность. Скажем, если на вопрос о доходе респонденты дважды дадут совершенно идентичные ответы, завышенные на какие-нибудь 100%, мы имеем дело с абсолютно надежным, но неточным показателем. Если, в другом случае, термометр с безукоризненной надежностью показывает электрическое сопротивление кожи, у нас нет оснований говорить о правильности, адекватности измерения. Оценка надежности-повторяемости — это корреляция между результатами повторных измерений. В случае единичного вопроса-индикатора достаточно просто сопоставить ответы одной и той же группы людей, полученные в первом опросе, с ответами, данными двумя неделями или месяцем позднее, и вычислить коэффициент корреляции (см. гл. 8). На практике хорошей можно считать корреляцию 0,8 и выше.

К недостаткам оценок надежности-повторяемости следует отнести, во-первых, сложность проведения повторных замеров на больших выборках, типичных для социологии. Во-вторых, истинное значение переменной также может изменяться с течением времени, например, политические симпатии могут измениться за неделю в результате каких-то скандальных разоблачений, а зарплата — существенно возрасти за месяц из-за введения обязательного индексирования в условиях инфляции. В последнем случае перед исследователем встанет трудноразрешимая задача отделить колебания, вызванные изменением истинного значения переменной, от колебаний, связанных с надежностью показателя. Поэтому так важен еще один вид надежности — надежность-согласованность. Оценить надежность-согласованность можно лишь в том случае, если для измерения одной и той же переменной используют множество индикаторов. Зато для такой оценки достаточно однократного измерения. В психологическом тестировании, например, используют батареи тестов, нацеленных на измерение одной способности или одного личностного качества. Социологи — если они располагают достаточными средствами и техническими возможностями — используют индексы и шкалы, состоящие из множества отдельных вопросов-индикаторов.

Самый простой способ оценки надежности-согласованности — это “расщепление пополам”. Если, например, у нас есть 12 вопросов, предположительно измеряющих политическую активность, где каждому вопросу присвоен 1 балл, а максимальной политической активности соответствует суммарный индекс 12 баллов, то применяется следующая процедура:

1. Вопросы в случайном порядке разбиваются на два равных списка (по 6 вопросов в каждом) и предъявляются один раз группе испытуемых.

2. Далее подсчитывается коэффициент корреляции между результатами одних и тех же испытуемых по разным “половинам” теста: чем выше его значение, тем согласованнее оценки истинного значения политической активности, получаемые с помощью данного набора индикаторов. Не исключено, однако, что полученная таким способом оценка надежности окажется весьма чувствительной к способу “расщепления пополам”: коэффициент корреляции будет заметно меняться в зависимости от способа составления двух списков.

Еще одна элементарная процедура, позволяющая оценить надежность отдельного вопроса (высказывания, пункта шкалы), — это проверка его корреляции с суммарным баллом, т. е. с суммарным значением индекса. Если для данной группы опрошенных коэффициент корреляции между отдельным вопросом о частоте зарубежных поездок и суммарным “индексом ксенофобии” оказался равен 0,3, то можно предположить, что названный вопрос не отражает истинного значения переменной “уровень ксенофобии” и может быть исключен из опросника. Ведь строго определенная надежность — это та доля измеренного разброса оценок, которая относится к истинному разбросу значений измеряемой переменной (мы пользуемся здесь менее строгим и скорее содержательным определением, поскольку пока не обсуждали необходимые статистические понятия). Очевидно, что коррелирование с суммарным баллом — это процедура, применимая для имеющих довольно простую структуру суммарных индексов и шкал

К другим методам увеличения надежности можно отнести “отсев” иррелевантных вопросов, анализ словесной формулировки вопроса, обучение и контроль интервьюеров, совершенствование методов кодирования данных и процедур ввода.

Валидность измерения, в самом общем смысле, характеризует соответствие измерения его цели. Эмпирический показатель валиден (обоснован, правилен) в той мере, в какой он действительно отражает значение той теоретической переменной, которую предполагалось измерить. Очевидно, что нет смысла говорить о валидности какого-то индикатора самого по себе. Валидность инструмента измерения состоит в однозначности и правильности получаемых результатов относительно измеряемого свойства объектов, т. е. относительно предмета измерения. Можно сказать, что валидность определяет “чистоту” измерения теоретического конструкта. Когда измерение является непосредственным, т.е. мы можем прямо подсчитать количество эталонных единиц измеряемого свойства, и на результаты измерения влияют только случайные ошибки, надежность и валидность неразличимы, валидность инструмента измерения равна его надежности. Если мы измеряем интересующее нас свойство лишь косвенно, используя какой-то индикатор, возникает различие между надежностью и валидностью. Индикатор может обладать высокой надежностью (воспроизводимостью), но при этом измерять интересующий нас социологический конструкт недостаточно “чисто”. Уже на интуитивном уровне очевидно, что вполне надежный инструмент может измерять нечто другое, помимо интересующего исследователя качества (например, не столько политическую активность, сколько конформизм). Косвенное измерение обычно содержит и случайный, и неслучайный ошибочный компонент. Именно неслучайный компонент, включающий в себя систематическую (скоррелированную) ошибку и, реже, имеющую одну и ту же величину для каждого случая постоянную ошибку измерения, определяет валидность показателя. Характерными примерами систематической ошибки измерения в социологическом опросе или эксперименте являются уже упоминавшиеся эффекты “памяти”, социальной желательности, установки за позитивный или негативный ответы. Они влияют не только на правильность, валидность индикатора интересующей исследователя переменной, но и на правильность и обоснованность результатов анализа данных: скоррелированная ошибка измерения может воздействовать на любые статистические показатели, в том числе на показатели взаимосвязи между переменными и на оценки значимости различий между подгруппами. Иными словами, конечным итогом “пользования невалидных индикаторов могут оказаться неверные содержательные выводы.

Проблема валидности измерения — сложнейшая проблема социологической методологии. Валидное измерение — это прежде всего результат валидной модели измерения, т. е. результат обоснованной и ясной концептуализации теоретических представлений. Здесь мы опишем лишь основные виды валидности и традиционные методы валидации, т. е. установления валидности измерений.

Валидностъ по содержанию показывает, в какой мере избранные исследователем индикаторы отражают различные аспекты теоретического понятия. Иными словами, речь идет о представительности данной совокупности измерений да отношению к концептуальной структуре переменной-признака, о полноте операционализации теоретических понятий. Например, экзамен по статистике может рассматриваться как валидный инструмент измерения статистических знаний студентов, так как экзаменационные вопросы отражают содержание лекций и учебников. Однако если все вопросы относятся лишь к одному разделу прочитанного курса — скажем, к нормальному распределению, — то результаты экзамена будут отражать, например, умение студентов переводить “сырые” баллы в стандартные оценки, но ничего не скажут о знании корреляции и регрессии.

Основная процедура оценки валидности по содержанию — это суждение эксперта. В некоторых случаях связь между теоретическими понятиями и измеряющими их индикаторами столь ясна, что никакие специальные обоснования попросту не требуются: понятно, что термометр измеряет температуру. Здесь можно говорить об очевидной (иногда—лицевой, от англ. face validity) валидности показателя. Очевидная валидность тем выше, чем тождественнее понимание цели вопроса, теста или иного показателя профессионалом-социологом и неискушенным респондентом. Вопрос о частоте покупки шампуня, по всей вероятности, не содержит в себе никаких подвохов и позволяет судить именно о том типе потребительского поведения, который описан в вопросе. Однако в более сложных случаях содержательная валидность отнюдь не сводится к очевидной. Набор простых вопросов о излюбленном способе проведения досуга, предпочитаемой марке автомобиля, частоте чтения престижного журнала и т. п. может быть нацелен на измерение “стиля жизни” респондента (в данном случае измерение позволяет отнести человека к одной из номинальных категорий стиля жизни — “выживающий”, “достиженческий”, “экзистенциальный”, “социальный” и т. п.). Судить о полноте этого набора и относительной значимости вопросов для измерения понятия “стиль жизни” могут только специалисты. Основой такого экспертного суждения является теоретическое определение, концептуализация исследовательской переменной. Обычно экспертное суждение о валидности по содержанию выносится более или менее стихийно, после публикации результатов исследования. Иногда все же удается использовать более организованные процедуры — метод параллельных панелей или метод нескольких судей. В первом случае две или три последовательные панели специалистов проводят всю процедуру валидации по содержанию, т. е. сравнивают существующие дефиниции, составляют список возможных индикаторов и оценивают их репрезентативность по отношению к исследуемой концептуальной области. Если сравнение индикаторов, независимо отобранных в двух и более панелях, обнаруживает множество совпадений, можно говорить о высокой содержательной валидности.

Валидность

Едва ли не самым главным показателем, обеспечивающим достоверность получаемых в эксперименте результатов, является валидность -уверенность в том, что эксперимент измерил именно то, что исследователи хотели измерить. Здесь проблема заключается в том, что одной надёжности как характеристики достоверности знания недостаточно: «… валидность предполагает надёжность, а обратное не верно. Надёжные измерения могут не быть валидными, но валидные должны быть надёжными …»

Необходимость введения критерия валидности связана с принципиальным несоответствием реальной и идеальной экспериментальной ситуации. Так же как план всегда не соответствует реальности его осуществления, так и: «… идеальный эксперимент – мысленный образец эксперимента …» всегда не соответствует экспериментальной реальности. Для оценки и контроля этого несоответствия и вводится критерий валидности.

Валидность и надёжность – это два взаимосвязанных показателя. Если надёжность обеспечивает уверенность в истинности знания, то валидность обеспечивает уверенность в точности знания: «… чтобы измерение имело ценность для психологического исследования, оно должно обладать одновременно и надёжностью, и валидностью. Надёжность важна для формирования уверенности в том, что проводимое измерение приближает к истинному значению, а валидность важна, так как она указывает, что измеряется именно то, что вы предполагаете …» [26, с.140]; «… вопрос валидности – это вопрос точности: направлено ли исследование на изучение того, что, как предполагается, изучается с его помощью? …»

Другими словами, валидность свидетельствует о том, что исследуется (измеряется) именно, то, что было запланировано: «… измерение характеристик поведения считается валидным, если измеряют именно то, что собирались …»

Внутренняя валидность

Среди всех видов валидности наибольшую важность имеет внутренняя. Внутренняя валидность характеризует меру соответствия идеального исследования – реальному: «… соответствие реального исследования идеальному будем называть внутренней валидностью …»

В естественнонаучном эксперименте внутренняя валидность характеризует степень влияния независимой переменной и зависит от неэквивалентности и динамики состава экспериментальных групп: «… валидность внутренняя – соответствие конкретного исследования идеальному; оценивает изменение зависимой переменной, определяется влиянием независимой переменной, а не другими причинами. Внутренняя валидность зависит от систематического изменения влияния независимой и других переменных от неэквивалентности и изменения сравниваемых групп в ходе эксперимента …»

Наиболее опасную угрозу внутренней валидности представляет формальный план с отсутствием контрольной группы: «… так называемая угроза для внутренней валидности наиболее опасна при отсутствии контрольной группы …».

Способом контроля внутренней валидности является формальное планирование: «… формальное планирование направлено на выбор схемы, т.е. плана организации воздействий, при котором гарантировано выделение исследуемого отношения между X и Y. Этот план включает указание как последовательности уровней НЗП, предъявляемых испытуемому или группам испытуемых, так и числа опытов (n). План эксперимента есть также план фиксации ЗП. В зависимости от способа получения данных, т.е. в соответствии с определёнными планами, выбираются способы обработки данных …».

Поскольку валидность определяет точность проводимого исследования, постольку планирование обеспечивает валидность любо вида: «… все без исключения мероприятия по планированию психологического эксперимента должны быть направлены на обеспечение валидности в эксперименте. Валидность – степень соответствия измеряемой переменной измеряемому свойству реального объекта …»

Внутренняя валидность обеспечивает достоверность полученного в исследовании результата: «… внутренняя валидность … - достоверность утверждения, что именно манипуляция независимой переменной вызвала изменение в зависимой переменной …».

Аналогом естественнонаучной внутренней валидности в креативном эксперименте имеет место технологическая валидность. Т.е. соответствие уровня развития учащихся группе развития и соответствие группы развития применяемой образовательной технологии.

Поскольку главным средством контроля внутренней (технологической) валидности является формальное планирование, постольку в своём исследовании мы использовали несколько приёмов.

Во-первых, был использован классический план Д.Кэмпбелла с экспериментальной и контрольной группами. В качестве экспериментальной группы выступали все учащиеся, участвовавшие в экспериментальном обучении. В качестве контрольной группы выступали все остальные учащиеся.

Во-вторых, в наиболее совершенных ситуациях экспериментального обучения осуществлялся контроль состава групп развития. Для этого в течение учебного года несколько раз (4-5 раз) осуществлялась психологическая диагностика учащихся. На основании результатов диагностики и на основании экспертных оценок учителей, родителей и исследователей формировались новые группы развития.

Конструктная валидность

Наряду с внутренней валидностью, решающее значения для получения лостоверных знаний имеет конструктная валидность.

Иногда конструктная валидность определяется как мера соответствия между терминами теории и наблюдаемыми (исследуемыми) признаками явления: «… конструктная валидность … - степень соответствия между термином, используемым для обозначения класса поведения (например, агрессии), и наблюдаемыми – изменяемыми или измеряемыми – признаками поведения (например, количество угрожающих высказываний) …».

Это определение конструктной валидности фактически означает, насколько адекватны теории используемые в исследовании независимые и зависимые переменные: «… в случае экспериментальных исследований термин конструктная валидность … обозначает, насколько адекватно определяется независимые и зависимые переменные, используемые в исследовании …».

В любом случае, конструктная валидность обусловливает теоретическую точность экспериментального исследования, т.е. насколько соотносится причинно-следственное отношение, сформулированное в теории, и причинно-следственная связь независимой и зависимой переменных, обнаруженная в результате исследования: «… конструктная валидность имеет отношение к теоретической точности: правильно ли мы объясняем причинно-следственные связи, которые были обнаружены в исследовании? …».

Другими словами, конструктная валидность выражает точность экспериментальной реализации гипотезы в исследовательской процедуре: «… валидность конструктная – характеризует точность реализации теоретической гипотезы в процедуре эксперимента. Является одним из проявлений внутренней валидности. Определяет область явлений, исследуемых в эксперименте …»

Конструктная валидность контролируется содержательным планированием. Она определяет теоретическую точность конструирования идеального эксперимента. Уверенность в конструктной валидности приходит по мере получения всё большего количества подтверждающих результатов: «… конструктная валидность – особенно подходит для экспериментальных исследований. Она имеет отношение сразу к двум вопросам: является ли оцениваемый конструкт валидным, а инструмент, с помощью которого производится оценка, - наилучшим. Конструктная валиднось тесно связана с сущностью теории, построением гипотеза на основании теории и оценкой теорий, выведенных из результатов исследования. Конструктная валидность как таковая никогда не подтверждается и не разрушается одним исследованием, а также её невозможно доказать по тем же причинам, по каким невозможно доказать теорию. Уверенность в конструктной валидности растёт постепенно по мере получения исследователями подтверждающих результатов …»

Залогом высокой конструктной валидности нашего экспериментального исследования является исторический (креативный) метод обоснования конструекции идеального эксперимента, а практическим подтверждением высокой конструктной валидности исследования является реальный рост учебной мотивации. Как известно, в условиях современного образовательного процесса динамика учебной мотивации имеет противоположный знак.

Операциональная валидность

Ещё один вид внутренней валидности – операциональная валидность. Операциональная валидность обусловливает адекватность методики и плана экспериментального исследования проверяемой гипотезе. Операциональная валидность обусловливает соответствие реального эксперимента теоретической гипотезе, поскольку именно в гипотезе фиксируется характер связи независимой и зависимой переменных: «… валидность операциональная – соответствие операций экспериментатора теоретическому описанию переменных, контролируемых в исследовании. Варьируемые экспериментатором условия должны соответствовать независимой переменной. Операциональная валидность является одним из проявлений внутренней валидности …».

Другими словами, операциональная ваалидность отвечает за то, что установленная в реальном исследовании связь представляет собой именно ту связь, которая сформулирована в гипотезе: «… решение вопроса о том, что установлена именно представленная в гипотезе связь, а не какая-то другая, зависит от оценки внутренней и операциональной валидности эксперимента …»

Способом контроля операциональной валидности, так же как и конструктной, является содержательное планирование. В данном случае с помощью содержательного планирования была операционализирована «независимая переменная» («схема» организации онтологического общения), «зависимая переменная» (психологическая сложность предметных задач), оценено влияние дополнительной переменной («разный психический возраст учащихся») и найдено решение за счёт дифференциации требований к учащимся различный психических возрастов: «… содержательное планирование включает решение (разрешение) всех вопросов конструктной и операциональной валидности, заключающихся в конкретизации и операционализации НЗП (независимой переменной), ЗП (зависимой переменной) и выбора уровней ДП (дополнительной переменной). Оно предполагает развёртывание содержательных доводов как с точки зрения обоснования экспериментальных гипотез, так и с точки зрения соотнесения используемых психологических конструктов и методических процедур измерения переменных …».

Внешняя валидность

Внешняя валидность – является мерой соответствия экспериментальной процедуры исследуемому реальному объекту.

На внешнюю валидность влияют дополнительные переменные. Внешняя валидность контролируется путём контроля дополнительных переменных: «… соответствие реального исследования изучаемой объективной реальности назовём внешней валидностью …».

Внешняя валидность зависит от репрезентативности выборки и сопоставимости контролируемых дополнительных переменных дополнительным переменным в других условиях: «… валидность внешняя – соответствие конкретного исследования природной реальности и/или другим подобным исследованиям. Определяет возможность переноса и/или обобщения результатов на другие объекты и условия исследования. Зависит от репрезентативности выборки и соответствия контролируемых в исследовании дополнительных переменных, их вариативности в других условиях. Частной формой внешней валидности является экологическая валидность, определяющая возможность распространить выводы конкретного исследования на реальные условия, а не на иные лабораторные условия …»

От внешней валидности зависит перенос результатов из лабораторных условий в реальность и обобщение результатов (выводов): «… внешняя валидность … - возможность переноса результатов эксперимента на определённую реально существующую совокупность, ситуацию или условия, отличающиеся от условий эксперимента …»

Поскольку наше исследование во многом организовывалось как полевое (естественное), особые проблемы с внешней валидностью не стояли. В результате экспериментальное обучение было проведено в условиях большого количества дополнительных переменных (наполняемость классов; возраст учащихся; тип образовательных учреждений; степень урбанизированности культурной и социальной среды; культура; этнопсихологические особенности; степень периферийности учебного заведения; стиль преподавания; социально-психологический климат в учебном заведении; социальное происхождение учащихся и пр. и пр.).

Полученные в результате данные свидетельствуют о их высокой внешней (экологической) валидности.

Критериальная валидность

В проведённом исследовании особое значение имел ещё один вид валидности – критериальная валидность. Необходимость её рассмотрения связана с тем, что в условиях экспериментального обучения получаемые результаты всегда соотносятся с критериями, на основании которых производится оценка эффективности и успешности экспериментального обучения: «… валидность названа «критериальной», потому что результаты рассматриваемых измерений соотносятся с некоторым значением или критерием …».

Важность критериальной валидности заключается в том, что позволяет оценить эффективность экспериментального обучения с возможной эффективностью реальной жизнедеятельности: «… валидность критериальная – отражает соответствие диагноза и прогноза, полученного на основе данных тестирования, деятельностным и жизненным показателям, включает в себя текущую и прогностическую валидность …»

С этой точки зрения критериальная валидность представляет большую важность как мера прогностичности идеального исследования: «… отношение идеального исследования к реальности можно охарактеризовать как теоретическую, или прогностическую, валидность …».

Оглав

	Подождите, идёт загрузка курса
Теоретический раздел → Курс лекций → Тема 8. Надежность и валидность исследований в психологии → Тема 8. Семинар

Тема 8. Семинар

1. Составьте таблицу «Характеристика видов надежности психологического исследования» согласно представленного образца

Таблица 3 – Характеристика видов надежности

психологического исследования

2. Составьте таблицу «Характеристика видов валидности психологического исследования».

3. Проанализируйте представленное ниже исследование, описанное К.А.Рамулем в кн. «Из истории психологии». Докажите степень надежности и валидности данного исследования.

В VII в до н.э. египетским фараоном Псамметихом был проведен эксперимент. Данный фараон задался целью выяснить, какой народ, живущий на земле, наиболее близок к Богу. Теоретическое положение исследования утверждало, что богоизбранный народ обладает первоязыком. В эксперименте проверялась гипотеза, что первоязыком обладает именно народ Египта. В случае неопровержения этой гипотезы египетский народ получал доказательство своей богоизбранности, что имело важное политическое значение.

Сам эксперимент проводился следующим образом. Двоих новорожденных детей отдали в горы пастухам со строгой инструкцией: кормить детей козьим молоком и ни в коем случае не произносить при детях ни одного слова. Целью эксперимента было выяснить первое, генетически заложенное слово.

Через два года дети выбежали навстречу экспериментатору с криком «бекос» (в русской транскрипции).

Таким образом, первое генетически заложенное слово определили, но, к досаде древнеегипетских исследователей, в словаре египетского языка это слово отсутствовало. Зато это слово нашли в словаре языка фригийцев, более того, у фригийцев это слово обозначало «хлеб», то есть понятие, играющее первостепенную роль в жизни каждого народа.

Псамметих как честный ученый был вынужден признать, что богоизбранным народом являются фригийцы, или отказаться от первоначальных теоретических построений.

4. Проведите исследование одного из психологических опросников и докажите надежность и валидность данной методики.

Литература

• Дружинин, В.Н. Экспериментальная психология/ В.Н.Дружинин. – СПб.: Питер, 2008. – 318 с.(Гриф Мин.обр РФ).

• Загвязинский, В.И., Атаханов, Р. Методология и методы психолого-педагогического исследования: Учебн. пособие для студ. / В.И. Загвязинский, Р. Атаханов. – М.: Издательский центр «Акадамия», 2001.

• Константинов, В.В. Экспериментальная психология. Курс для практического психолога /В.В. Константинов. – СПб.: Питер, 2006.

• Никандров, В.В. Экспериментальная психология /В.В.Никандров. – СПб.: Речь, 2009.

• Носс, И.Н., Васина, Н.В. Введение в практику психологического исследования / И.Н. Носс, Н.В. Васина. – М.: Изд-во Института психотерапии, 2004. – 348с.

Оглав

	Подождите, идёт загрузка курса
Теоретический раздел → Курс лекций → Тема 9. Общая характеристика метода эксперимента → Тема 9. Лекция

Тема 9. Лекция

Date: 2015-07-01; view: 471; Нарушение авторских прав