Подкрепление и затухание

Приверженцы теории Скиннера по­ставили множество экспериментов, показывающих, что поведение лю­дей, начиная с младенческого возраста, можно регулировать с помо­щью подкрепляющих стимулов. Например, маленькие дети сосут ак­тивнее и чаще, если в результате сосания они получают сладкую, а не пресную жидкость (Lipsitt, 1975). Точно так же дети чаще улыбаются и издают звуки, если такое поведение несет с собой вознаграждения, на­пример улыбки, ласки и внимание взрослых (Brackbill, 1958; Rheingold, Gewirtz, & Ross, 1959).

В таких экспериментах действуют два разных вида подкреплений. Некоторые подкрепления, такие как еда или устранение боли, назы­ваются первичными подкреплениями; они обладают «естественной» подкрепляющей силой. Другие подкрепляющие стимулы, такие как улыбки, одобрение или внимание взрослых, вероятно, являются обус­ловленными подкреплениями; их эффективность проистекает из чг- стого сочетания этих стимулов с первичными подкреплениями (Skin­ner, 1953, р. 78).

Оперантные реакции, так же как и респондентные, могут подвер­гаться угашению (р. 69). Например, поскольку дети часто делают многие вещи «только для того, чтобы привлечь внимание» (р. 78), нежелательные виды поведения, такие как постоянный плач, кап­ризы или скандалы, можно «погасить», если последовательно отка­зываться обращать на ребенка внимание каждый раз, когда он или она начинает так себя вести (Etzel & Gewitz, 1967; Williams, 1959).

Точно так же, по всей видимости, угасшее оперантное поведение может иногда спонтанно восстанавливаться. Например, маленький мальчик, чьи вспышки раздражения удалось побороть с помощью последовательного отказа уделять внимание, может опять начать демонстрировать такие вспышки, оказавшись в новой ситуации (Wil­liams, 1959). Тогда такое поведение следует «гасить» дальше.

Незамедлительность подкрепления. Скиннер (Skinner, 1953, р. 101; 1959, р. 133) обнаружил, что в начальной стадии эксперимен­та можно довести реакцию до наивысшего уровня, только если под­креплять ее немедленно. Крыса будет часто нажимать на рычаг, толь­ко если она немедленно получает пищу каждый раз, когда делает это. Как отмечают Бийо и Баэр (Bijou & Baer, 1961, p. 44), этот прин­цип имеет большое значение при воспитании детей. Если отец пока­зывает свое удовольствие сразу после того, как сын принес ему газе­ту, то очень вероятно, что мальчик сделает так же и следующим ве­чером. Но если отец настолько увлечен чем-то другим, что отложит одобрение поведения сына на несколько минут, подкрепление не произведет должного эффекта. Фактически, подкреплено будет то, чем занимался мальчик в момент получения вознаграждения. Если он в этот момент строил дома из кубиков, то именно строительство домов из кубиков, а не поход за газетой, получит подкрепление.

Дифференцирующие (discriminative) стимулы. Мы уже гово­рили о том, что оперантное обусловливание можно описать без ка­ких-либо ссылок на первоначальные стимулы. Это, действительно, так, однако это не значит, что такие стимулы не играют совсем ника­кой роли. Стимулы, предшествующие реакции, также могут в зна­чительной степени управлять ею.

Например, Скиннер (Skinner, 1953, pp. 107-108) проводил опы­ты с голубем, вознаграждая птицу всякий раз, когда она вытягивала Шею. В начале эксперимента Скиннер не знал никаких первоначаль­ных стимулов, которые можно было бы использовать, он просто дал, пока голубь сам сделает это движение, а потом вознаграждал о. Затем он стал подкреплять реакцию только тогда, когда был зажжен сигнальный свет. После нескольких таких опытов голубь стал вытягивать шею намного чаще в те моменты, когда включался свет. Свет превратился в дифференцирующий стимул. Включение света могло управлять поведением, потому что оно обозначало ситуацию, в которой существовала вероятность вознаграждения.

Скиннер (р. 108-109) приводил множество примеров того, как наше повседневное поведение регулируется дифференцирующими стимулами. В саду, где красные яблоки — сладкие, а все остальные — кислые, красный цвет становится стимулом, указывающим на об­стоятельства, при которых срывание и съедание яблока приведет к благоприятным последствиям. Точно так же мы выучиваемся рас­сматривать улыбку на лице человека как показатель того, что обра­щение к этому человеку может вызвать положительную реакцию. Когда человек хмурится, та же просьба может привести к неприят­ным последствиям, например к резкому отказу. И постольку по­скольку это является правдой, выражение лица у других людей мож­но считать дифференцирующим стимулом, определяющим вероят­ность того, что мы обратимся к ним с просьбой или вопросом.

Но притом что дифференцирующие стимулы в действительно­сти способны управлять поведением, следует подчеркнуть, что та­кое управление не осуществляется автоматически, как в случае рес-пондентного обусловливания. В экспериментах Павлова первичные стимулы автоматически вызывали реакцию, при оперантном обус­ловливании эти стимулы только лишь делают реакцию более веро­ятной.

Генерализация. При оперантном обусловливании, так же как и при респондентном, наблюдается генерализация стимулов (Skinner, 1953, р. 32). Предположим, маленькая девочка получает вознаграж­дение, когда произносит «па-па» при появлении своего отца, но не тогда, когда она говорит это, глядя на свою мать, брата или сестру. Отец становится дифференцирующим стимулом. Не стоит удив­ляться, однако, если девочка начнет говорить «па-па» при виде лю­бого взрослого мужчины, даже незнакомого человека на улице. Про­изошла генерализация стимула. Родители должны научить ее про­изводить более тонкую дифференциацию. Например, они могут, улыбаясь, говорить ей: «Правильно, это папа», — когда она произно­сит «па-па» при виде отца, но не тогда, когда она смотрит при этом на другого мужчину.

Точно так же мы можем наблюдать генерализацию реакций (res­ponse generalization). Например, установлено, что если дети получают вознаграждение за использование каких-либо частей речи, допустим, глаголов, они сами начинают использовать новые глаголы, хотя и не получали подкрепления за произнесение именно этих конкретных слов. Подкрепление усиливает не только одну определенную реак­цию, но целый класс подобных реакций (Lovaas, 1977, р. 112-113).

Постепенное формирование (shaping). Оперантное поведение, как правило, не усваивается в один прием. Обычно оно выучивается постепенно, мало помалу. Даже для того, чтобы научить голубя кле­вать пятно на стенке, как показал Скиннер (Skinner, 1953, р. 92), тре­буется формировать эту реакцию постепенно. Если мы просто поса­дим голубя в ящик и будем ждать, пока он клюнет это пятно, нам, может быть, придется ждать несколько дней или даже недель. Боль­шую часть времени голубь даже не приближается к «целевому» пят­ну. Поэтому мы должны постепенно формировать поведение, кото­рого мы от него ждем. Сначала мы даем птице немного корма, когда она поворачивает голову в сторону пятна. В результате, такое пове­дение становится более вероятным и проявляется чаще. Потом мы удерживаем вознаграждение до тех пор, пока голубь не сделает лег­кого движения в правильном направлении. Затем мы переносим «точку подкрепления» все ближе и ближе к пятну, пока голубь, на­конец, не оказывается перед самым этим пятном. В этот момент мы можем перейти к подкреплению движений^головы, вначале вознаг­раждая едой любое движение головы вперед. Потом мы начинаем давать еду только тогда, когда птица по-настоящему клюнет пятно. С помощью такой процедуры мы можем постепенно выстроить же­лательную для нас реакцию. Постепенное формирование называет­ся также «методом приближений» (method of approximations), по­скольку подкрепления связываются со все более и более точным при­ближением к желательной реакции.

Вероятно, многим человеческим умениям люди научаются через такой многоступенчатый процесс формирования. Когда взрослый учит мальчика играть в бейсбол, он сначала говорит «Молодец!», когда у мальчика получается правильно держать бейсбольную биту. Затем он говорит «Хорошо!», когда мальчик устанавливает свою руку с битой в правильное положение. Затем можно начать отраба­тывать стойку, удар и так далее, постепенно формируя целостное по­ведение.

Поведенческие цепочки. Притом что поведение может быть сфор­мировано кусочек за кусочком, оно также развивается в длинные, ком­плексные цепочки реакций. Например, игра в бейсбол подразумевает следующие действия: взять биту, обеспечить правильный захват и пра­вильную стойку, размахнуться, ударить и т. д. Последователи Скинне-Ра стараются рассматривать каждый шаг в таких цепочках с точки зре­ния стимулов и подкреплений. Когда человек подходит к бите, он по- подкрепление тем, что берег ее, и это служит стимулом для сле­дующего действия — попробовать правильно держать биту. Когда рука надлежащим образом лежит на бите, у человека возникает определен­ное «чувство», которое он понимает, как чувство правильного захвата. Это «чувство» есть подкрепление и вместе с тем оно служит сигналом к тому, чтобы выполнить следующее действие — поднять руку. Немно­го позже ощущение удара мяча о биту будет подкреплением взмаху битой, а также сигналом к следующему действию — попытаться напра­вить мяч в лунку. Когда мальчик или девочка становится хорошим иг­роком, вся последовательность преобразуется в комплексную цепочку действий, которые выполняются гладко, как единое целое (Munn et al., 1974; p. 220-224; Reynolds, 1968, p. 53-56; Schwartz, 1989).

Резким подкреплений. Скиннер (Skinner, 1953, p. 99) заметил, что в повседневной жизни наши действия редко подкрепляются посто­янно, каждый раз, когда мы их предпринимаем; вместо этого они под­крепляются периодически. Мы не всегда находим лыжню хорошей, когда идем кататься на лыжах, и не всегда получаем удовольствие, когда идем на вечеринку. Соответственно, Скиннер начал изучать воз­действие различных вариантов периодических подкреплений.

Режим периодических подкреплений может быть построен на основе фиксированного интервала, когда человек или животное по­лучает вознаграждение за правильную реакцию только через опре­деленные периоды времени. Например, голубь получает корм после того, как клюет круг, но потом должен ждать 3 минуты, прежде чем его следующий клевок будет вознагражден, затем еще 3 минуты и так далее. Уровень реагирования при таком расписании подкрепле­ний, как правило, бывает довольно низким. Более высокий уровень получается при режиме, основанном на фиксированном соотноше­нии, например, когда голубь получает еду после каждого пятого клев­ка. Однако при обоих типах режимов наблюдается временный спад в проявлении реакции непосредственно после получения подкреп­ления. Как будто организм знает, что следующего подкрепления придется ждать еще долго (р. 103). Студенты часто испытывают та­кой эффект сразу после завершения долгой и сложной работы, — очень трудно бывает тут же взяться за новое задание.

Временного спада, вызываемого фиксированным режимом, мож­но избежать, если варьировать промежутки получения вознагражде­ний непредсказуемым способом. При режиме случайных интервалов подкрепление получается в течение некоторого среднего промежутка времени, но точный интервал выбирается случайно и заранее не изве­стен. При режиме случайных соотношений варьируется число дей­ствий, которые нужно произвести для того, чтобы получить подкрепление. Эти два режима дают стабильно высокую частоту реагирова­ния, в особенности режим случайных соотношений. Люди и живот­ные реагируют постоянно, так как вознаграждение может последо­вать в любой момент.

Одно из важнейших открытий Скиннера состоит в том, что перио­дически подкрепляемое поведение, в отличие от постоянно подкреп­ляемого, «угасает» намного медленнее. Вот почему нам часто бывает так сложно бороться с неправильным поведением наших детей. Мы можем игнорировать хныканье или капризные требования ребенка в большинстве случаев, но если мы хотя бы иногда уступаем, ребенок будет продолжать вести себя так (Bijou & Baer, 1961, p. 62).

Если же мы хотим воспитать желательное поведение, лучше все­го начать с постоянных подкреплений, это наиболее эффективный способ добиться того, чтобы поведение начало реализовываться. Однако если мы хотим, чтобы этот вариант поведения закрепился надолго, нам следует в некоторый момент перейти к периодическо­му режиму подкреплений (Bijou & Baer, 1961, p. 62).

Негативные подкрепления и наказания. До сих пор мы фоку­сировали внимание на позитивных подкреплениях. Подкрепление означает усиление реакции (повышение уровня реагирования), и по­зитивные подкрепления усиливают реакцию, сопровождая ее пози­тивными последствиями, такими как пища, одобрение или внимание. Но реакции также могут быть усилены и через негативные подкреп­ления, т. е. устранение неприятных, болезненных или вызывающих отвращение стимулов. В основе своей, то, что здесь подкрепляется — этореакция избегания, например, когда девочка, стоящая на трамп­лине для прыжков в воду, учится избегать насмешек своих прияте­лей, прыгая вниз и ныряя (Skinner, 1953, р. 73,173).

Когда мы наказываем, то, наоборот, стараемся не подкрепить по­ведение, а изжить его. Наказание, как писал Скиннер, «это-самая распространенная техника контроля над поведением, применяемая в современном мире. Схема всем известна: если мужчина ведет себя не так, как вам нравится, ударьте его кулаком, если ребенок плохо себя ведет, отшлепайте его, если люди в другой стране плохо себя ведут, сбросьте на них бомбу» (р. 182).

Однако наказание далеко не всегда работает. В ходе одного из ранних экспериментов Скиннер (Skinner, 1938) обнаружил, что, на­казывая крысу за нажатие на планку-рычаг (планка отскакивает и ударяет животное по лапам), можно лишь временно подавить реак­цию. Если рассматривать более длительный период, то выясняется, что применение наказания не устраняет реакцию быстрее, чем она угасает сама, не получая подкрепления. Другие исследования (напр., Estes, 1944) также привели к схожим результатам, и наш повседнев­ный опыт говорит то же самое. Родители, которые бьют своих детей, могут на время добиться от них хорошего поведения, но затем обна­руживают, что их дети по-прежнему продолжают вести себя не так, как нравится родителям.

Скиннер возражал против применения наказаний еще по одной причине: из-за того, что наказания могут производить нежелатель­ные побочные эффекты. Ребенок, которого ругают в школе, может очень скоро стать подавленным и склонным к конфликтам. Ребенок как будто разрывается между желанием работать и избеганием ра­боты, оттого что боится последствий. Такие дети могут начинать ра­боту и тут же бросать ее, становятся рассеянными или предприни­мают какие-нибудь другие, столь же неуклюжие и неконструктив­ные попытки избежать наказания (Skinner, 1953, р. 190-191).

Некоторые исследователи полагают, что Скиннер преувеличивал значение аргументов против наказания. В каких-то случаях наказа­ние практически полностью уничтожает нежелательную реакцию. Это в особенности верно, когда наказание исключительно болезненно. Также наказание может быть эффективным, если оно применяется немедленно, и у его объекта есть в запасе альтернативная реакция, которая приносит вознаграждение (Liebert et al., 1977, p. 138-141). Тем не менее воздействие Наказания часто бывает неожиданным и нежелательным.

Скиннер рекомендовал вместо наказания детей пробовать обеспе­чить естественное угасание реакции. «Если ребенок настойчиво ве­дет себя плохо только потому, что получает подкрепление, выводя из себя родителей, то эта манера поведения исчезнет, когда она больше не будет приносить ему таких результатов» (1953, р. 192). Последова­тели Скиннера часто советуют также комбинировать действия, на­правленные на угасание нежелательного поведения, с позитивными подкреплениями желательного поведения. В одном из эксперимен­тов воспитатели детского сада просто игнорировали своих подопеч­ных, когда те вели себя агрессивно, в то же время вознаграждая их одобрением и вниманием всякий раз, когда они проявляли миролю­бие и желание сотрудничать. В результате в группе установилась спо­койная и дружественная атмосфера (P. Brown & Elliot, 1965).