Метод 4. Отрицательное подкрепление

Вопрос о подкреплении, как ни странно, довольно запутанный. В отечественной школе физиологов подкреплением считают все безусловные (непосредственные) воздействия на животное, которые следуют после условного сигнала (например команды). Безусловные воздействия – это и предложение собаке пищи, воды, и наш окрик, это и оглаживание, и шлепок, в общем, все, что собака непосредственно может воспринять. В случае наличия подкрепления условный рефлекс называют положительным (подкрепляемым), а отрицательным, или тормозным (не—подкрепляемым), – в случае отсутствия безусловного воздействия. При таком подходе болевые воздействия на собаку можно считать подкреплением, положительным для того действия, которое мы вырабатываем, например, движение собаки рядом с собой. Действие, которое вырабатывается при помощи боли, вызывает у собаки оборонительный положительный рефлекс. Собака совершает нужные нам действия, уходя от боли, предотвращая ее, т. е. обороняется.

В оперантной дрессировке подкреплением считается любое воздействие, увеличивающее или уменьшающее вероятность повторения в будущем поведения, предшествующего воздействию. В таком случае положительным подкреплением считается воздействие, которое увеличивает вероятность предшествующего ему действия в будущем. Другими словами, животное всегда стремится к получению положительного подкрепления, поскольку этот момент всегда положительно эмоционален. И, наоборот, животное стремится избежать отрицательного подкрепления, т. к. оно вызывает отрицательные (негативные) эмоции и снижает вероятность повторения в будущем поведения, приводящего к такому состоянию. Неудовлетворение потребности считается в оперантной дрессировке мощным отрицательным подкреплением.

По мнению К. Прайор, отрицательное подкрепление – это любое неприятное событие или ощущение, действие которого можно прекратить или избежать, изменив поведение. Отрицательное подкрепление, как и положительное, – одна из составляющих самого поведения, поэтому на него можно повлиять только изменением поведения, и в этом его отличие от наказания.

Для того чтобы наверняка понять отличие отрицательного подкрепления от наказания, вернемся к примеру, упомянутому ранее. Ваша собака часто залезает на диван. Вам это не нравится и вы отучаете ее следующим образом: как только застаете на диване, тут же ее ругаете и задаете трепку. Как правило, агрессивное поведение хозяина прекращается сразу же, как только собака спрыгивает с дивана. Если следовать вашей логике, то благодаря примененным мерам воздействия собака должна сообразить, что лазать на диван ей нельзя. Ничего подобного! Собака считает, что грубый резкий окрик хозяина означает: скорей слезай, чтобы избежать трепки.

Однако многие собаки довольно быстро понимают, что появление хозяина, когда они лежат на диване, приводит к резкому окрику, и если с дивана не слезть, то схлопочешь. В результате ретируются сразу, как только увидят хозяина на пороге комнаты. Третьи идут еще дальше, они связывают наличие хозяина в квартире с его агрессивным поведением во время «диванного положения» и в его присутствии ведут себя как паиньки. Когда же хозяина нет, все собаки ведут себя одинаково – «диванолюби—во». Почему? Да потому что неприятное для собаки воздействие (ругань, шлепки) выступает подкреплением (отрицательным или положительным, – это еще вопрос) ее действия (спрыгивания с дивана) и наказанием по отношению к залезанию на диван. Таким педагогическим воздействием вы обучаете собаку быстро спрыгивать с него по команде (в данном случае это комплексный раздражитель – ваш вид и осуждающий крик).

Как же отучить собаку залезать на диван? Нужно придумать нечто такое, что делало бы неприятным именно это действие. Например, можно поставить на диван заряженные мышеловки. Одного добермана, который со всего размаха шлепался на диван, отучили так: разложили на диване остриями вверх шиферные кнопки и прикрыли их покрывалом. Для отучения оказалось достаточным одного прыжка. Более того, бедняга начинал активно сопротивляться при попытке затащить его на диван.

Отрицательное подкрепление – очень эффективный способ формирования поведения, но не лучший. Проследите за собой, в общении и с людьми, и со своими собаками мы в основном пользуемся именно им. Нам почему—то кажется, что хорошее поведение – это норма. Так и должно быть, и что уж тут радоваться и хвалить? Поэтому и не замечаем, а что самое плохое, и не подкрепляем положительно нужное нам поведение. Мы его как будто не видим, а обращаем внимание только на огрехи, за что и ругаем собаку. Но слишком частое применение отрицательного подкрепления приводит, особенно у щенков, к появлению робости, неуверенности в себе, тревожности и отбивает охоту от самого процесса дрессировки. Потому что собака начинает понимать: ее новый навык увеличивает возможность дополнительного получения отрицательного подкрепления, которого она, естественно, стремится избежать. Кстати, классическая дрессировка и называется классической, потому что строится в основном на отрицательном подкреплении. Например, команда «Сидеть!» свидетельствует о возможных неприятных, а то и болевых воздействиях на область крестца, и чтобы их избежать, необходимо сесть.

Чему учит команда «Фу!»

А ничему, потому что это даже не команда! И собаки, понимая это, реагируют на это звукосочетание как бог на душу положит. Одни, а их подавляющее большинство, просто игнорируют крики хозяина, другие, хотя и понимают, о чем идет речь, но свое дело доделывают. Потом такие собаки либо приползут на брюхе с виноватым видом, либо будут долго изводить хозяина, делая вид, что собираются убежать от него навсегда. Но некоторые на самом деле панически боятся этого слова.

Почему это «Фу!» не команда? Как известно, команда (разрешающий, запускающий, санкционирующий, вызывающий поведенческий акт, стимул или раздражитель) дает информацию собаке о чем—то конкретном, что необходимо в данный момент сделать. А буквосочетание «Фу!» – это просто сигнал—предвестник боли или других неприятностей. Звуковой сигнал, предшествующий натуральному отрицательному подкреплению, приобретает его свойства и становится условным отрицательным подкреплением. Но чтобы сигнал был для собаки значимым, т. е., чтобы она обратила на него внимание и учла последствия, он должен сопровождаться достаточно сильным натуральным отрицательным подкреплением – болью. Следует еще добавить, что «Фу!» – это универсальное условное отрицательное подкрепление, хотя бы потому что мы пытаемся использовать его во всех случаях хулиганского поведения наших собак. К тому же функцию этого подкрепления со временем начинают приобретать и другие специфические слова и интонации, которые мы обычно употребляем, шлепая собаку.

При использовании условного отрицательного подкрепления возникают свои проблемы, недаром появился даже термин «зафукивание». С одной стороны, сигнал «Фу!» подкрепляется недостаточно сильно (не превышает порога болевой чувствительности собаки) и потому не становится значимым. С другой, произносится так часто, а подкрепляется так редко, что быстро теряет свое значение. С третьей, самой печальной стороны, подкрепление бывает нередко чрезмерной силы, и собака начинает бояться как сигнала, так и человека, подавшего его. А печаль в том, что, добившись значимости сигнала, мы даем тем самым прекрасный рычаг управления нашей собакой посторонним людям. Потому что это «Фу!» знают теперь все – от бессознательных младенцев до сверхсознательных старушек. Конечно, несложно сделать сигнал «Фу!» синонимом команды «Фас!», но при этом возможны неприятные последствия.

В то же время при помощи условного отрицательного подкрепления бывает очень трудно от чего—нибудь отучить собаку. Например, сигнал «Фу!» не отучит ее подбирать пищу с земли, он научит ее не делать этого, только когда будет подан. А если сигнал не подан значит, можно? Так оно и бывает.

Если возникает необходимость управления собакой на расстоянии, когда она без поводка, эффективней будет подать какую—нибудь отработанную до навыка команду («Ко мне!», «Стоять!» или «Сидеть!») – это помогает чаще. Если собака отвлекается при работе, достаточно повторить рабочую исполнительную команду и при необходимости подкрепить ее.

Используя как натуральное, так и условное отрицательное подкрепление, вы должны помнить о его силе. Отрицательное подкрепление только тогда принесет пользу, когда оно будет значимым для собаки. Например, на шлепок газетой щенок кавказской овчарки не обратит внимания, и нежелательное его поведение не угаснет. В то же время это подкрепление не должно быть и чрезмерным, потому что удар тока электрического ошейника чрезмерной силы для того же щенка овчарки может привести к появлению панической реакции, срыву нервной системы и трусости на всю оставшуюся жизнь. Ваши воздействия должны быть такой силы, чтобы собака стремилась их избежать, но не впадала в панику.

Применяя отрицательное подкрепление, следует научиться прекращать его сразу же, как только поведение собаки улучшится (изменится) хоть немножко, и обязательно давать возможность животному компенсировать наличие отрицательных эмоций получением положительного подкрепления.

Метод 5. Угашение

Угашением принято называть снижение выраженности какой—либо реакции или действия животного, уменьшение вероятности или кратности его появления, а то и полного исчезновения в результате устранения того, что его подкрепляет. В принципе, этот метод – один из вариантов метода отрицательного подкрепления.

Впервые явление угашения было замечено в лаборатории И. П. Павлова. Оказалось, что если перестать подкармливать собаку, у которой ранее был выработан пищевой условный рефлекс на звонок, т. е. ту собаку, которая до этого всегда получала пищу после звонка, количество слюны, выделяемое ею, будет снижаться и через некоторое время совсем прекратится. Для собаки звонок перестанет быть сигналом скорого получения пищи и потеряет свое «пищевое» значение. Позже аналогичные случаи угашения были обнаружены не только у лабораторных животных.

Можно сказать проще: если животное перестает получать то, ради чего совершает какое—то действие, оно со временем не будет совершать его, а попробует воспользоваться другим способом. По определению К. Прайор, «поведение, которое не приводит ни к каким результатам – ни к хорошим, ни к плохим, а именно ни к каким, – скорее всего затухнет».

Угашение поведенческих реакций представляет собой очень распространенное явление в природе и имеет важное биологическое значение, т. к. способствует устранению тех условных рефлексов и навыков, которые стали уже бесполезными и ненужными. Представьте себе, что было бы, если бы все образовавшиеся в разное время условные рефлексы, переставшие соответствовать новым условиям, оставались на всю жизнь. Мы с вами так бы и колотились в стену, где раньше была дверь, а не стали бы искать обходных путей или не научились бы перелезать через нее. Другими словами, и мы с вами, и наши собаки достаточно умны, чтобы не заниматься бесполезными делами. Поэтому смысл этого метода борьбы с нежелательным поведением заключается в том, чтобы сделать это поведение бессмысленным для собаки, т. е. лишить его самого важного – результата, который и служит подкреплением этого поведения.

Например, ваша собака привыкла заходить в кухню, зная, что на столе всегда что—нибудь да остается. При этом для обследования стола она может научиться забираться на табурет или запрыгивать на стол, т. е. приобретет соответствующие пищедобывательные навыки. Чтобы сделать бессмысленным такое поведение, надо просто ничего и никогда не оставлять на столе. Другой пример. Вы уже выработали у своей собаки понимание того, что если семья садиться за стол или за него садятся гости, то для удовлетворения своего аппетита нужно поближе сесть и жалобно глядеть. Если это не помогает, нужно порычать, поскулить или полаять, а то и лапу положить на колени. Именно такое поведение вы или ваши гости подкрепляли кусочками. Следовательно, чтобы отучить собаку от этого, нужно всего лишь ничего и никогда не давать собаке, когда вы сидите за столом, и научить тому же ваших гостей.

Отучение собаки от нежелательных действий по этому методу требует времени и тренировки. Время собаке нужно для того, чтобы убедиться в бессмысленности своего поведения и отличить случайность от закономерности. Дело в том, что поведение собаки, как и наше, характеризуется еще и стабильностью. Природа и в этом права: если мы в случае неудачи будем сразу менять свое поведение, то никогда ничего не добьемся. Так и собака, она должна убедиться в постоянстве новых условий. Вы должны не один, а, скорее всего, много раз дать ей понять, что ее поведение уже ни к чему не приводит.

Чтобы отучить собаку брать пищу у посторонних людей, можно воспользоваться методом угашения. Это совсем несложно для вас и небольно для собаки. Достаточно попросить своих знакомых предлагать собаке пищу на открытой ладони, но, предлагая, никогда не давать ее, вовремя сжимая кулак. При этом больно собаке делать не нужно. Не сразу, но собаки начинают понимать, что пищу, лежащую на чужой ладони, съесть нельзя, и теряют к ней интерес.

Нежелательное поведение угасает тем легче и быстрее, чем раньше мы замечаем нехорошее поведение и чем раньше начинаем применять метод угашения. У возбудимых животных правильное поведение вырабатывается труднее и медленнее, чем у более спокойных.

Процесс угашения протекает неравномерно – нежелательное поведение проявляется то чаще, то реже. Особенно заметно это явление выражено при угасании двигательных поведенческих актов. Скорость угашения находится в обратной зависимости от биологической значимости подкрепления, т. е. от того, насколько важен для собаки результат предосудительного поведения. Сытая собака легче отучается брать кусочки от чужих людей, а голодная довольно долго будет повторять попытки выхватить пищу из ладони.

«Сюрприз» метода угашения – это когда исчезнувшее, казалось бы, поведение через некоторое время восстанавливается. Если вы допустили ошибку или кто—то без вашего ведома хотя бы один раз подкормил собаку, которая уже перестала брать корм из чужих ладоней, угасшее поведение восстанавливается очень быстро, часто надолго, а иногда и навсегда, причем восстанавливается тем быстрее, чем было прочнее и привычнее ранее и чем слабее было заторможено, т. е. чем меньше времени вы отучали собаку от нежелательных действий. Отмечу еще, что только что сформировавшееся нежелательное поведение может не восстановиться после угашения.

Успех при использовании метода угашения сильно зависит от первоначального режима подкрепления: если во время выработки нежелательного поведения и в течение какого—то времени, пока вы не боретесь с ним, режим подкрепления таков, что переход к условиям угашения не очень заметен, то оно будет происходить довольно медленно. Например, вы следите за поведением собаки, и, когда вы дома, не подкрепляется ее нежелательное поведение, но ваши домочадцы позволяют ей хулиганить или собака продолжает хулиганить, когда вас нет дома. Создается ситуация, типичная для вариабельного (вероятностного) подкрепления. В таком случае собака уже готова к тому, что успех ее поведения достигается не каждый раз, и поэтому надо просто подождать соответствующих условий, а не отказываться от неблаговидных действий совсем.

Основное достоинство метода угашения – возможность обойтись без болевых воздействий на собаку, а это очень важно для щенка, молодой собаки или собаки со слабой нервной системой.

Особенности метода угашения можно рассматривать и как правила:

– угасание тренируется;

– нежелательное поведение исчезает не сразу, а постепенно, причем тем быстрее, чем чаще создаются условия, при которых его проявления не подкрепляются;

– угасшая реакция может восстановиться сама по себе;

– если угасшее поведение подкреплять, оно вновь восстанавится;

– повторное угашение поведения дает больше гарантий, что оно не проявится в будущем.

Метод 6. Привыкание

Привыканием называют снижение выраженности или отсутствие поведенческих реакций при повторяемых или продолжительно действующих раздражителях, которые не имеют серьезных последствий и не несут в данный момент сколько—нибудь важной информации для организма. Кстати, привыкание считается формой научения, которое иногда еще называют негативным научением.

Особенностью такой формы приобретения опыта является не освоение новых поведенческих реакций, а утрата или ослабление уже имеющихся. Биологическое значение заключается в том, что для выживания или улучшения условий существования животное должно уметь различать существенные (например опасные) и несущественные для него раздражители, подавляя реакции на несущественные и правильно реагируя на опасные.

О привыкании чаще вспоминают, когда собака чего—нибудь боится, например автомобилей, поездов, громкого шума, других сильных и необычных раздражителей, или продолжительно лает на звук шагов соседей по лестничной площадке. Знание свойств привыкания поможет вам вырастить хорошую собаку и не допустить ошибок, особенно в ранний период, когда щенку 2–4 мес и он всего боится.

Животное может привыкнуть к любым раздражающим воздействиям, с которыми ежедневно встречается (зрительным, слуховым, температурным, тактильным, вкусовым, запаховым и даже болевым), и не отвечать на них ориентировочной или оборонительной реакциями. Развитие привыкания характеризуется несколькими закономерностями, которыми можно пользоваться как правилами при использовании этого метода коррекции поведения:

1. Повторяющиеся раздражители приводят к снижению величины исходной реакции (появление безразличия).

2. Прекращение применения данных раздражителей приводит к постепенному восстановлению ответной реакции.

3. Привыкание развивается быстрее и имеет большую прочность после повторяющихся серий применения раздражителей и прекращения их применения до восстановления ответной реакции.

4. Скорость развития и степень выраженности привыкания находятся в прямой зависимости от частоты предъявления раздражителя.

5. Привыкание наступает быстрее при меньшей силе раздражителя. Сильные раздражители могут либо совсем не вызывать привыкания, либо приводить к извращению реакции.

6. Привыкание к одному раздражителю может облегчить восприятие других близких по характеру раздражителей.

7. Предъявление другого сильного раздражителя может приводить к отмене привыкания. Например, наказание собаки может привести к восстановлению боязни выстрела.

После выработки привыкания к раздражителю он все же продолжает восприниматься животным, в этом легко убедиться, если несколько усилить или ослабить его – он тотчас вызовет ответную реакцию.

Привыкание очень схоже с процессом угашения. Вполне вероятно, что в основе этих процессов лежат одни и те же физиологические механизмы, но пока термин «привыкание» употребляют по отношению к врожденным реакциям, а «угашение» – к приобретенным. При этом уместно привести еще одно определение: «Привыкание – это процесс постепенного ослабления врожденной реакции в результате повторных применений раздражителя, не сопровождаемых подкреплением». Одним из примеров привыкания может служить угашение ориентировочной реакции у животных на любое изменение окружающей среды.

Скорость образования привыкания и степень его выраженности зависит от специфичности раздражителя, его новизны, силы, состояния организма и предшествующего опыта животного. Если раздражитель болевой, незнакомый и достаточно сильный, начальная реакция может не перейти в исследовательскую, а завершиться оборонительной. Такое состояние обычно называют страхом или трусостью.

Считают, что степень новизны обратно пропорциональна частоте появления похожих раздражителей, степени давности (имеется в виду время, прошедшее между появлением похожих раздражителей), степени сходства раздражителей. Различают также новизну абсолютную (раздражитель никогда не встречался животному) и относительную (необычное сочетание знакомых животному раздражителей).

Степень новизны зависит также от степени неожиданности раздражителя, которая определяется тем, насколько действующий раздражитель отличается от ожидаемого. Повторение же раздражителей приводит к снижению степени новизны и угашению ориентировочной реакции. Считается, что для возникновения ориентировочной реакции неожиданность имеет большее значение, чем семантическая новизна. Сильнейшую реакцию можно получить и на хорошо знакомый раздражитель, неожиданно появившийся там, где его восприятие не прогнозировалось.

Известно, что животные предпочитают раздражители умеренной интенсивности и избегают слишком сильных, новых и необычных. Чем непривычнее и сложнее обстановка, тем чаще проявляются неуверенность, робость и даже реакция избегания, т. е. нежелание животного находиться в данной обстановке, неповиновение, побег. Животное убегает до тех пор, пока ему не удается выйти из сферы действия раздражителя. Если же раздражитель не болевой, а убегать некуда, животное может постепенно привыкнуть к нему. Он перестает вызывать страх, оборонительное поведение животного ослабевает и сменяется исследовательским. Реакция бегства, возникающая в ответ на неожиданное появление незнакомого раздражителя, при последующем повторном его воздействии ослабевает гораздо быстрее возникающей одновременно с этим ориентировочной реакции, хотя в дальнейшем прогрессивно снижается и последняя.

При воздействии какого—либо вызывающего страх раздражителя и невозможности скрыться от него у животного вырабатывается привыкание к этому раздражителю. Предъявление такого раздражителя животному и лишение его возможности избежать его воздействия получило название избыточного предъявления.