Направляет движение?

– Моя машина чуть не устроила мне аварию, – ска-

зал мне Джим.

– Твоя машина? Как это? – удивился я.

– Я ехал по шоссе, включив круиз-контроль. Зна-

ешь, это такая система, которая поддерживает посто-

янную скорость, но если впереди появляется другая

машина, она снижается, чтобы сохранять безопасную

дистанцию. Так вот, через какое-то время движение

на дороге стало более интенсивным, и моя машина

замедлила ход. Наконец я добрался до нужного съез-

да, перестроился в правый ряд и свернул с шоссе. Я

так давно включил круиз-контроль и ехал так медлен-

но, что попросту о нем забыл. А вот машина не забы-

ла. Она небось сказала себе: «Ура! Наконец-то впе-

реди никого нет», и начала разгоняться до прежней

скорости, хотя на съезде надо ехать медленно. Хоро-

шо, что я не растерялся и вовремя нажал на тормоза.

Иначе кто знает, что могло бы случиться.

Сегодня наши отношения с техникой резко меня-

ются. До недавнего времени люди ее контролирова-

ли. Мы включали и выключали ее, указывали, что де-

лать, и следили за процессом исполнения. Но по ме-

ре того как техника становилась все сложнее и изощ-

реннее, мы стали хуже понимать принципы ее рабо-

ты и хуже предугадывать ее действия. С тех пор как в

нашей жизни появились компьютеры и микропроцес-

соры, мы все чаще испытывали растерянность, заме-

шательство, раздражение и злость. Но мы продолжа-

ли считать, что контролируем ситуацию. Увы, уже нет.

Машины берут верх. Они ведут себя так, будто обла-

дают интеллектом и свободой воли, хотя ни того, ни

другого у них нет.

Естественно, машины присматривают за нами с

наилучшими намерениями – ради нашей безопасно-

сти и удобства. Если все идет как надо, эти «умные»

машины весьма полезны: они делают нашу жизнь спо-

койнее, избавляют нас от рутинной работы, создают

комфорт и выполняют многие задания точнее, чем

мы сами. Действительно, ведь удобно же, что авто-

мобиль автоматически снижает скорость, если перед

вами на опасно близком расстоянии появилась дру-

гая машина, что он тихо и плавно переключает пере-

дачи, что микроволновая печь знает, когда испеклась

картошка. Ну а если техника дает сбой? Что, если она

действует неправильно или выходит из повиновения?

Вспомним про машину Джима, заметившую, что до-

рога свободна, и увеличившую скорость, хотя он уже

съехал с шоссе? Те же устройства, которые помогают

нам в нормальных условиях, в случае каких-то неожи-

данностей снижают уровень безопасности, комфорта,

точности, что чревато для нас угрожающими послед-

ствиями, дискомфортом, раздражением и злостью.

Сегодня машины сообщают о своем состоянии в

основном с помощью сигналов тревоги, то есть толь-

ко если с ними что-то не в порядке. Когда механизм

дает сбой, человек должен взять ситуацию под кон-

троль; зачастую это происходит неожиданно и време-

ни, чтобы нормально отреагировать, у него нет. Джи-

му удалось исправить ошибку своего автомобиля. А

если бы он не сумел этого сделать, в аварии обвинили

бы его. Да-да, если действия «умной» машины при-

водят к аварии, ответственность за нее, скорее всего,

возложат на человека.

Чтобы наладить взаимодействие людей с «умны-

ми» механизмами, нужно совершенствовать коорди-

нацию и кооперацию обеих сторон – человека и маши-

ны. Но конструкторы, разрабатывающие сложные си-

стемы, зачастую этого не понимают. Как машина мо-

жет определить, что важно, а что нет, особенно если

то, что важно в одной ситуации, в другой теряет зна-

чение?

Я рассказывал историю о Джиме и его ретивом ав-

томобиле инженерам нескольких автомобилестрои-

тельных компаний, и они неизменно реагировали сле-

дующим образом. Сперва они пытались обвинить во

всем водителя: почему он не выключил круиз-кон-

троль перед тем, как съехать с шоссе? Я объяснял: он

просто забыл. Ну, тогда он плохой водитель, говори-

ли они. Принцип «сам виноват» очень удобен для об-

винителя, будь то страховая компания, органы власти

или общество в целом: если люди совершают ошибку,

их надо наказать. Но так проблему не решить. На са-

мом деле подлинные виновники – это неудачная кон-

струкция, несовершенные алгоритмы, плохая инфра-

структура, изъяны в технологическом режиме. А чело-

век – лишь последнее звено в этой сложной цепи.

И хотя с технической точки зрения специалисты из

автокомпаний правы – водитель должен помнить, как

работает автоматика его машины, – это не оправды-

вает конструктивных недоработок. Новые технологии

следует разрабатывать, имея в виду реальное пове-

дение людей, а не то, каким мы хотели бы его видеть.

Более того, автомобиль никак не помогает водителю

вспомнить, что нужно сделать. Похоже, он сконструи-

рован именно так, чтобы помочь ему забыть! Понять,

включен круиз-контроль или нет, практически невоз-

можно. Было бы куда лучше, если бы в машине име-

лось специальное напоминающее устройство.

И здесь инженеры переходили к следующему эта-

пу: «Да, проблема есть, но волноваться не стоит. Мы

все исправим. Вы правы, навигационная система ав-

томобиля должна фиксировать, что он съехал с доро-

ги, и либо автоматически отключить круиз-контроль,

либо настроить его на безопасную скорость».

Этот ответ наглядно иллюстрирует суть проблемы.

Машина не обладает умом: ее интеллект – это ин-

теллект конструкторов. Они сидят в своих кабинетах,

пытаясь представить себе все, что может произойти

с машиной и водителем, и выработать правильные

решения. Но как заложить правильную реакцию на

неожиданное событие? Если такое случается с чело-

веком, можно предположить, что он решит проблему

с помощью воображения и смекалки. Но «интеллект»

наших машин заключен не в них самих, а в головах

инженеров. Поэтому в непредвиденных обстоятель-

ствах, когда конструктора нет рядом, машина, как пра-

вило, не справляется с задачей.

О неожиданностях мы знаем две вещи: во-первых,

они обязательно случаются, во-вторых, всегда заста-

ют нас врасплох.

Как-то раз инженер одной автомобильной компа-

нии отреагировал на мой рассказ о Джиме не так, как

другие. Он смущенно признал, что нечто подобное на

съезде с шоссе случилось и с ним самим, но у него

была другая проблема – смена ряда. Если на шоссе

с интенсивным движением водитель хочет перестро-

иться, он ждет, когда на соседней полосе возникнет

достаточно большой просвет, а затем совершает ма-

невр. Обычно при этом его автомобиль оказывается

на небольшом расстоянии от машин, идущих впереди

и сзади. Адаптивный круиз-контроль может решить,

что передняя машина находится в опасной близости,

и включить тормоза.

– Ну и в чем здесь проблема? – удивился я. – Это,

конечно, раздражает, но вроде ничем не грозит.

– Нет, – пояснил инженер. – Это опасно, потому что

едущий за вами водитель не ожидает, что после пере-

строения вы неожиданно затормозите. И если он не

слишком внимателен, то может в вас врезаться. Но

даже если этого не случится, ваша манера езды вряд

ли ему понравится.

– Возможно, – засмеялся он, – у машины дол-

жен быть специальный стоп-сигнал, который будет за-

гораться, если тормоза включаются автоматически,

предупреждая водителя сзади: эй, я не виноват, это

моя машина тормозит.

Инженер, конечно, шутил, но его слова указывают

на различия в поведении людей и машин. Человек мо-

жет вести себя по-разному, плохо или хорошо, обду-

манно или беспечно. Машины более последователь-

ны, они анализируют ситуацию в соответствии с ло-

гикой и правилами, на которые запрограммированы.

Но в их действиях есть принципиальное ограничение:

они воспринимают окружающий мир не так, как чело-

век, у них нет «высших целей», и они не понимают

целей и мотивов людей, с которыми должны взаимо-

действовать. Иными словами, машины не такие, как

мы. В чем-то они нас превосходят, например в скоро-

сти, мощи, последовательности, а в чем-то уступают

– прежде всего в навыках общения, в креативности и

воображении. Машины лишены эмпатии и не способ-

ны понять, как их действия отразятся на окружающих.

Из-за этих различий, связанных в первую очередь со

способностью к общению и наличием эмпатии, и воз-

никают проблемы. Более того, такие различия, а зна-

чит, и возникающие противоречия, носят фундамен-

тальный характер, их нельзя устранить, изменив ка-

кой-нибудь алгоритм или добавив лишний датчик.

В результате действия машин вступают в противо-

речие с действиями людей. Зачастую ничего страш-

ного в этом нет: если моя стиральная машина стирает

белье не так, как я, какое мне дело – ведь в результате

я получаю чистую одежду. Здесь автоматизация эф-

фективна, поскольку мне нужно только загрузить бе-

лье и включить машину, а все остальное она делает

сама. Она, так сказать, берет дело в свои руки, и, если

я не вмешиваюсь, все работает без сбоев.

Но как быть в ситуациях, когда люди и техника

должны взаимодействовать? И что произойдет с мо-

ей стиральной машиной, если, включив ее, я захо-

чу изменить режим? Как мне сообщить ей об этом?

И когда она его изменит, если программа уже запу-

щена – сразу же или при следующей стирке? Здесь

различия между реакцией людей и машин становят-

ся очень важными. Иногда кажется, что машина дей-

ствует абсолютно волюнтаристски, хотя если бы она

умела мыслить и говорить, то объяснила бы, что, с ее

точки зрения, это я творю произвол. На человека, во-

влеченного в процесс, эта борьба за превосходство

может действовать угнетающе. А стороннего наблю-

дателя она ставит в тупик: не ясно, кто здесь главный

и почему происходит то или иное действие. И не важ-

но, кто в данном случае прав – человек или машина.

Значение имеет сама несогласованность действий –

ведь именно из-за нее возникают злость, раздраже-

ние, а порой даже поломки или травмы.

Конфликт между действиями человека и машины

возникает оттого, что машины, какими бы «умными»

они ни были, плохо представляют себе внешние усло-

вия, цели и мотивы людей, а также особые обсто-

ятельства, неизбежно сопутствующие тем или иным

действиям. Машины прекрасно работают в заданных

условиях, когда им не мешают назойливые люди и

не происходит ничего неожиданного, то есть все мож-

но точно спрогнозировать. Здесь автоматизация дает

превосходные результаты.

Но даже в заданных условиях, когда машины функ-

ционируют наилучшим образом, они не всегда дей-

ствуют так, как действовали бы мы. Возьмем «ум-

ную» микроволновую печь. Она знает, сколько элек-

троэнергии и времени необходимо, чтобы пригото-

вить нужное блюдо. Если печка исправна, все очень

просто и приятно: вы кладете в нее кусок сырого ло-

сося и сообщаете, что ей предстоит готовить рыбу.

Через некоторое время вы получаете готовое блюдо

– нечто среднее между вареной рыбой и тушеной,

но по-своему превосходное. В инструкции говорится:

«Сенсор фиксирует избыточную влагу, выделяемую

при готовке, и печь автоматически корректирует вре-

мя приготовления в соответствии с типом и количе-

ством пищи». Заметим, однако, что ни слова не ска-

зано о том, что микроволновка готовит пищу так же,

как человек. Человек проверил бы, стала ли рыба до-

статочно мягкой, приобрела ли нужный цвет, возмож-

но, измерил бы внутреннюю температуру. Печка всего

этого не умеет, поэтому делает, что может – следит за

выделением влаги. Именно по уровню влажности она

определяет, готово ли блюдо. Для рыбы и овощей это-

го достаточно, а для других продуктов – нет. Кроме то-

го, сама сенсорная система не идеальна. Если после

завершения программы блюдо оказалось сыроватым,

включать печь еще раз не рекомендуется: «Не приме-

няйте сенсорную функцию дважды при приготовлении

одной и той же порции – это может привести к тому,

что пища окажется пережаренной или подгоревшей».

Вот вам и «умная» микроволновка!

Помогает ли техника нам в быту? И да, и нет. Ес-

ли можно говорить о том, что у нее есть «голос», она

определенно говорит с нами свысока, не объясняя,

как и зачем она что-то делает, что именно она делает,

какой уровень прожарки, чистоты или сухости устраи-

вает ее сенсоры и как быть, если что-то идет не так.

Многие люди, на мой взгляд, совершенно оправданно

чураются таких приборов. Они хотят знать, что проис-

ходит и почему, но прибор хранит молчание, да и ин-

струкция к нему мало что объясняет.

В лабораториях по всему миру ученые изобре-

тают все новые способы внедрения искусственно-

го интеллекта в нашу жизнь. Уже созданы экспери-

ментальные образцы «умных» домов, чувствующих

все, что делают их обитатели. Они автоматически

включают и выключают свет, корректируют темпера-

туру и даже выбирают для вас музыку. Список про-

ектов, находящихся в разработке, впечатляет: холо-

дильники, не дающие вам есть неподходящую пи-

щу, унитазы-«доносчики», тайно сообщающие ваше-

му врачу о состоянии ваших биологических жидко-

стей. Казалось бы, между холодильником и унитазом

мало общего, но они становятся компонентами си-

стемы, следящей за вашим питанием – первый кон-

тролирует то, что попадает внутрь, а второй измеря-

ет и анализирует то, что выходит наружу. У нас уже

есть весы-«ворчуны», следящие за избыточным ве-

сом, и тренажеры, требующие, чтобы ими пользова-

лись. Даже чайники издают громкий свист, чтобы при-

влечь максимальное внимание.

Окружая себя все большим количеством «умных»

устройств, мы меняем нашу жизнь не только к лучше-

му, но и к худшему. Когда они работают нормально –

это хорошо, но когда они дают сбой или превращают

работоспособных творческих людей в прислужников,

занятых исключительно заботой о них, их обслужива-

нием и ремонтом, ничего хорошего в этом нет. Так не

должно быть, но так есть. Неужели уже поздно что-то

изменить? Неужели мы ничего не можем сделать?