Сможем ли мы сохранить контроль над машинами.

Кто-то может сказать: даже если машины превзойдут нас по уровню интеллекта, "мы" все равно будем осуществлять контроль над ними. До тех пор, пока "мы" можем включать и выключать их по нашему желанию, - все будет в порядке. Я намеренно выделил слово "мы", поскольку неплохо бы выяснить, кто имеется в виду. Если понятие "мы" включает именно вас или, по крайней мере, тех, кому вы доверяете, все обстоит нормально. Но представьте себе, что это некая группа людей, которые используют машины для личной выгоды или для уничтожения других людей? Как вам это понравится? Представьте и такую ситуацию: есть лишь несколько человек, которые могут управлять некой очень умной, мощной и опасной машиной. И вдруг они умирают, не оставив никаких инструкций. С их смертью человечество теряет контроль над машиной, и она начинает действовать самостоятельно.

Возможны и другие ситуации, когда человечество лишится своих контрольных позиций. Например, машина сама решит, что пора поменяться местами. С какой стати более умной машине во всем подчиняться человеку? Много лет назад над этим вопросом размышлял фантаст Айзек Азимов и даже вывел "Три закона робототехники" - правила, которые, будучи внесенными в программу роботов, позволили бы человеку сохранять контроль над ними. Но мы должны четко понимать, что законы Азимова - чистая фантастика, они действуют в выдуманном мире. В реальном мире роботы им не подчиняются.

Уже сегодня люди, часто того не замечая, очень зависимы от машин. Мы настолько привыкли доверять им, что потеряли всякую бдительность. Представим себе машину (компьютер), которая следит за заключением сделок на большой финансовой бирже, решая покупать или продавать те или иные акции и товары. Допустим, она обучилась на собственном опыте, как лучше поступать в различных ситуациях, с тем чтобы получать максимальную прибыль. И вот машина решает, например, что не нужно больше закупать бразильский кофе, поскольку кенийский стал гораздо более прибыльным. Решение компьютера выполняется немедленно и влечет за собой огромные перемены на рынке. Машина тем самым вершит судьбы тысяч людей в Бразилии и Кении! Причем правильность ее решения никто не станет проверять - на это ушло бы слишком много времени.

С каждым годом мы зависим от машин все больше и больше. Мы передаем им нашу информацию, а также право давать нам советы и принимать решения. Тем самым мы автоматически наделяем их все большей властью над нами. Сегодня значительная часть машин связана в единую сеть, которая позволяет им обмениваться информацией друг с другом. Никто не в состоянии контролировать эту сеть целиком, это уже совершенно особый организм, который слишком сложен для нашего понимания.