Другие риски, связанные с компьютерами

Эти риски связаны с тем, что некая жизненно важная компьютерная сеть перестаёт выполнять свои функции, или сеть, имеющая доступ к опасным ресурсам, выдаёт некую опасную команду. В настоящий момент компьютеризация Земли ещё не достигла такого уровня, чтобы само существование людей зависело от исправной работы компьютерной сети, однако отдельные сложные системы, такие, как космическая станция МКС, неоднократно оказывались под угрозой гибели или экстренной эвакуации из-за сбоя в работе жизненноважных компьютеров. Вместе с тем уровень компьютеризации жизненноважных и опасных производств постоянно возрастает, а проживание в современном городе становится физически невозможно без непрерывной подачи определённых ресурсов, в первую очередь электричества, которое управляется компьютерами.

С другой стороны, компьютерные сети, чьё ошибочное поведение может запустить некий опасный процесс, уже существуют. В первую очередь сейчас речь идёт о системах, контролирующих ядерные вооружения. Однако, когда появятся био и нано принтеры, управляемые, соответственно, через компьютеры и доступные через есть, ситуация станет гораздо опаснее. Также ситуация станет опаснее, когда повсеместно будут распространены компьютерно-управляемые роботы, вроде домашних слуг или игрушек, а также автоматизированные реальные армии.
Рост населения Земли потребует всё более сложной самоподдерживающееся системы. Можно расположить по возрастающей системы, всё более зависимые от постоянного управления: деревня – город – небоскрёб – самолёт – космическая станция. Очевидно, что всё большая часть цивилизации перемещается вверх по этой шкале.
Компьютерные системы опасны в смысле глобальных катастроф тем, что могут быть средой, в которой может происходить неограниченная саморепликация (вируса), и тем, что они имеют доступ в любую точку мира. Кроме того, компьютеры подвержены не только вирусам, но и неочевидным ошибкам в алгоритмах и в программных реализациях их. Наконец в них возможен такой процесс, как спонтанный переход в сверхсложной системе, описываемый синергетикой.

6.18 Время возникновения ИИ

Существуют оценки, которые показывают, что компьютеры обретут силу, необходимую для ИИ, в 2020-2030 годы. Это примерно соответствует оценкам, даваемым для времени возникновения опасных биотехнологий. Однако здесь есть гораздо больший элемент неопределённости – если поступательный прогресс в биотехнологии очевиден, и каждый его этап можно отслеживать по научным публикациям, соответственно, измеряя степень риска, то возникновение ИИ связано не столько с накоплением неких количественных характеристик, сколько, возможно, с неким качественным скачком. Поскольку мы не знаем, когда будет этот скачок, и будет ли вообще, это влияет на кривую погодовой плотности вероятности возникновения ИИ, сильно размазывая её. Тем не менее, в той мере, в какой ИИ зависит от накопления идей и доступа к ресурсам, эта кривая будет также носить экспоненциальный характер.

Моя оценка, согласующаяся с мнением Винджа, Бострома и других предсказателей ИИ, состоит в том, что сильный универсальный ИИ будет создан в некий момент времени между настоящим моментом и 2040 годом, причём, скорее всего, в период между 2020 и 2030 годами. Эта оценка основана на экстраполяции существующих тенденций роста производительности суперкомпьютеров. Она также подтверждается тенденциями в технологиях сканирования человеческого мозга, которые тоже дадут ИИ, если не получится сделать его основе теоретического моделирования.

Однако за счёт большей неопределённости с ИИ, чем с биотехнологиями, вероятность создания его в ближайшее время, ближайшие 10 лет, выше, чем вероятность создания биопринтера. С некоторой вероятностью он может возникнуть даже завтра.

Помешать возникновению ИИ могут:

• Системы контроля (но в свою очередь, вряд ли они будут эффективны без ИИ)

• Всемирная остановка технического прогресса

• Теоретические трудности на этом пути.

Выводы: риск, который несёт в себе развитие технологий ИИ, крайне велик и систематически недооценивается. Это область гораздо более непредсказуемая, чем даже биотехнологии. Вместе с тем ИИ является, возможно, нашей наилучшей защитой от прочих опасностей. Время возможного созревания сильного ИИ подобно времени возможного созревания сильного и доступного биологического оружия – примерно 10 лет с настоящего момента, и эти процессы относительно не зависят друг от друга. Возможно, им предстоит столкнуться.

А. В. Турчин СТРУКТУРА ГЛОБАЛЬНОЙ КАТАСТРОФЫ