Типы враждебного ИИ

Вообще, надо различать четыре основных вида недружественных ИИ:

1. ИИ, который имеет одну из подцелей в явной форме враждебную человеку (например, ИИ, который превращает всю солнечную систему в компьютрониум, для вычисления числа пи и для этого должен уничтожить человечество.) Здесь возможны следующие варианты:

1.1 ИИ, намеренно сделанный человеком враждебным с целью уничтожить мир.

1.2 ИИ, сделанный одним (или малой группой людей) человеком для установления его личной власти и исполнения его прихотей. Такой ИИ враждебен всем людям, кроме нескольких.

1.3 ИИ, чьи главные цели заданы так неточно, что из них вытекают враждебные людям явно выраженные подцели. Например, цель «самосохранение» может привести к тому, что ИИ будет стремиться уничтожить тех людей, которые хотят его отключить.

1.4 Саморазвившийся ИИ. Нечто подобное осознавшему себя Интернету. Или, например, вышедшие из-под контроля системы ИИ, основанные на генетических алгоритмах. Такой ИИ в начале не имеет враждебных человеку целей, но может выработать их в процессе эволюции.

2. ИИ, наносящий вред человеку по "недомыслию" – то есть в силу непонимания того, что это данные действия вредны человеку. (Например, робот, удаляющий все круглые предметы из комнаты, в числе и голову исследователя, как в бородатом анекдоте, или ИИ, отправляющий всех людей «в рай», поскольку он пришёл к выводу, что людям будет лучше после смерти.) Такому ИИ достаточно объяснить, что он не правильно понял благо людей, чтобы изменить его поведение.

2.1 ИИ, приносящий людям такое благо, которое люди не могут понять. Родители часто делают с детьми много вещей, которые не кажутся им благом: наказывают, заставляют учить уроки и дают неприятные лекарства. Превосходящий человека ИИ может придти к выводу о благе для людей того, что нам вовсе благом не кажется. В этом случае ИИ должен разъяснить людям, почему он считает свои действия благом.

3. ИИ, который в начале становится всемирным ИИ и управляет Землёй, а потом в нём происходит программный сбой, и всё управление резко нарушается. (Это может быть и кризис сложности, или вирусная мысль, или деление на ноль.) Например, в программе ИИ Эвриско, которая вычисляла правила по управлению правилами для победы в играх, в какой-то момент возникло «вирусное правило», которое состояло в том, что надо это правило копировать.

4. Конфликт двух (или более) дружественных (но с разной системой подцелей) ИИ между собой. Как, например, был конфликт идеологий в годы холодной войны или как религиозные войны.

Возможность принципиальной ограниченности любой сложной системы, в том числе и ИИ, обсуждается в главе 5.5 «Утрата интереса к жизни и кризисы, заложенные в самой природе разума».