Они будут видеть сны

Хорошо, когда у нас есть примеры правильного поведения, или можно проэмулировать реакцию среды. Для естественного интеллекта (и будущего искусственного) такая роскошь не всегда доступна. Интеллект пытается что-то сделать со средой, из этого что-то получается правильно, что-то нет, что-то остаётся с непонятными последствиями. Как на основе этого обучаться?

Для этого введём третью разновидность эмулятора внешней среды. Она будет запоминать проявления внешней среды, то, что делал искусственный интеллект в ответ на эти проявления, и к чему это привело. Это не исключает того, что по мере накопления опыта такой эмулятор сможет совмещать в себе и две предыдущие разновидности - эмуляцию и прогнозирование среды, и будет построен на принципах, аналогичных нашему искусственному интеллекту.

Как обучаться, когда нет чёткой информации, какие действия правильные, а какие нет? Небольшое отступление. Сети Хопфилда обучаются на примерах путём "суммаризации" всех примеров, без критической оценки, без коррекции ошибок. Обученная сеть Хопфилда по частичному или зашумленному образу в процессе итерации (схождения к энергетическому минимуму данного образа) может воссоздать исходный образ. Так вот, после обучения в сети иногда получаются ложные образы. Для того, чтобы ложные образы устранить, обучающие примеры запускают на вход, и если сеть сходится к ложному образу, то такой образ затирается. В некотором роде сеть "видит сны" на основе ранее полученной информации, и во сне ложная информация замещается правильной информацией. Сети Хопфилда применяются для простых образов, но нам интересен именно принцип.

Похожим путём мы можем пойти и здесь. После накопления информации от внешней среды интеллект от внешней среды отключается и работает только с эмулятором. Эмулятор воспроизводит ситуации, и если интеллект выдал хорошее решение, то это решение усиливается, если плохое, то это решение заменяется на что-то другое. На случайное, например. Главное, чтобы новое решение не было похоже на плохое. При этом строим изменения таким образом, чтобы накопленные хорошие решения не потерялись, и новые плохие решения не появились.

Как минимум, такая перестройка может осуществляться при помощи генетического алгоритма. Не исключено, что возможна и перекрёстная оценка каждого правила, составляющего программу, так, что можно будет точно вычислять ошибку и коррекцию для каждого правила. Ведь кое-какая информация о том, хорошо или плохо отработала программа, у нас есть. Тяжелее здесь в том плане, что если решение принимал коллектив программ, то информация о правильности решения известна только для победившей программы. Но зато у нас есть информация о поведении программ, длительная по времени, и из неё уже можно вытягивать подробности.

Вот и получается, если искусственный интеллект поставить в условия естественного, то появятся длительные фазы бодрствования, во время которого путём проб и ошибок накапливается информация, и после них фазы сна, во время которых эта информация качественно переваривается. Сам этот процесс получится длительным и кропотливым. В естественном интеллекте, такой механизм, единожды появившись в процессе эволюции, быстро показал свою полезность и размножился на последующие поколения. Штука как бы и не очень сложная для того, чтобы появится во время эволюции.