Искусственный интеллект, версия 3.0

Теперь добавим штуку, называющуюся эмулятор внешней среды. Нам будут нужны две разновидности, одна - для эмуляции внешней среды, вторая - для прогнозирования. Будет ещё и третья разновидность, но о ней чуть позже.

Эмулятор в режиме прогнозирования должен уметь выдать предполагаемое поведение внешней среды на небольшое количество шагов вперёд, зная историю предыдущих состояний и текущее воздействие на среду со стороны управляющей программы. Теперь программа будет воздействовать не сразу на внешнюю среду, а сначала на эмулятор. А на эмуляторе можно посмотреть прогноз, в нужную ли сторону изменилась среда от воздействия программы. Поэтому можно завести несколько экземпляров программ, обученных сходным образом, но отличающихся друг от друга. Для каждой из них в реальном времени завести свой эмулятор среды. И на каждом шаге во внешнюю среду выдавать воздействие той из программ, которая получит лучшую оценку на эмуляторе. Другой вариант - принимать то решение (необязательно лучшее), которое примет "большинством голосов" коллектив программ, тогда это решение будет отличаться надёжностью.

Эмулятор в режиме эмуляции похож на прогнозирование, но используется в процессе обучения программ, когда настоящей внешней среды нет. В предыдущей версии мы брали готовые примеры-нарезки, снятые с внешней среды. Так вот, вместо этих примеров можно создать эмулятор, обученный воссоздавать типичные ситуации внешней среды. Ведь примеров может быть очень много, и эффективнее вместо этой прорвы использовать компактный эмулятор.

Эмулятор в режиме обучения можно ставить на реальные сенсоры, и оставлять его на длительное время. Закономерный вопрос - а почему на сенсоры не поставить для обучения сразу нужную программу? Ответов здесь несколько. Во-первых, мы можем захотеть обучить следующую версию программы, и тогда нам опять понадобиться гонять реальные устройства. Во-вторых, на реальных сенсорах невозможно поэкспериментировать, правильно ли обучилась программа, или такие эксперименты могут быть дорогие, а эмулятор может работать в режиме прогнозирования.

Кроме этого, эмулятор можно настроить на то, чтобы он мог, во-первых, выдавать случайные отклонения от поведения среды, и, во-вторых, комбинировать разные временные последовательности из поведения среды. Поскольку эмулятор обучен на внешней среде, то такие комбинации будут "придуманы" правдоподобно. Что расширяет набор примеров для обучения программ.