Краткое описание основ нейронных сетей

Нейронная сеть - это сеть с конечным числом слоев из однотипных элементов - аналогов нейронов человеческого мозга с различными типами связей между слоями. При этом число нейронов в слоях выбирается исходя из не­обходимости обеспечения заданного качества решения задачи, а число слоев нейронов - как можно меньшее для сокращения времени решения задачи.

Нервная система человека, построенная из элементов, называемых нейронами, очень сложна. Около 10¹¹ нейронов участвуют в примерно 10¹⁵ передающих связях. Уникальными способностями нейронов являют­ся прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.

Несмотря на огромное количество нейронов, их тела занимают всего несколько процентов общего объема мозга. Почти все остальное про­странство занято межнейронными связями. Число связей каждого нейрона не имеет аналогов в современной технике. Понимание того, что межнейронные связи относятся к основным структурным компонентам мозга, в первую очередь определяющим его функциональные характеристик - является одним из наиболее существенных выводов, сделанных нейрофизиологами [3].

Рисунок 1.1 - Структура биологического нейрона.

На рисунке 1.1 приведена структура биологического нейрона. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона. Здесь они суммируются, причем одни входы стремятся возбудить нейрон, а другие воспрепятствовать его возбуждению. В соответствии с этим различают процессы синаптического возбуждения и торможения нейрона. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону, который на конце сильно ветвится, сигнал другим нейронам. Нервный импульс обладает способно­стью распространяться по нервным волокнам без затухания, вплоть до синаптических окончаний со скоростью распространения около 10 м/с.

Синаптическое торможение снижает возбуждение нейрона и тем са­мым затрудняет переход возбуждения нейрона в нервный импульс.

После генерации импульса наступает так называемый рефрактерный период, во время которого нейрон восстанавливает способность к генера­ции следующего импульса. Длительность рефрактерного периода менее 1 мс. Поэтому максимальная частота генерации импульсов нейронов око­ло 1000 с^-1[3].

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. Он обладает группой синапсов - однонаправ­ленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейро­нов. Каждый вход умножается на соответствующий вес, аналогичный синаптической силе, и все произведения суммируются, определяя уровень активации нейрона. Общий вид нейрона, реализующего эти свойства, приведен на рисунке 1.2. Здесь множество входных сигналов обозначено вектором X. Каждый вес w, соответствует "силе" одной биологической синаптической связи. [3].

Рисунок 1.2 - Структура искусственного нейрона.

Множество весов в совокупности обозначается вектором W. Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы алгебраически [3]:

(1.1)

Выход нейрона является функцией его состояния:

Y = F(x). (1.2)

Нелинейная функция F называется активационной и может иметь различный вид, что, в частности, показано на рисунке 1.3.

Рисунок 1.3 - Виды активационных функций:

а) единичного скачка; б) линейного порога;

в) гиперболический тангенс; г) сигмоид.

В случае, когда функция активации одна и та же для всех нейронов се­ти, сеть называют однородной (гомогенной). Если же активационная функция зависит еще от одного или нескольких параметров, значения ко­торых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной) [3].

Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида).

(1.3)

При уменьшении а сигмоид становится более пологим, в пределе при а = 0 вырождаясь в горизонтальную линию на уровне 0.5. При увеличе­нии а сигмоид приближается по внешнему виду к функции единичного скачка с порогом Т в точке х = 0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной [3].

(1.4)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что широко используется во многих алгоритмах обучения. Кроме того, она обладает свойством усиливать слабые сигналы лучше, чем сильные, и предотвращает насыщение от сильных сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий на­клон. Другой широко используемой активационной функцией является гиперболический тангенс. В отличие от логистической функции гипербо­лический тангенс принимает значения различных знаков, что для ряда сетей оказывается выгодным.

Говоря о возможной классификации НС, важно отметить существова­ние бинарных и аналоговых сетей. Первые из них оперируют с двоичны­ми сигналами, и выход каждого нейрона может принимать только два значения: логический ноль ("заторможенное" состояние) и логическая единица ("возбужденное" состояние). В аналоговых сетях выходные значения нейронов способны принимать непрерывные значения. Еще одна классификация делит НС на синхронные и асинхронные. В первом случае в каждый момент времени свое состояние меняет лишь один ней­рон. Во втором - состояние меняется сразу у целой группы нейронов, как правило, у всего слоя. Для программных имитаторов нейронных сетей на цифровых ЭВМ, вопросы связанные с синхронизацией решаются компью­тером, на котором реализуются НС [3].