Интеллектуальная информационная технология

Интеллектуальные информационные технологии (ИИТ) (Intellectual information technology, IIT) — это информационные технологии, помогающие человеку ускорить анализ политической, экономической, социальной и технической ситуации, а также - синтез управленческих решений.

Интеллектуальные информационные технологии – это средство для разработки интеллектуальных информационных систем, которые в последнее время становятся весьма распространенным коммерческим продуктом, находящим широкий спрос пользователей в самых разнообразных областях деятельности [7]. Примерами таких систем являются экспертные системы, системы интеллектуального управления, интеллектуальные базы данных, системы когнитивной графики, самообучающиеся системы, адаптивные информационные системы. Многие из перечисленных систем могут быть реализованы как нечеткие системы, в которых используются лингвистическая модель представления информации, а решение задачи осуществляется на основе нечеткого логического вывода – частного случая вывода на знаниях

Использование ИИТ в реальной практике подразумевает учет специфики проблемной области, которая может характеризоваться следующим набором признаков [8]:

· качество и оперативность принятия решений;

· нечеткость целей и институциальных границ;

· множественность субъектов, участвующих в решении проблемы;

· хаотичность, флюктуируемость и квантованность поведения среды;

· множественность взаимовлияющих друг на друга факторов;

· слабая формализуемость, уникальность, нестереотипность ситуаций;

· латентность, скрытость, неявность информации;

· девиантность реализации планов, значимость малых действий;

· парадоксальность логики решений и др.

ИИТ формируются при создании информационных систем и информационных технологий для повышения эффективности управления знаниями, принятия решений в условиях, связанных с возникновением проблемных ситуаций. В этом случае любая жизненная или деловая ситуация описывается в виде некоторой познавательной модели (когнитивной схемы, архетипа, фрейма и пр.), которая впоследствии используется в качестве основания для построения и проведения моделирования, в том числе - компьютерного.

Сегодня в области автоматизации управления анализ информации доминирует на предварительной стадии подготовки решений — обработки первичной информации, декомпозиции проблемной ситуации. Все это позволяет познать лишь фрагменты и детали процессов, а не ситуацию в целом. Для преодоления этого недостатка надо научиться строить базы знаний, используя опыт лучших специалистов, а также генерировать недостающие знания.

Использование информационных технологий (ИТ) в различных сферах человеческой деятельности, экспоненциальный рост объемов информации и необходимость оперативно реагировать в любых ситуациях потребовали поиска адекватных путей решения возникающих проблем. Эффективнейшим из них является путь интеллектуализации информационных технологий.

Под информационными технологиями понимается совокупность методов, использующих информационные законы, модели и процессы для производства средств и методов работы с информацией. В последнее время в рамках научного направления искусственный интеллект появилось понятие современных информационных технологий, к которым относятся: инженерия знаний, обработка нечеткой информации, мягкие вычисления (soft computing), нейросетевые технологии, эволюционное моделирование (генетические алгоритмы), многоагентные системы. Перечисленные технологии реализуют не только новые модели представления знаний, но и современные эвристические алгоритмы для получения приближенных решений, когда точное решение найти или невозможно, или трудоемко [9].

Под интеллектуальными информационными технологиями обычно понимают такие информационные технологии, в которых предусмотрены следующие возможности [10]:

· наличие баз знаний, отражающих опыт конкретных людей, групп, обществ, человечества в целом, в решении творческих задач в выделенных сферах деятельности, традиционно считавшихся прерогативой интеллекта человека (например, такие плохо формализуемые задачи, как принятие решений, проектирование, извлечение смысла, объяснение, обучение и т. п.);

· наличие моделей мышления на основе баз знаний: правил и логических выводов; аргументации и рассуждения; распознавания и классификации ситуаций; обобщения и понимания и т. п.;

· способность формировать вполне четкие решения на основе нечетких, нестрогих, неполных, недоопределенных данных;

· способность объяснять выводы и решения, то есть наличие механизма объяснений;

· способность к обучению, переобучению и, следовательно, к развитию.

Уникальная особенность интеллектуальных информационных технологий (ИИТ) — их «универсальность». Они практически не имеют ограничений по применению в таких областях, как управление, проектирование, машинный перевод, диагностика, распознавание образов, синтез речи и т. д.

ИИТ также находят широкое применение для распределенного решения сложных задач, совместного проектирования изделий, построения виртуальных предприятий, моделирования больших производственных систем и электронной торговли, электронной разработки сложных компьютерных систем, управления системами знаний и информации и т. п.

История ИИТ начинается с середины 1970-х годов и связывается с совместным практическим применением интеллектуальных информационных систем, систем искусственного интеллекта, систем поддержки решений и информационных систем [11]. История ИИТ связана также с развитием трех научных направлений: компьютерной философии, компьютерной психологии и продвинутой компьютерной науки (Advanced computer science) и дополняется прогрессом в создании:

1. ситуационных центров

2. информационно-аналитических систем

3. инструментариев эволюционных вычислений и генетических алгоритмов

4. систем поддержки общения человека с компьютером на естественном языке

5. когнитивным моделированием

6. систем автоматического тематического рубрицирования документов

7. систем стратегического планирования

8. инструментариев технического и фундаментального анализа финансовых рынков

9. систем менеджмента качества

10. систем управления интеллектуальной собственностью и др.

Исторически разработки в области ИИ велись в двух основных направлениях [12]:

Первое направление связано с попытками разработки интеллектуальных машин путем моделирования их биологического прототипа - человеческого мозга. Сейчас это направление возрождается на основе развития современных аппаратных и программных средств (микрочипы на основе нечеткой логики, распределенные многопроцессорные системы, многоагентные системы, мягкие вычисления, генетические алгоритмы и нейронные сети и т.д.).

Второе направление связано с разработками методов, приемов, специализированных устройств и программ для компьютеров, обеспечивающих решение сложных математических и логических задач, позволяющих автоматизировать отдельные интеллектуальные действия человека (системы, основанные на знаниях, экспертные системы, прикладные интеллектуальные системы).

Эти два направления как бы определяют программу минимум и программу максимум, между которыми и лежит область сегодняшних исследований и разработок систем ИИ. Работы по разработке программного и аппаратного обеспечения ИИ выделены в отдельную область.

Также возможно исследовать какую-либо задачу с помощью интеллектуальных информационных технологии, использую задач классификации. Таким образом, исследование получится эффективным.

Классификации

Классификация — один из разделов машинного обучения, посвященный решению следующей задачи [13]. Имеется множество объектов (ситуаций), разделённых некоторым образом на классы. Задано конечное множество объектов, для которых известно, к каким классам они относятся. Это множество называется обучающей выборкой. Классовая принадлежность остальных объектов не известна. Требуется построить алгоритм, способный классифицировать произвольный объект из исходного множества.

Классифицировать объект — значит, указать номер (или наименование класса), к которому относится данный объект.

Классификация объекта — номер или наименование класса, выдаваемый алгоритмом классификации в результате его применения к данному конкретному объекту.

В математической статистике задачи классификации называются также задачами дискриминантного анализа.

В машинном обучении задача классификации относится к разделу обучения с учителем. Существует также обучение без учителя, когда разделение объектов обучающей выборки на классы не задаётся, и требуется классифицировать объекты только на основе их сходства друг с другом. В этом случае принято говорить о задачах кластеризации или таксономии, и классы называть, соответственно, кластерами или таксонами.

Задача классификации представляет собой задачу отнесения образца к одному из нескольких попарно не пересекающихся множеств. Примером таких задач может быть, например, задача определения кредитоспособности клиента банка, медицинские задачи, в которых необходимо определить, например, исход заболевания, решение задач управления портфелем ценных бумаг (продать купить или "придержать" акции в зависимости от ситуации на рынке), задача определения жизнеспособных и склонных к банкротству фирм.

Типология задач классификации

Типы входных данных:

· Признаковое описание — наиболее распространённый случай. Каждый объект описывается набором своих характеристик, называемых признаками. Признаки могут быть числовыми или нечисловыми.

· Матрица расстояний между объектами. Каждый объект описывается расстояниями до всех остальных объектов обучающей выборки. С этим типом входных данных работают немногие методы, в частности, метод ближайших соседей, метод парзеновского окна, метод потенциальных функций.

· Временной ряд или сигнал представляет собой последовательность измерений во времени. Каждое измерение может представляться числом, вектором, а в общем случае — признаковым описанием исследуемого объекта в данный момент времени.

· Изображение или видеоряд.

· Встречаются и более сложные случаи, когда входные данные представляются в виде графов, текстов, результатов запросов к базе данных, и т. д. Как правило, они приводятся к первому или второму случаю путём предварительной обработки данных и извлечения признаков.

Классификацию сигналов и изображений называют также распознаванием образов.

Типы классов:

· Двухклассовая классификация. Наиболее простой в техническом отношении случай, который служит основой для решения более сложных задач.

· Многоклассовая классификация. Когда число классов достигает многих тысяч (например, при распознавании иероглифов или слитной речи), задача классификации становится существенно более трудной.

· Непересекающиеся классы.

· Пересекающиеся классы. Объект может относиться одновременно к нескольким классам.

· Нечёткие классы. Требуется определять степень принадлежности объекта каждому из классов, обычно это действительное число от 0 до 1.

Примеры прикладных задач:

· Задачи медицинской диагностики

· Предсказание месторождений полезных ископаемых

· Оценивание кредитоспособности заёмщиков

· Предсказание оттока клиентов

· Оптическое распознавание символов

· Распознавание речи

· Обнаружение спама

· Классификация документов

Оценивание кредитоспособности заёмщиков [14]

Эта задача решается банками при выдаче кредитов. Объектами в данном случае являются физические или юридические лица, претендующие на получение кредита. В случае физических лиц признаковое описание состоит из анкеты, которую заполняет сам заёмщик, и, возможно, дополнительной информации, которую банк собирает о нём из собственных источников. Примеры бинарных признаков: пол, наличие телефона. Номинальные признаки — место проживания, профессия, работодатель. Порядковые признаки — образование, занимаемая должность. Количественные признаки — сумма кредита, возраст, стаж работы, доход семьи, размер задолженностей в других банках. Обучающая выборка составляется из заёмщиков с известной кредитной историей. В простейшем случае принятие решений сводится к классификации заёмщиков на два класса: «хороших» и «плохих». Кредиты выдаются только заёмщикам первого класса. В более сложном случае оценивается суммарное число баллов (score) заёмщика, набранных по совокупности информативных признаков. Чем выше оценка, тем более надёжным считается заёмщик. Отсюда и название — кредитный скоринг. На стадии обучения производится синтез и отбор информативных признаков и определяется, сколько баллов назначать за каждый признак, чтобы риск принимаемых решений был минимален. Следующая задача — решить, на каких условиях выдавать кредит: определить процентную ставку, срок погашения, и прочие параметры кредитного договора. Эта задача также может быть решения методами обучения по прецедентам.

Цель классификации

При решении задач классификации необходимо отнести имеющиеся статические образцы (характеристики ситуации на рынке, данные медосмотра, информация о клиенте) к определенным классам. Возможно несколько способов представления данных. Наиболее распространенным является способ, при котором образец представляется вектором. Компоненты этого вектора представляют собой различные характеристики образца, которые влияют на принятие решения о том, к какому классу можно отнести данный образец. Например, для медицинских задач в качестве компонентов этого вектора могут быть данные из медицинской карты больного. Таким образом, на основании некоторой информации о примере, необходимо определить, к какому классу его можно отнести. Классификатор таким образом относит объект к одному из классов в соответствии с определенным разбиением N-мерного пространства, которое называется пространством входов, и размерность этого пространства является количеством компонент вектора.

Прежде всего, нужно определить уровень сложности системы. В реальных задачах часто возникает ситуация, когда количество образцов ограничено, что осложняет определение сложности задачи. Возможно выделить три основных уровня сложности. Первый (самый простой) – когда классы можно разделить прямыми линиями (или гиперплоскостями, если пространство входов имеет размерность больше двух) – так называемая линейная разделимость. Во втором случае классы невозможно разделить линиями (плоскостями), но их возможно отделить с помощью более сложного деления – нелинейная разделимость. В третьем случае классы пересекаются и можно говорить только о вероятностной разделимости [15].

В идеальном варианте после предварительной обработки мы должны получить линейно разделимую задачу, так как после этого значительно упрощается построение классификатора. К сожалению, при решении реальных задач мы имеем ограниченное количество образцов, на основании которых и производится построение классификатора. При этом мы не можем провести такую предобработку данных, при которой будет достигнута линейная разделимость образцов.

В настоящее время существует несколько методов решений задач классификаций и разделения разных классов событий. В ряде работ проводилось сравнение разных методов. Наиболее хорошие результаты по классификации и общности применения показали методы, K-NN (k ближайших соседей), Decision Tree (деревья решений), Neural Net (нейронные сети) [16].

Деревья решений

Деревья решений [17] – это способ представления правил в иерархической, последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение.

Область применения деревья решений в настоящее время широка, но все задачи решаемые этим аппаратом могут быть объединены в следующие три класса:

o Описание данных: Деревья решений позволяют хранить информацию о данных в компактной форме, вместо них мы можем хранить дерево решений, которое содержит точное описание объектов.

o Классификация: Деревья решений отлично справляются с задачами классификации, т.е. отнесения объектов к одному из заранее известных классов. Целевая переменная должна иметь дискретные значения.

o Регрессия: Если целевая переменная имеет непрерывные значения, деревья решений позволяют установить зависимость целевой переменной от независимых (входных) переменных. Например, к этому классу относятся задачи численного прогнозирования (предсказания значений целевой переменной).

Преимущества использования деревьев решений

Рассмотрев основные проблемы, возникающие при построении деревьев, было бы несправедливо не упомянуть об их достоинствах:

o быстрый процесс обучения;

o генерация правил в областях, где эксперту трудно формализовать свои знания;

o извлечение правил на естественном языке;

o интуитивно понятная классификационная модель;

o высокая точность прогноза, сопоставимая с другими методами (статистика, нейронные сети);

o построение непараметрических моделей.

В силу этих и многих других причин, методология деревьев решений является важным инструментом в работе каждого специалиста, занимающегося анализом данных, вне зависимости от того практик он или теоретик.

Области применения деревьев решений

Деревья решений являются прекрасным инструментом в системах поддержки принятия решений, интеллектуального анализа данных (data mining).

В состав многих пакетов, предназначенных для интеллектуального анализа данных, уже включены методы построения деревьев решений. В областях, где высока цена ошибки, они послужат отличным подспорьем аналитика или руководителя

Деревья решений успешно применяются для решения практических задач в следующих областях:

o Банковское дело. Оценка кредитоспособности клиентов банка при выдаче кредитов.

o Промышленность. Контроль за качеством продукции (выявление дефектов), испытания без разрушений (например проверка качества сварки) и т.д.

o Медицина. Диагностика различных заболеваний.

o Молекулярная биология. Анализ строения аминокислот.

Это далеко не полный список областей, где можно использовать деревья решений. Не исследованы еще многие потенциальные области применения.

Нейронная сеть

Нейронные сети [18] широко используются для решения разнообразных задач. Среди областей применения нейронных сетей - автоматизация процессов распознавания образов, прогнозирование, адаптивное управление, создание экспертных систем, организация ассоциативной памяти, обработка аналоговых и цифровых сигналов, синтез и идентификация электронных цепей и систем.

С помощью нейронных сетей можно, например, предсказывать объемы продаж изделий, показатели биржевого рынка, выполнять распознавание сигналов, конструировать самообучающиеся системы.

Модели нейронных сетей могут быть программного и аппаратного исполнения. Мы будем рассматривать сети первого типа.

Если говорить простым языком, слоистая нейронная сеть представляет собой совокупность нейронов, которые составляют слои. В каждом слое нейроны между собой никак не связаны, но связаны с нейронами предыдущего и следующего слоев. Информация поступает с первого на второй слой, со второго - на третий и т.д.

Среди задач Data Mining, решаемых с помощью нейронных сетей обычно рассматриваются такие [19]:

o Классификация (обучение с учителем). Примеры задач классификации: распознавание текста, распознавание речи, идентификация личности.

o Прогнозирование. Для нейронной сети задача прогнозирования может быть поставлена таким образом: найти наилучшее приближение функции, заданной конечным набором входных значений (обучающих примеров). Например, нейронные сети позволяют решать задачу восстановления пропущенных значений.

o Кластеризация (обучение без учителя). Примером задачи кластеризации может быть задача сжатия информации путем уменьшения размерности данных. Задачи кластеризации решаются, например, самоорганизующимися картами Кохонена. Этим сетям будет посвящена отдельная лекция.

Класс задач, которые можно решить с помощью нейронной сети, определяется тем, как сеть работает и тем, как она обучается. При работе нейронная сеть принимает значения входных переменных и выдает значения выходных переменных. Таким образом, сеть можно применять в ситуации, когда имеется определенная известная информация, и из нее необходимо получить некоторую пока не известную информацию.