Интеллектуальный анализ данных

OLAP-системы предоставляют пользователям средства проверки анализа гипотез, т. е. анализ выполняется на основе накопленного опыта и знаний аналитика. Однако знания есть не только у человека, но и в накопленных данных. Такие знания называют «скрытыми». Для выявления скрытых знаний необходимо применение специальных методов автоматического анализа. Интеллектуальный анализ данных (ИАД), или извлечение данных (Data Mining) – это процесс поддержки принятия решений, основанный на поиске в данных скрытых закономерностей (шаблонов информации). В общем случае процесс ИАД состоит из трёх стадий[7] (рис. 49):

1) выявление закономерностей (свободный поиск);

2) использование выявленных закономерностей для предсказания неизвестных значений (прогностическое моделирование);

3) анализ исключений, предназначенный для выявления и толкования аномалий в найденных закономерностях.

Иногда в явном виде выделяют промежуточную стадию проверки достоверности найденных закономерностей между их нахождением и использованием (стадия валидации).

Рис. 49. Стадии процесса интеллектуального анализа данных

Все методы ИАД подразделяются на две большие группы по принципу работы с исходными обучающими данными. В первом случае исходные данные могут храниться в явном детализированном виде и непосредственно использоваться для прогностического моделирования и/или анализа исключений; это так называемые методы рассуждений на основе анализа прецедентов. Главной проблемой этой группы методов является затрудненность их использования на больших объемах данных, хотя именно при анализе больших хранилищ данных методы ИАД приносят наибольшую пользу.

Рис. 50. Классификация технологических методов ИАД

Во втором случае информация вначале извлекается из первичных данных и преобразуется в некоторые формальные конструкции. Согласно предыдущей классификации, этот этап выполняется на стадии свободного поиска, которая у методов первой группы в принципе отсутствует. Таким образом, для прогностического моделирования и анализа исключений используются результаты этой стадии, которые гораздо более компактны, чем сами массивы исходных данных. При этом полученные конструкции могут быть либо «прозрачными» (интерпретируемыми), либо «черными ящиками» (нетрактуемыми). Две эти группы и примеры входящих в них методов представлены на рис. 50.