OLAP-системы оперативной аналитической обработки данных

Оперативный анализ состояния рынка товаров и услуг, своевременное принятие экономически обоснованных решений являются гарантией успеха деятельности любого предприятия. Основным требованием, предъявляемым к ИС, ориентированной на анализ данных, является своевременное обеспечение аналитика всей информацией, необходимой для принятия решения. При анализе больших объемов информации возникает проблема поиска и представления требуемых данных в виде, подходящем для анализа, т.к. централизация и удобное структурирование – это далеко не все, что нужно аналитику. Ему ведь еще требуется инструмент для просмотра, визуализации информации.

OLAP (On-Line Analytical Processing) – это класс приложений и технологий, предназначенных для оперативной аналитической обработки многомерных данных (сбор, хранение, анализ) для анализа деятельности корпорации и прогнозирования будущего состояния с целью поддержки принятия управленческих решений. Технология OLAP применяется, чтобы упростить работу с многоцелевыми накопленными данными о деятельности корпорации в прошлом и не погрязнуть в их большом объеме, а также превратить набор количественных показателей в качественные, позволяет аналитикам, менеджерам и управляющим сформировать свое собственное видение данных, используя быстрый, единообразный, оперативный доступ к разнообразным формам представления информации. Такие формы, полученные на основании первичных данных, позволяют пользователю сформировать полноценное представление о деятельности предприятия.

Функциональность OLAP, как систем реализующих интеллектуальный анализ данных, заключается в динамическом многомерном анализе консолидированных данных предприятия, направленном на поддержание следующих аналитических и навигационных видов деятельности пользователя:

- вычисления и моделирование, примененные к измерениям и/или их конкретным элементам, использующие информацию об иерархиях;

- анализ временных тенденций и взаимозависимостей показателей (анализ трендов), учет которых помогает повысить качество принимаемых оперативных и стратегических решений;

- формирование срезов многомерного представления для просмотра на экране;

- переход к более глубоким уровням детализации;

- доступ к исходным данным;

- «вращение» многомерных представлений: перемещение измерений с целью формирования различных форм представления данных на экране компьютера

OLAP-технология является альтернативой традиционным методам анализа данных, основанным на различных системах реализации SQL-запросов к реляционной БД. OLAP-системы играют важнейшую роль в анализе и планировании деятельности крупных предприятий и являются одним из направлений развития ИТ. В основу кладутся требования людей принимающих решения к предоставляемой информации, сложившейся индивидуальные особенности ведения дел и принятый механизм принятия решения. С точки зрения пользователя основное отличие OLAP-системы от ХД заключается: в предметной структурированности информации (именно предметной, а не технической). Работая с OLAP-приложением, пользователь применяет привычные категории и показатели – виды материалов и готовой продукции, регионы продаж, объем реализации, себестоимость, прибыль и т.п. А для того чтобы сформировать любой, даже довольно сложный запрос, пользователю не придется изучать SQL. При этом ответ на запрос будет получен в течение всего нескольких секунд. Кроме того, работая с OLAP-системой, экономист может пользоваться такими привычными для себя инструментами, как электронные таблицы или специальные средства построения отчетов.

Разработка решений по управлению предприятием попадает в разряд областей наиболее сложно подающихся автоматизации. Однако сегодня имеется возможность оказать помощь руководителю в разработке решений и, самое главное, значительно ускорить сам процесс разработки решений, их отбора и принятия. Фактически, руководители различных рангов получают принципиально новый инструмент для более эффективного принятия управленческих решений и, самое главное, значительно ускорить сам процесс разработки решений, их отбора и принятия.

На сегодняшний момент проблему понимания и установления взаимосвязей между агрегированными данными наилучшим образом решают продукты, использующие многомерный оперативный анализ данных OLAP. Корпоративная аналитическая система, построенная на основе OLAP-технологии, позволяет различным категориям пользователей компании в реальном масштабе времени работать с обобщенной аналитической информацией и эффективно ориентироваться в больших объемах данных. OLAP-модули редко взаимодействуют с другими системами автоматизации, ведь БД последних зачастую имеют достаточно своеобразный вид и набор специальных показателей.

Главная особенность аналитических БД (OLAP) – это возможность формирования нерегламентированных запросов к аналитической БД. Загрузка данных в систему производится из оперативной БД предприятия. Корпоративная аналитическая система может состоять из нескольких модулей, каждый из которых обрабатывает несколько информационных массивов, необходимых для проведения всестороннего анализа соответствующего аспекта деятельности предприятия. Информационная модель, на основе которой разработана информационная система, в полном объеме описывает все аспекты предметной области и обеспечивает наглядность и простоту доступа к необходимым для анализа данным.

Внешнее отображение информации в системе реализовано в виде электронной таблицы или графика с использованием механизма двумерных сечений куба многомерной БД. Сечение определяется пользователем путем выбора двух независимых размерностей (ребер куба), значения которых будут представлены в строках и столбцах электронной таблицы, и фиксации значений всех других размерностей информационной модели. Интерфейс предлагаемой системы представляет собой несколько экранных форм, каждая из которых включает в себя электронную таблицу или график.

OLAP (On-Line Analytical Processing) – это не отдельно взятый программный продукт, не язык программирования и даже не конкретная технология, это совокупность концепций, принципов и требований, лежащих в основе программных продуктов, облегчающих аналитикам доступ к данным. Термин OLAP очень популярен в настоящее время и OLAP-системой зачастую, но не совсем верно, называют любую DSS-систему, основанную на концепции ХД и обеспечивающих малое время выполнения (On-Line) аналитических запросов, не зависимо от того, используется ли многомерный анализ данных.

Применение OLAP – систем. На данное время разработан довольно много аналитических систем, сконструированных с использованием OLAP-технологии (Нурегіоn OLAP, Elite OLAP, Oracle Express и много других). Рынок программных OLAP-продуктов постоянно расширяется. Современные системы оперативной аналитической обработки дают пользователям возможность решать ключевые задачи управления бизнесом-процессом, в частности прикладные программы Нурегіоn OLAP разрешают выполнять анализ прибыльности; анализ направлений развития продукции; анализ продажи; анализ положения на рынке; анализ ассортимента продуктов; анализ риска; анализ конкурентоспособности; складывания отчетов из производительности; моделирования сценария; анализ бюджета и прогнозов и т.п.

Следует отметить, что в соответствии с современными взглядами на создание информационных систем OLAP-системы должны базироваться на специальной базе данных – ХД.

В OLAP реализуется сложный интеллектуальный анализ данных. Возможность использования хорошо зарекомендовавших себя методов математической статистики, нейронных сетей, машинного обучения, визуализации данных, индукции правил, нечеткой логики, генетических алгоритмов и др. для решения задач подобного рода открыло новые возможности перед аналитиками, исследователями, а также теми, кто принимает решения – менеджерами и руководителями компаний. Сложность и разнообразие методов обработки данных требуют создания специализированных средств конечного пользователя для решения типовых задач анализа информации в конкретных областях. Поскольку эти средства используются в составе сложных многофункциональных систем поддержки принятия решений, они должны легко интегрироваться в подобные системы. Другими словами, вся эта сложная математика заботливо скрыта от конечного пользователя дружественным интерфейсом.

В OLAP-системах основное внимание уделено гибкости доступа и манипулирования информацией. На сегодняшний день большинство разработок в этой области относится к финансовой сфере, хотя возможно применение таких систем в различных областях деятельности человека.

Одним из первых пользователей технологии интеллектуального анализа данных стало федеральное правительство США. Оно применяет с 1996 года специализированное программное обеспечение, для выявления случаев уклонения от уплаты налогов и для обработки материалов перехвата информационного обмена других государств.

По оценкам специалистов, очень перспективно применение подобных систем и для решения задач защиты информации. Например, анализ подлинности электронных платежей, выявление случаев неоправданной «активности» легальных пользователей в сети до совершения ими нарушений, анализ действенности принятой политики безопасности и т.д.

OLAP в отличие от прочих способов автоматизации бизнес-деятельности дает возможность получить пользователю «на выходе» не готовое четко структурированное решение, выдаваемое после включения ранее настроенного мастера обработки форм, а своеобразный материал для творческой оценки существующей ситуации. Поэтому сфера применения OLAP-анализа обычно ограничивается менеджерским составом предприятий разных размеров, которому приходится часто заниматься тактическими и стратегическими задачами вроде анализа ключевых показателей деятельности и сценариев развития, маркетинговым и финансово-экономическим анализом групп товаров или услуг, а также долгосрочным прогнозированием работы предприятия или его подразделений.

Для этого пользователь OLAP-систем получает в руки мощный и главное очень гибкий инструмент создания различных отчетов по выбираемым им же разрезам и направлениям. При этом методики OLAP куда совершеннее привычных электронных таблиц, ведь помимо простых функций создания таблиц, графиков и диаграмм, OLAP-системы дают возможность получить обобщенные данные по самостоятельно выбранным критериям, моментально углубится в детали выбранных направлений, отфильтровать, сортировать или отбросить ненужные цифры или показатели.

Например, если менеджеру продаж компании требуется получить сезонные сводки динамики продаж выбранной категории товаров, система предложит ему всевозможные данные о продажах за месяц, квартал, год, а также найдет и проанализирует их зависимость от означенных факторов, скажем, времени проведения маркетинговых акций.

Кроме того, базируясь на одной лишь статистике продаж, OLAP-система может выявить эффективность работы разных подразделений компании, в том числе и в разрезе географической иерархии их взаимодействия. При этом параметры, характеризующие успешность подразделений, выбираются менеджером самостоятельно и в ряде случаев могут стать инструментом мотивации успешного персонала.

Наиболее важные сферы применения OLAP-технологий:

- Продажи. Ключевой вопрос отдела сбыта любого предприятия: «Какое количество изделий продано?», «На какую сумму реализовано?» расширяются по мере усложнения бизнеса и накопления исторических данных до некоторого множества факторов, или разрезов: регион поставок,.в прошлом месяце, квартале, по сравнению с нынешним,. через канал сбыта А, по сравнению с каналом Б и т.д. Ответы на подобные вопросы необходимы для принятия управленческих решений: об изменении ассортимента, цен, закрытии и открытии филиалов, расторжении и подписании договоров с дилерами, проведения или прекращения рекламных кампаний и т.д.

- Закупки. Задача обратно противоположная анализу продаж. Многие предприятия закупают комплектующие и материалы у поставщиков. Торговые предприятия закупают товары для перепродажи. Возможных задач при анализе закупок множество, от планирования денежных средств на основе прошлого опыта, до контроля размеров поставок различных поставщиков.

- Маркетинг. Под маркетинговым анализом имеется ввиду только область анализа покупателей или клиентов-потребителей услуг. Например, для розничной торговли задачей анализа является правильное позиционирование товара, выявление групп покупателей для целевой рекламы, оптимизация ассортимента. Например, если выясняется, что телефонами темно-серого цвета стоимостью более $500 пользуются исключительно мужчины старше 25 лет, то стоит изобразить в рекламе таких телефонов вместо девушек одного преуспевающего бизнесмена. Это очень грубый пример, но известно, что маркетинговый анализ находится на грани между сложной наукой и малообъяснимым искусством. Поэтому задача OLAP в данном случае – дать пользователю инструмент быстрого получения ответов на вопросы, интуитивно возникающие по ходу анализа данных.

- Движение денежных средств. Могут анализироваться денежные обороты безналичных и наличных средств в разрезе бизнес-операций, контрагентов, валют и времени с целью оптимизации потоков, обеспечения ликвидности, и т.д. Состав измерений сильно зависит от особенностей бизнеса, отрасли и т.д.

- Бюджет. Одна из самых перспективных областей применения OLAP-технологий – ни одна современная система бюджетирования не считается завершенной без наличия в ее составе OLAP-инструментария для анализа бюджета. Большинство бюджетных отчетов легко строятся на основе OLAP-систем. При этом отчеты отвечают на очень широкую гамму вопросов: анализ структуры расходов и доходов, сравнение расходов по определенным статьям у разных подразделений, анализ динамики и тенденций расходов на определенные статьи, анализ себестоимости и прибыли.

- Финансовая отчетность. Технологично построенная система отчетности есть ни что иное, как набор именованных показателей со значениями на дату, которые требуется сгруппировать и просуммировать в различных разрезах для получения конкретных отчетов. Когда это так, то отображение и печать отчетов наиболее просто и дешево реализуются в OLAP-системах. Некоторые страны уже перешли на такую технологию сбора данных. В некоторых отечественных контролирующих органах существуют планы перехода от ГОСТ-овских стандартов отчетов с многоэтажными шапками и алгоритмами типа «Итого, исключая строку 234 и включая строку 598 из отчета №987» к системе к сбору показателей и выпуску отчетов по OLAP-технологии.

- Результаты социологических опросов. Возможно, что в этой области существуют тонкие нюансы, которые следует знать при решении конкретных задач, но в первом приближении кажется, что OLAP исключительно хорошо подходит для представления и анализа результатов социологических опросов.

- Объемы производства. Это еще один пример статистического анализа. Таким образом, можно анализировать объемы выращенного картофеля, выплавленной стали, сваренного пива и пр.

- Потребление расходных материалов. Например, имеется завод, состоящий из десятков цехов, в которых расходуются охлаждающие, промывочные жидкости, масла, ветошь, наждачная бумага – сотни наименований расходных материалов. Для точного планирования, оптимизации издержек требуется тщательный анализ фактического потребления расходных материалов.

- Заработная плата. Анализ расходов на зарплату, сравнение расходов по специальностям, филиалам, людям, динамика фонда ЗП.

- Текучесть кадров на предприятии. Анализ текучести кадров в отделе, цехе, филиале по предприятию в целом в разрезе профессий, уровня образования, пола, возраста, времени.

- Пассажирские перевозки. Анализ количества проданных билетов и сумм в разрезе сезонов, направлений, видов вагонов (классов), типов поездов (самолетов).

- Грузовые перевозки. Анализ объемов перевозок, платы в разрезе сезонов, направлений, видов вагонов, грузов, грузоотправителей, грузополучателей, станций отправления, станций получения.

- Простои транспорта (вагонов, самолетов, пароходов, грузовиков). Анализ времени простоя (полученных штрафов) в разрезе причин (ремонт, отказ от погрузки-разгрузки), клиентов, исполнителей, железнодорожных станций (вокзалов, гаражей, аэропортов), типов грузов.

- Заболеваемость персонала (учащихся, трудящихся). Измерения – категории сотрудников (граждан), регион, отдел, профессия, возраст, дата. Факт – количество дней в году, в течение которых люди были не-трудоспособны.

- Выбор недвижимости (офисов, складов, квартир). Измерения – обычные для этого рынка: Город, Район, Количество комнат, Расстояние до метро, Этаж, Тип дома, Дата и т.д. Фактов три – средняя цена, максимальная цена, минимальная цена. Манипулируя измерениями, покупатель может определиться со своими возможностями, а продавец проанализировать зависимости цен, динамику цен и назначить правильную цену.

- Урожайности агрокультур. Измерения – Сорт, Регион, Почва, Удобрение, Средняя температура воздуха, уровень осадков, Год, другие факторы, влияющие на урожайность. Факт – количество центнеров с гектара. Анализ позволит выявить лучшие сорта для данного региона, лучшие удобрения для данной почвы и прочие зависимости.