Хранилища данных и OLAP-системы

Проблема «единого взгляда»

Обычная ситуация, характерная для достаточно крупного предприятия, - наличие множества систем автоматизации, предназначенных для решения различных задач, разрозненное хранение данных и, как следствие, - отсутствие единого взгляда на управленческую информацию.

Такие данные просто невозможно анализировать по причине разрозненного хранения и различия в форматах данных. Надо быть готовым к ситуациям, когда одни и те же данные дублируются в разных системах или когда между данными из разных источников выявляются логические несоответствия.

Приблизительно в 80-е годы прошлого века все перечисленные выше соображения привели к идее централизованного хранения данных, необходимых для последующего анализа. При этом все «информационное сырье» должно храниться в одном месте в простой и понятной структуре.

За прошедшую с тех пор четверть века идеи централизованного хранения данных получили существенное развитие, чему в немалой степени способствовали рост вычислительных мощностей, новые сетевые архитектуры и интернет- технологии. Сегодня принято говорить о целом комплексе средств, которые в совокупности называют системами бизнес-интеллекта (BI). В соответствии с рассмотренной выше аналитической пирамидой основными элементами BI-платформы являются хранилища данных и OLAP-системы. Именно эти объекты, как правило, играют роль платформы для прикладных BPM-решений и поэтому заслуживают отдельного рассмотрения.

OLAP-системы

В 1970 г. впервые появился прикладной программный продукт для многомерного анализа данных - Express. Определенные модификации данного продукта широко используются в современных OLAP-приложениях, однако изначальные концепции 1970-х остались далеко позади.

В 1992 г. был выпущен Essbase - первый OLAP-продукт, завоевавший большую долю рынка и удерживающий лидирующие позиции по сегодняшний день.

OLAP-системами признаются ИС, обладающие определенным набором характеристик, объединенных в четыре группы:

- основные характеристики:

- многомерность модели данных;

- интуитивные механизмы манипулирования данными;

- доступность данных;

- пакетное извлечение данных;

- архитектура «клиент-сервер»;

- прозрачность;

- многопользовательская работа;

- специальные характеристики:

- обработка ненормализованных данных;

- хранение результатов отдельно от исходных данных;

- выделение отсутствующих данных;

- обработка отсутствующих значений;

- характеристики построения отчетов:

- гибкое построение отчетов;

- стабильная производительность при построении отчетов;

- автоматическое регулирование физического уровня;

- управление размерностью:

- общая функциональность;

- неограниченное число измерений и уровней агрегирования;

- неограниченные операции между данными различных измерений.

OLAP: тест FASMI

Универсальным критерием определения OLAP как инструмента является тест FASMI (Fast Analysis of Shared Multidimensional Information - быстрый анализ разделяемой многомерной информации). Рассмотрим детально каждую из составляющих этой аббревиатуры.

Fast (быстрый). Это свойство означает, что система должна обеспечивать ответ на запрос пользователя в среднем за пять секунд. При этом большинство запросов обрабатывается в пределах одной секунды, а самые сложные из них должны обрабатываться в пределах двадцати секунд.

Analysis (анализ). Система должна справляться с любым логическим и статистическим анализом, характерным для бизнес-приложений, и обеспечивать сохранение результатов в виде, доступном для конечного пользователя. Средства анализа могут включать процедуры анализа временных рядов, распределения затрат, конверсии валют, моделирования изменений организационных структур и некоторые другие.

Shared (разделяемый). Система должна предоставлять широкие возможности разграничения доступа к данным и одновременной работы многих пользователей.

Multidimensional (многомерный). Система должна обеспечивать концептуальное многомерное предоставление данных, включая полную поддержку множественных иерархий.

Information (информация). Мощность различных программных продуктов характеризуется количеством обрабатываемых входных данных. Разные OLAP-системы имеют разную мощность. При выборе OLAP-инструмента следует учитывать целый ряд факторов, включая дублирование данных, требуемую оперативную память, использование дискового пространства, эксплуатационные показатели, интеграцию с информационными хранилищами и т. п.

Разновидности многомерного хранения данных

Обсуждая тему OLAP, следует упомянуть и о разновидностях многомерного хранения данных. Дело в том, что информационные массивы, логически упорядоченные по аналитическим направлениям и, таким образом, являющиеся многомерными с точки зрения конечных пользователей, вовсе не обязательно являются многомерными с точки зрения технологической реализации. Как правило, выделяют три разновидности хранения данных:

- многомерный OLAP (multidimensional OLAP, MOLAP) представляет собой «OLAP в чистом виде», то есть технологию, основанную на хранении данных под управлением специализированных многомерных СУБД;

- реляционный OLAP (relational OLAP, ROLAP) - технология, основанная на хранении многомерной информации в реляционных базах данных, на основе одной или нескольких схем типа «звезда» или «снежинка»;

- гибридный OLAP (hybrid OLAP, HOLAP) - технология, при которой одна часть данных хранится в многомерной базе, а другая часть - в реляционной. При этом инструментальные средства, поддерживающие эту технологию, обеспечивают прозрачность данных для пользователя, который на логическом уровне всегда работает с многомерными данными.

Достоинства OLAP- систем

Главное, с точки зрения пользователя, отличие OLAP от хранилищ данных состоит в структурированности информации в соответствии с ее предметной (именно предметной, а не технической) сущностью. Работая с OLAP- приложением, аналитик использует привычные финансово-экономические термины, категории и показатели (виды материалов и готовой продукции, регионы продаж, объем реализации, себестоимость, прибыль и т. п). И при этом ответ на запрос будет получен в течение всего нескольких секунд. Кроме того, работая с OLAP-системой, экономист может пользоваться такими привычными для себя инструментами, как электронные таблицы или специальными средствами построения отчетов.

OLAP - инструмент универсальный. Но в то же время именно универсальность делает его не вполне подходящим для специфических финансово- экономических задач, требующих применения специальных методик и организационных принципов. Поэтому OLAP-приложения не могут служить полноценной альтернативой специализированным аналитическим приложениям, например системам бюджетирования или консолидации финансовой отчетности.

OLAP-средства часто используются клиентскими аналитическими приложениями для многомерного хранения данных. Здесь пользователь применяет привычные для него инструменты для реализации определенных управленческих методик, но при этом данные для обработки и анализа хранятся на OLAP- сервере.