Определение и типовые архитектуры ХД

В основе концепции хранилища данных лежат две основные идеи – интеграция разъединенных детализированных данных в едином хранилище и разделение наборов данных и приложений, используемых для оперативной обработки и применяемых для решения задач анализа. Определение понятия хранилище данных первым дал Г. Уильям Инмон в своей монографии «Building the Warehouse» («Построение хранилищ данных»). В ней он определил хранилище данных как «предметно-ориентированную, интегрированную, содержащую исторические данные, не разрушаемую совокупность данных, предназначенную для поддержки принятия управленческих решений»[5].

Концептуально модель хранилища данных можно представить в виде схемы, показанной на рис. 41.

Рис. 41. Хранилище данных в структуре информационной системы

Основные требования, предъявляемые к данным в ХД:

Предметная ориентированность. Все данные о некотором предмете (бизнес-объекте) собираются (обычно из множества различных источников), очищаются, согласовываются, дополняются, агрегируются и представляются в единой, удобной для их использования в бизнес-анализе форме.

Интегрированность. Все данные о:разных бизнес-объектах взаимно согласованы и хранятся в едином общекорпоративном хранилище.

Неизменчивость. Исходные (исторические) данные, после того как они были согласованы, верифицированы и внесены в общекорпоративное хранилище, остаются неизменными и используются исключительно в режиме чтения.

Поддержка хронологии. Данные хронологически структурированы и отражают историю за достаточный для выполнения задач бизнес-анализа и прогнозирования период времени. Пополнение ХД происходит на периодической основе. При этом автоматически формируются новые агрегаты данных, зависящие от старых.

По материалам сайта: http://www.olap.ru

Данные из различных источников помещаются в ХД. Конечный пользователь, используя различные инструменты (средства визуализации, построения отчетов, статистической обработки и т. д.), анализирует данные в хранилище. Результатом его деятельности является информация в виде готовых отчетов, найденных скрытых закономерностей, каких-либо прогнозов. Так как средства работы конечного пользователя с ХД могут быть самыми разнообразными, то теоретически их выбор не должен влиять на структуру ХД и функции его поддержания в актуальном состоянии. Физическая реализация приведенной концептуальной схемы может быть самой разнообразной. Рассмотрим наиболее часто встречающиеся подходы.

Классическое (физическое) ХД предполагает копирование данных из различных источников в единое хранилище. Собранные данные приводятся к единому формату, согласовываются и обобщаются. При этом аналитические запросы адресуются непосредственно к ХД. Недостатком такой модели является дублирование данных в оперативной информационной системе и в хранилище данных.

Виртуальное ХД – это система, представляющая интерфейсы и методы доступа к системе оперативной обработки данных, которые эмулируют работу с данными в этой системе как с хранилищем данных. Виртуальное ХД можно организовать, создав ряд представлений (view) в базе данных, либо применив специальные средства доступа, например, продукты класса Desktop OLAP, к которым относятся Business Objects (http://www.busines-sobjects.com/), Brio Enterprise (http://ru.brio.com/) и др. Главные достоинства такого подхода – простота и малая стоимость реализации, единая платформа с источником информации, а также отсутствие сетевых соединений между источником информации и ХД. Однако время обработки запросов к виртуальному ХД значительно превышает соответствующие показатели для физического хранилища.

Двухуровневая архитектура ХД подразумевает построение витрин данных (data mart) без создания центрального хранилища, при этом информация поступает из небольшого количества оперативных систем и ограничена конкретной предметной областью. Достоинствами витрин данных являются простота и малая стоимость реализации, а также высокая производительность за счет физического разделения оперативных и аналитических систем.

Построение полноценного корпоративного ХД обычно выполняется в трехуровневой архитектуре. На первом уровне расположены разнообразные источники данных – внутренние операционные системы, справочные системы, внешние источники (данные информационных агентств, макроэкономические показатели). Второй уровень содержит центральное ХД, куда стекается информация от всех источников с первого уровня, и, возможно, оперативный склад данных (ОСД) − копия производственной БД, освобожденной от ошибок. Оперативный склад не содержит исторических данных и выполняет две основные функции. Во-первых, он является источником аналитической информации для оперативного управления и, во-вторых, здесь подготавливаются данные для последующей загрузки в центральное хранилище. Под подготовкой данных понимают их преобразование и осуществление определенных проверок. Наличие ОСД необходимо при различном регламенте поступления информации из источников. Третий уровень в описываемой архитектуре представляет собой набор предметно-ориентированных витрин данных, источником информации для которых является центральное ХД. Именно с витринами данных и работает большинство конечных пользователей.

Итак, хранилища данных создаются для обеспечения лучшего доступа к данным. Важна и другая их функция – поддерживать многочисленные бизнес-процессы и принятие решений. Хранилища упрощают анализ, систематизируя прежде никак не связанные между собою данные; для их систематизации клиенты могут пользоваться практически неограниченным числом сценариев, кроме того, есть возможность генерировать нерегламентированные отчеты.