Тема 5: Аналітичні системи багатовимірного аналізу даних

Мета: засвоєння сучасних концепції інтелектуального аналізу корпоративних даних у інноваційній діяльності.

Завдання до теми

1. Визначити поняття ї концепцію сучасної технології Data Mining (discovery-driven data mining). Розкрити специфіку сучасних вимог інтелектуального аналізу даних.

2. Визначити поняття систем автоматизованої підготовки звітів OLAP, MOLAP, ROLAP, HMOLAP, переваги йх використання.

3. Розкрити поняття OLAP-куба, його складових.

4. Зазначити, на яких рівнях добування знань із даних застосовуються мова простих запитів, оперативна аналітична обробка та Data Mining, які завдання вирішуються на цих рівнях.

5. Привести базу дисциплин розробки Data Mining та типи закономірностей, які дозволяють виявляти методи Data Mining.

6. Визначити поняття панелі ключових індикаторів ефективності бізнесу та

вигоди та переваги для керівників, менеджерів від йх використання.

7. Розкрити поняття збалансованої системи показників (Balanced Scorecard−BSC) (ЗСП), йї відображення.

8. Розкрити основний принцип ЗСП і в игода від використання ЗСП.

9. Визначити поняття експертної системи (Expert Systems−ES) (ЕС), йї основні компоненти, спеціалістів, які взаємодіють з ЕС, режими роботи і класифікацію експертних систем.

План лекції

1. Інтелектуальний аналіз даних.

2. Технологія Data Mining, системи автоматизованої підготовки звітів, панелі ключових індикаторів ефективності бізнесу, збалансовані системи показників, експертні системи.

Текст лекції

Новою концепцією аналізу корпоративних даних є інтелектуальний аналіз даних Data Mіnіng (з англ. – «видобуток» або «розкопка даних») - технологія виявлення схованих взаємозв'язків усередині великих баз даних.

Data Mining – це процес виявлення в «сирих» даних раніше невідомих, нетривіальних, практично корисних, доступних інтерпретацій знань, необхідних для прийняття рішень у різних сферах людської діяльності.

В основу сучасної технології Data Mining (discovery-driven data mining) покладена концепція шаблонів (паттернів), що відбивають фрагменти багатоаспектних відносин у даних. Ці шаблони являють собою закономірності, властиві підвибіркам даних, які можуть бути компактно виражені в зрозумілій людині формі. Пошук шаблонів виконується методами, не обмеженими рамками апріорних припущень про структуру вибірки й види розподілів значень аналізованих показників.

Специфіка сучасних вимог до такої переробки даних наступна:

1) дані мають необмежений обсяг;

2) дані є різнорідними (кількісними, якісними, текстовими);

3) результати повинні бути конкретними і зрозумілими;

4) інструменти для обробки сирих даних повинні бути простими у використанні.

Data Mining є мультидисциплінарною сферою, що виникла й розвивається на базі досягнень прикладної статистики, розпізнавання образів, методів штучного інтелекту, теорії баз даних та ін.

Виділяють п’ять стандартних типів закономірностей, які дозволяють виявляти методи Data Mining: асоціацію, послідовність, класифікацію, кластеризацію й прогнозування.

OLAP (англ. online analytical processing, аналітична обробка в реальному часі) — це технологія обробки інформації, що дозволяє швидко отримувати відповіді на багатовимірні аналітичні запити. OLAP є частиною такого більш широкого поняття, як бізнес-аналітика, що також включає такі дисципліни, як реляційна звітність та добування даних (спосіб аналізу інформації в базі даних із метою відшукання аномалій та трендів без з’ясування смислового значення записів). Служить для підготовки бізнес-звітів із виробництва, продажів, у цілях управління, для прогнозування, фінансової звітності та в подібних сферах.

Бази даних, сконфігуровані для OLAP, використовують багатовимірні моделі даних, що дозволяє виконувати складні аналітичні та спеціалізовані запити за короткий проміжок часу. Вони запозичують окремі аспекти навігаційних та ієрархічних баз даних, які є більш швидкими за реляційні БД.

Зазвичай результати OLAP-запитів подають у формі матриць, де виміри складають рядки та колонки, а значеннями матриці є розміри.

Головна причина використання OLAP для обробки запитів — це швидкість. Ядром будь-якої OLAP-системи є ідея OLAP-куба (багатовимірний куб, або гіперкуб). OLAP-структура, створена з робочих даних, називається OLAP-кубом. Він складається з чисельних фактів (розмірів), розподілених за вимірами. Як правило, куб створюється за допомогою з’єднання таблиць із застосуванням схеми «зірка» або схеми «сніжинка». У центрі «зірки» знаходиться таблиця, яка містить ключові факти, за якими робляться запити. Множинні таблиці з вимірюваннями приєднані до таблиці фактів. Ці таблиці показують, як можуть аналізуватися агреговані реляційні дані. Кількість можливих агрегацій визначається кількістю способів, якими первинні дані можуть бути ієрархічно відображені.

MOLAP – це класична форма OLAP, її часто називають просто OLAP. Вона використовує підсумовувальну БД, спеціальний варіант процесора просторових БД і створює необхідну просторову схему даних із збереженням як базових даних, так і агрегатів. ROLAP працює безпосередньо з реляційним сховищем, факти і таблиці з вимірюваннями зберігаються в реляційних таблицях, і для зберігання агрегатів створюються додаткові реляційні таблиці. HOLAP використовує реляційні таблиці для зберігання базових даних і багатовимірні таблиці для агрегатів. Особливим різновидом ROLAP є ROLAP реального часу (Real-time ROLAP, або R-ROLAP). На відміну від ROLAP у R-ROLAP для зберігання агрегатів не створюються додаткові реляційні таблиці, а агрегати розраховуються у момент запиту. При цьому багатовимірний запит до OLAP-системи автоматично перетвориться в SQL-запит до реляційних даних.

Реалізації OLAP. Першим продуктом, що виконує OLAP-запити, був Express (компанія IRI). Інші добре відомі OLAP-продукти включають Microsoft Analysis Services (раніше - OLAP Services, що називалися частина SQL Server), DB2 OLAP Server від IBM (фактично, EssBase із доповненнями від IBM), продукти MicroStrategy та інших виробників.

Найбільшого застосування OLAP набули в продуктах для бізнес-планування і сховищах даних.