Аналитическая обработка данных, системы оперативной аналитической обработки (OLAP).

Для анализа информации наиболее удобным способом ее представления является многомерная модель или гиперкуб, ребрами которого являются измерения.

Это позволяет анализировать данные сразу по нескольким измерениям, т. е. Выполнять многомерный анализ. Над многомерной моделью – гиперкубом — могут выполняться операции: среза, вращения, консолидации и детализации. Многомерную модель и эти операции реализуют OLAP-системы.

OLAP – технология оперативной аналитической обработки данных, использующая методы и средства для сбора, хранения и анализа многомерных данных в целях поддержки процессов принятия решений.

Термин «OLAP» ввел Е. Ф. Кодд в 1993г. Для определения OLAP-систем Кодд разработал 12 правил, позднее дополнил к ним еще шесть и разбил 18 правил на четыре группы.

OLAP-структура, созданная из рабочих данных, называется OLAP-куб. Куб создается из соединения таблиц с применением схемы звезды. В центре «звезды» находится таблица фактов, которая содержит ключевые факты, по которым делаются запросы. Множественные таблицы с измерениями присоединены к таблице фактов. Эти таблицы показывают, как могут анализироваться агрегированные реляционные данные. Архитектура OLAP-систем включает в себя OLAP-сервер и OLAP-клиент. OLAP-сервер может быть реализован на основе многомерных БД(MOLAP), реляционных БД(ROLAP) или сочетания беих моделей(HOLAP). Достоинствами MOLAP являются высокая производительность и простота использования встроенных функций. Достоинствами ROLAP являются возможность работы с существующими реляционными БД, более экономичное использование ресурсов и большая гибкость при добавлении новых измерений.

Сферы применения OLAP- технологий: продажи, закупки, маркетинг, движение денежных средств, бюджет, финансовая отчетность, результаты социологических опросов, объемы производства, потребление расходных материалов, заработная плата, грузовые перевозки и др. Мировой рынок OLAP- приложений стабильно растет, оборот превышает 10 млрд.дол., но как ни странно, до сих пор не считается основным сегментом рынка корпоративного программного обеспечения.

Все больше и бельше белорусских компаний обращаются к OLAP средствам. Компания ИП «Бритиш-Американ Тобакко Трейдинг Компани», интегрировала модуль разработки интерактивныхотчетов и анализа данных ОПТИМУМ OLAP в корпоративную информационно-аналитическую систему. Внедрение в 2008 году системы мобильной торговли ОПТИМУМ позволило компании оптимизировать и значительно повысить скорость и эффективность работы с клиентами, а использование модуля OLAP упростило и поставило на новый уровень аналитичскую работу. В настоящее время имеется более 30 поставщиков OLAP продуктов. В основном свою продукцию предлагает такая крупная компания, как Oracle, и стоимость колеблется от 1 млн.бе.руб. До 200 млн.бел.руб.

Интеллектуальный анализ данных (Data Mining) и знаний (Knowledge Mining). Управление и анализ больших объемов данных (Big data). Системы бизнес-аналитики (Business Intelligence, BI).

Интеллектуальный анализ данных (ИАД) – общий термин для обозначения анализа данных с активным использованием математических методов и алгоритмов (методы оптимизации, генетические алгоритмы, распознавание образов, статистические методы, Data Mining и т.д.), использующих результаты применения методов визуального представления данных.

В общем случае процесс ИАД состоит из трех стадий:

выявление закономерностей (свободный поиск);

использование выявленных закономерностей для предсказания неизвестных значений (прогнозирование);

анализ исключений для выявления и толкования аномалий в найденных закономерностях.

Data Mining (DM)– это технология обнаружения в «сырых» данных ранее неизвестных нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности.

Задачи, решаемые методами DM:

1. Классификация

2. Прогнозирование.

3. Кластеризация – группировка объектов на основе данных, описывающих сущность этих объектов. Объекты внутри кластера должны обладать общими чертами и отличаться от объектов, вошедших в другие кластеры. Чем больше похожи объекты внутри кластера и чем больше отличий между кластерами, тем точнее кластеризация.

4. Ассоциация – выявление закономерностей между связанными событиями.

5. Последовательные шаблоны – установление закономерностей между связанными во времени событиями.

6. Анализ отклонений – выявление наиболее нехарактерных шаблонов.

Технология Data Mining развивалась и развивается на стыке статистики, теории информации, машинного обучения, теории баз данных. Наибольшее распространение получили следующие методы Data Mining: нейронные сети, деревья решений, алгоритмы кластеризации, алгоритмы обнаружения ассоциативных связей между событиями и т.д.

Деревья решений представляют собой иерархическую древовидную структуру классифицирующих правил типа «если-то». Для отнесения некоторого объекта или ситуации к какому-либо классу следует ответить на вопросы, имеющие форму «значение параметра А больше Х», и расположенные в узлах дерева. При положительном ответе осуществляется переход к правому узлу следующего уровня дерева, отрицательном – к левому узлу

Knowledge Discovery in Databases определяет последовательность действий, необходимую для получения знаний, а не набор методов обработки или алгоритмов анализа.

Для того чтобы существующие хранилища данных способствовали принятию управленческих решений, информация должна быть представлена аналитику в нужной форме, то есть он должен иметь развитые инструменты доступа к данным хранилища и их обработки.

BI-инструменты включают корпоративные BI-наборы (Enterprise BI Suites, EBIS), предназначенные для генерации запросов и отчетов, и BI-платформы, представляющие собой набор инструментов для создания, внедрения, поддержки и сопровождения BI-приложений. По оценкам агентства IDC рынок Business Intelligenceсостоит из 5 секторов:

1. OLAP-продукты;

2. Инструменты добычи данных;

3. Средства построения Хранилищ и Витрин данных (Data Warehousing);

4. Управленческие информационные системы и приложения;

5. Инструменты конечного пользователя для выполнения запросов и построения отчетов.

В настоящее время среди лидеров корпоративных BI-платформ можно выделить MicroStrategy, Business Objects, Cognos, Hyperion Solutions, Microsoft, Oracle, SAP, SAS Institute и другие (в приложении Б приведен сравнительный анализ некоторых функциональных возможностей BI-систем).

Сектор BI-систем на белорусском рынке представлен слабо. В частности, EPAM представляет Hyperion® System™ 9, которая объединяет платформу Business Intelligence сфинансовыми приложениями в одну модульную систему, которая легко адаптируется под конкретные требования бизнеса. Комплекс Hyperion® System1 M 9 внедряется на БМЗ и в концерне «Белнефтехим».