Data Warehouse
Data Warehouse (DWH) был первой реализацией BigData архитектуры.
Топология
Архитектура хранилища данных (DWH) обладает довольно простой концепцией. Она включает в себя несколько ключевых этапов:
- На первом этапе происходит извлечение данных из различных операционных систем, где они изначально хранятся
- Затем собранные данные проходят процесс трансформации, в ходе которого они преобразуются в формат, удобный для аналитики. Это может включать очистку данных, их объединение или агрегацию.
- На финальном этапе происходит загрузка обработанных данных в специализированную базу данных, разработанную именно для целей анализа.
Эта архитектура управления данными основана главным образом на сценариях извлечения-преобразования-загрузки (Extract-Transform-Load, ETL). Данные могут поступать из различных источников: оперативные базы данных, потоковые события, журналы и так далее.
Основные характеристики DWH решения:
- Данные загружаются из множества источников
- Данные преобразуются в единую схему
- Данные загружаются в единое хранилище
- Анализ проводится в хранилище
- Пользователи: аналитики данных
- Результат работы: BI отчеты и дашборды
- SQL-like язык для запросов
Trade-Offs
| Преимущества | Недостатки |
|---|---|
| Простое решение | Архитектура построена на общей модели данных, что потенциально ведет в тупик. Примером этому может служить Service-Oriented Architecture. |
| Централизованная консолидация данных | Операционная база имеет сильную связь с аналитической моделью, что затрудняет эволюционность и формирует интеграционную хрупкость: любые изменения на уровне продукта могут привести к сбоям в работе аналитики. |
| Зона ответственности размазывается, что приводит к плохому качеству данных. Специалисты больших данных — это технические специалисты. С предметной областью они знакомы слабо. |
Обсуждение
Модель DWH - хороший пример технического разделения в архитектуре программного обеспечения: разработчики хранилища преобразуют данные в схему, которая облегчает запросы и анализ, но при этом теряется любое доменное разделение. Это происходит потому, что основная цель DWH — создать единую модель данных для всего предприятия. При необходимости домены воссоздаются в запросах.
Сильная связь операционных и аналитических данных приводит к тому, что 90% временя data инженеры исправляют совместимость с операционными данными, а оставшиеся 10% пытаются разобраться в домене.
