Architecture Course Home / Дополнительные материалы / Каталог архитектурных шаблонов / Каталог. Сырой список

Data Warehouse

ОписаниеФормирование аналитической модели за счет выгрузки данных из операционных источников (базы, логи и т.д.) с помощью ETL
Позитивные драйверыPerformance, Scalability
Негативные драйверыSimplicity

Преимущества

  • Простое решение
  • Централизованная консолидация данных

Недостатки

  • Архитектура построена на общей модели данных, что потенциально ведет в тупик
  • Транзакционная (операционная) база имеет сильный каплинг с аналитической моделью
  • Размытие зоны ответственности
Связанные шаблоны
Полезные ссылки

Data Warehouse (DWH) был первой реализацией BigData архитектуры.

Топология

Архитектура хранилища данных (DWH) обладает довольно простой концепцией. Она включает в себя несколько ключевых этапов:

Эта архитектура управления данными основана главным образом на сценариях извлечения-преобразования-загрузки (Extract-Transform-Load, ETL). Данные могут поступать из различных источников: оперативные базы данных, потоковые события, журналы и так далее.

Основные характеристики DWH решения:

Trade-Offs

ПреимуществаНедостатки
Простое решениеАрхитектура построена на общей модели данных, что потенциально ведет в тупик. Примером этому может служить Service-Oriented Architecture.
Централизованная консолидация данныхОперационная база имеет сильную связь с аналитической моделью, что затрудняет эволюционность и формирует интеграционную хрупкость: любые изменения на уровне продукта могут привести к сбоям в работе аналитики.

Зона ответственности размазывается, что приводит к плохому качеству данных. Специалисты больших данных — это технические специалисты. С предметной областью они знакомы слабо.

Обсуждение

Модель DWH - хороший пример технического разделения в архитектуре программного обеспечения: разработчики хранилища преобразуют данные в схему, которая облегчает запросы и анализ, но при этом теряется любое доменное разделение. Это происходит потому, что основная цель DWH — создать единую модель данных для всего предприятия. При необходимости домены воссоздаются в запросах.

Сильная связь операционных и аналитических данных приводит к тому, что 90% временя data инженеры исправляют совместимость с операционными данными, а оставшиеся 10% пытаются разобраться в домене.

Оригинал на wiki