Big Data
Описание
Архитектуру больших данных невозможно рассматривать в рамках архитектурных стилей. Мы не можем дать ей оценку релевантную рассмотренным архитектурам ранее, но и обойти стороной мы её тоже не можем.
В то время как рос IT росла и конкуренция. Анализ поведения пользователей стал важной задачей в эру высокой конкуренции. Какое-то время старые решения анализа данных справлялись, но быстро был достигнут предел. На смену пришли сложные распределенные системы. И у них была своя эволюция.
Далее рассмотрены 3 поколения платформ для сбора данных и аналитики: Data Warehouse, Data Lake, Data Mesh.
Все 3 поколения хорошо рассмотрены в главах Learning Domain-Driven Design и Hard Parts:
- “Chapter 16. Data Mesh.” In Learning Domain-Driven Design: Aligning Software Architecture and Business Strategy, First edition. O’Reilly, 2021.
- “Chapter 14. Managing Analytical Data.” In Software Architecture: The Hard Parts: Modern Trade-off Analysis for Distributed Architectures, First edition. O’Reilly Media, 2021.
Также эти темы разбирали в книжном клубе Code of Architecture:
Дочерние шаблоны
| Название | Описание | Позитивные драйверы | Негативные драйверы |
|---|---|---|---|
| Data Mesh | Социотехнический подход к децентрализованному обмену, доступу и управлению аналитическими данными. Основан на 4-х принципах:
| Performance, Scalability | Simplicity |
| Data Warehouse | Формирование аналитической модели за счет выгрузки данных из операционных источников (базы, логи и т.д.) с помощью ETL | Performance, Scalability | Simplicity |
| Data Lake | Закачиваем все необходимые данные в несструктурированном виде в Lake, потом по необходимости строим нужную модель с помощью ETL | Performance, Scalability | Simplicity |