Architecture Course Home / Дополнительные материалы / Каталог архитектурных шаблонов / Каталог. Сырой список

Big Data

ОписаниеАрхитектура для обработки больших данных позволяет принимать, обрабатывать и анализировать данные, которые являются слишком объемными или слишком сложными для традиционных систем баз данных.
Позитивные драйверыPerformance, Scalability
Негативные драйверыSimplicity

Преимущества

  • Повышение производительности с помощью параллелизма. В решениях для обработки больших данных используется преимущество параллелизма, что позволяет применять высокопроизводительные решения, которые могут масштабироваться для работы с большими объемами данных.
  • Масштабирование. Все компоненты архитектуры для обработки больших данных поддерживают горизонтальное масштабирование, чтобы вы могли адаптировать решение для малых и больших рабочих нагрузок и платить только за те ресурсы, которые используете.
  • Взаимодействие с существующими решениями. Компоненты архитектуры для обработки больших данных также используются в соответствующих решениях Интернета вещей и корпоративных решениях бизнес-аналитики, что позволяет создавать интегрированные средства для рабочих нагрузок обработки данных.

Недостатки

  • Сложность. Решения для обработки больших данных могут быть очень сложными и содержать множество компонентов для приема данных из нескольких источников. Создание, тестирование и устранение неполадок процессов обработки больших данных может стать непростой задачей. Более того, в нескольких системах может существовать большое количество параметров конфигурации для оптимизации производительности.
  • Набор навыков. Многие технологии для обработки больших данных являются узкоспециализированными. В них используются платформы и языки, которые не являются стандартными для более общих архитектур приложений.
  • Безопасность. В решениях для обработки больших данных все статические данные обычно хранятся в централизованном озере данных. Защита доступа к этим данным —непростая задача, особенно если данные должны приниматься и использоваться несколькими приложениями и платформами.
Полезные ссылки

Описание

Архитектуру больших данных невозможно рассматривать в рамках архитектурных стилей. Мы не можем дать ей оценку релевантную рассмотренным архитектурам ранее, но и обойти стороной мы её тоже не можем.

В то время как рос IT росла и конкуренция. Анализ поведения пользователей стал важной задачей в эру высокой конкуренции. Какое-то время старые решения анализа данных справлялись, но быстро был достигнут предел. На смену пришли сложные распределенные системы. И у них была своя эволюция.

Далее рассмотрены 3 поколения платформ для сбора данных и аналитики: Data Warehouse, Data Lake, Data Mesh.

Все 3 поколения хорошо рассмотрены в главах Learning Domain-Driven Design и Hard Parts:

Также эти темы разбирали в книжном клубе Code of Architecture:

Дочерние шаблоны

Оригинал на wiki