Architecture Course Home / Системы управления базами данных / Популярные реализации баз данных

MongoDB

MongoDB представляет наиболее популярную на данный момент документо-ориентированную систему управления базами данных. По разным оценкам входит в десяток самых используемых баз данных в мире.


Модель данных

Если реляционные базы данных хранят строки, то MongoDB хранит документы. В отличие от строк документы могут хранить сложную, иерархическую по структуре информацию. Документ можно представить как хранилище ключей и значений.

Ключевой проблемой моделирования данных является баланс между потребностями приложения, характеристиками производительности ядра базы данных и шаблонами извлечения данных. При разработке моделей данных всегда учитывайте использование данных приложением (т. е. запросы, обновления и обработка данных), а также внутреннюю структуру самих данных. Задав неверно корень документа можно сильно повлиять на производительность запросов чтения.


Ссылки

Mongodb хоть и является документной, но предоставляет возможности моделирования нормальных форм. В большенстве случаев это считается анти шаблоном, но не всегда.

Несколько рекомендаций при использовании нормальных форм:

  • когда встраивание приведет к дублированию данных, но не обеспечит достаточного преимущества в производительности чтения, чтобы перевесить последствия дублирования.

  • для представления более сложных отношений «многие ко многим».

  • моделировать большие иерархические наборы данных.

Для объединения коллекций MongoDB предоставляет этапы агрегации:


Встроенные данные

Хоть mongodb и поддерживает нормализацию данных, документные БД склонны к денормализации. Обусловлено это локальностью доступа к данным. 

Встроенные модели данных позволяют приложениям хранить связанные фрагменты информации в одной записи базы данных. В результате приложениям может потребоваться меньше запросов и обновлений для выполнения общих операций.

Data model with embedded fields that contain all related information.

Несколько рекомендаций по использованию встроенных данных

  • у вас есть отношения один-ко-многим между сущностями. В этих отношениях «многие» или дочерние документы всегда появляются вместе или просматриваются в контексте «одного» или родительского документа. 

Возможности

Поиск

Возможности поиска в mongodb ни чем не уступают РСУБД. Ниже приведу только несколько примеров:

SELECT *
FROM people
db.people.find()
SELECT id,
       user_id,
       status
FROM people
db.people.find(
    { },
    { user_id: 1, status: 1 }
)
SELECT *
FROM people
WHERE status = "A"
db.people.find(
    { status: "A" }
)
SELECT *
FROM people
WHERE status = "A"
AND age = 50
db.people.find(
    { status: "A",
      age: 50 }
)
SELECT *
FROM people
WHERE age > 25
AND   age <= 50
db.people.find(
   { age: { $gt: 25, $lte: 50 } }
)
SELECT *
FROM people
WHERE user_id like "bc%"
db.people.find( { user_id: /^bc/ } )
SELECT *
FROM people
WHERE status = "A"
ORDER BY user_id ASC
db.people.find( { status: "A" } ).sort( { user_id: 1 } )
SELECT COUNT(*)
FROM people
WHERE age > 30
db.people.count( { age: { $gt: 30 } } )
SELECT DISTINCT(status)
FROM people
db.people.aggregate( [ { $group : { _id : "$status" } } ] )
SELECT *
FROM people
LIMIT 5
SKIP 10
db.people.find().limit(5).skip(10)

Шардированные коллекции должны включать индекс по Shard Key.

Запросы к шардированным коллекциям могут быть как точечными (в конкретный шард или поднабор шардов), так и бродкастовыми. Точечные запросы всегда лучше, ведь при их использовании не возбуждается весь кластер разом и не падает общая пропускная способность кластера на поиск.

Агрегации

Операции агрегирования обрабатывают несколько документов и возвращают вычисленные результаты. Вы можете использовать операции агрегирования для:

  • Группируйте значения из нескольких документов вместе.
  • Выполняйте операции над сгруппированными данными, чтобы вернуть один результат.
  • Анализируйте изменения данных с течением времени.

На самом деле апи агрегаций mongodb намного выразительнее чем агрегации в РСУБД.

Давайте посмотрим на некоторые примеры:

Следующий пример конвейера агрегирования содержит два этапа и возвращает общее количество заказа пицц среднего размера, сгруппированных по названию пиццы:

db.orders.aggregate( [
   // Stage 1: Filter pizza order documents by pizza size
   {
      $match: { size: "medium" }
   },
   // Stage 2: Group remaining documents by pizza name and calculate total quantity
   {
      $group: { _id: "$name", totalQuantity: { $sum: "$quantity" } }
   }
] )

Этап $match:

  • Фильтрует документы заказа пиццы на пиццу с значением поля size medium.
  • Передаёт оставшиеся документы на $group сценарию.

Этап $group:

  • Группирует оставшиеся документы по полю name.
  • Используется оператор $sum для расчета общий суммы заказа для каждой пиццы. Итоговая сумма сохраняется в поле totalQuantity, возвращаемом конвейером агрегации.


Или еще более интересный пример в котором вычисляется общая стоимость заказа пиццы и средний объем заказа между двумя датами:

db.orders.aggregate( [
   // Stage 1: Filter pizza order documents by date range
   {
      $match:
      {
         "date": { $gte: new ISODate( "2020-01-30" ), $lt: new ISODate( "2022-01-30" ) }
      }
   },
   // Stage 2: Group remaining documents by date and calculate results
   {
      $group:
      {
         _id: { $dateToString: { format: "%Y-%m-%d", date: "$date" } },
         totalOrderValue: { $sum: { $multiply: [ "$price", "$quantity" ] } },
         averageOrderQuantity: { $avg: "$quantity" }
      }
   },
   // Stage 3: Sort documents by totalOrderValue in descending order
   {
      $sort: { totalOrderValue: -1 }
   }
 ] )

Работа с медиа

MongoDB предоставляет интерфейс работы с медиа называемый GridFS.

GridFS — это спецификация для хранения и извлечения файлов, размер которых превышает ограничение размера BSON.

GridFS использует две коллекции для хранения файлов. В одной коллекции хранятся фрагменты файлов, а в другой — метаданные файлов.

При этом MongoDB позволяет индексировать метаданные как обычные коллекции и работать с ними точно так же.

Ниже представлены поля метаданных

{
  "_id" : <ObjectId>,
  "length" : <num>,
  "chunkSize" : <num>,
  "uploadDate" : <timestamp>,
  "md5" : <hash>,
  "filename" : <string>,
  "contentType" : <string>,
  "aliases" : <string array>,
  "metadata" : <any>,
}


Архитектура кластера

Физическая структура кластера

Эта классическая система с одним ведущим узлом и возможностью партиционирования (шардирования) своих данных по нескольким узлам.

Шардированный кластер Mongodb состоит из следующих ролей: router, shard, config server.

Diagram that shows a production-level sharded cluster containing multiple shards and mongos routers.

Router

Router(mongos) действует как маршрутизатор запросов, обеспечивая интерфейс между клиентскими приложениями и шардированным кластером. Обмениваясь информацией с сервером конфигурации роутер получает информацию о распределении сегментов по кластеру.

Shard

Каждый шард содержит подмножество шардированных данных. Каждый шард можно развернуть как набор реплик. 

Config server

Серверы конфигурации хранят метаданные и параметры конфигурации для кластера.

Логическая структура

Collection

Если в традиционном мире SQL есть таблицы, то в мире MongoDB есть коллекции. И если в реляционных БД таблицы хранят однотипные жестко структурированные объекты, то в коллекции могут содержать самые разные объекты, имеющие различную структуру и различный набор свойств.

Хранение неструктурированной информации не является как плюсом так и минусом. Это скорее данность. Сами разработчики mongodb не рекомендуют хранить в одной коллекции разные типы объектов. Обычно такой подход называют схемой при чтении, однако уже начиная с 4 версии разработчики добавили валидаторы (аналог схемы в РСУБД). Так же mongodb обросла большим количеством инструментов миграции, что говорит о востребованности держать схему данных в пределах допустимого.


Shard

Каждый шард содержит подмножество данных коллекции. Количество шардов отпределяется настройками коллекции.

Shard Key

Определяем размещение документов по шардам. В качестве shard key может быть либо одно индексированное поле, либо несколько полей, охватываемых составным индексом.

Replica

Это копия шардов. Шард, который напрямую получает обновления, называется «primary shard», а его копия — «replica shard». Количество реплик влияет на доступность и производительность поиска и может быть изменено в любое время. Если основной шард по какой-либо причине утерян, один из его реплик будет повышен до primary шарда.

Chunk

MongoDB использует shard key, связанный с коллекцией, для разделения данных на чанки, принадлежащие определенному шарду. Чанк состоит из диапазона шардированных данных. Диапазон может представлять собой часть фрагмента или весь фрагмент. По умолчанию при создании шардированной коллекции создается один чанк и при достижения парогового размера (по умолчанию это 128 мб) чанк делится и перераспределяется по кластеру. Также инициализирующее количество чанков можно задать при создании коллекции.

Диаграмма пространства значений ключа сегмента, разделенного на более мелкие диапазоны или фрагменты.

Document

Один документ представляет собой один фрагмент данных.

Ложка дёгтя

Какую-то большую проблему в версии mongodb 7.0 я не нашел. Небольшим недостатком для меня является лояльноять БД к разработчику. Для разработчика нет разницы работать с локальными данными или распределенными. При низком уровне зрелости команды использование БД может превратиться в ад запросов во все шарды.


Сценарии использования

Условие, при котором MongoDB не будет хорошим выбором:

  • У вас есть несколько коллекций с большим количеством ссылок для обеспечения целостности данных, и большинство запросов требуют JOIN.

Условие, при котором MongoDB может быть хорошим выбором, но с некоторыми ограничениями или потенциально узкими местами:

  • Вам необходимо реализовать хранимые процедуры и триггеры, которые есть в вашей реляционной базе данных.

Случаи, когда MongoDB будет хорошим выбором:

  • Ваши приложения в основном работают с JSON-документами;

  • Ваши данные непредсказуемы и бывают частые изменения схемы;

  • Вам требуется высокая доступность и масштабируемость чтения;

  • Вам нужно масштабировать данные очень большого размера;

  • Требуется масштабирование из-за огромного количества операций записи.

Некоторые примеры:

  • логирование событий;

  • управление контентом;

  • игры;

  • платежные системы;

  • аналитика в режиме реального времени;

  • приложения Интернета вещей;

  • кеширование;

  • приложения, обрабатывающие временные ряды.

Характеристики

Характеристики

Значение

Комментарий

Семейства баз данных

document-oriented database


Транзакционная модельACIDНасколько я понял уровень изоляции Repeatable reads
Многоузловые транзакцииесть
Структуры данныхB-деревья
Масштабирование

Горизонтальное партиционирование


Репликацияс одним ведущим узлом
Модели согласованностилинеаризуемость
CAP

Настраиваемый

  • CP
  • AP

PACELC

Настраиваемый

  • PC/EC
  • PA/EL

Fault Toleranceавтоматически
Primary Keyесть
Partition Keyесть
Foreigen Keyнету
Локальный вторичный индексесть
Глобальный вторичный индекснету


Ограничение уникальностиесть
JOINsестьно в рамках апи агрегаций. В большинстве случаев это считается анти шаблоном.
Агрегацииестьвнутри одного узла. Остальные решения не эффективны
Схема данныхестьесть валидаторы
Организация данныхденормализованная

Ссылки


Оригинал на wiki