Репликация
Репликация (replication) означает хранение копий одних и тех же данных на нескольких машинах, соединенных с помощью сети.
Есть несколько причин, по которым вы хотите реплицировать свои данные на несколько компьютеров.
- Сокращение задержки — пользователи в Индии могут отправлять запросы на узлы, расположенные в Дели, а пользователи в Америке могут отправлять запросы на узлы, расположенные в Нью-Йорке.
- Лучшая доступность — если один из узлов по какой-либо причине выйдет из строя, у вас будет другой узел, который сможет взять на себя управление и отвечать на запросы данных.
- Увеличение пропускной способности при чтении — сразу несколько узлов могут отвечать на запросы на чтение вместо того, чтобы одна машина выполняла всю работу. Многие рабочие задачи масштабируются по чтению (состоят в основном из операций чтения и небольшого процента операций записи), поэтому увеличение пропускной способности операций чтения чрезвычайно полезно.
Трудная часть репликации заключается в обработке изменений в реплицированных данных.
Когда вы получаете запрос на запись, который изменяет вашу базу данных, как убедиться, что все реплики отражают эти новые данные?
Как запретить репликам, которые не обновились, отвечать устаревшими данными на запросы чтения?
Есть 3 популярные стратегии записи изменений во все ваши реплики: single-leader/одним ведущим узлом, multi-leader/несколькими ведущими узлам, leaderless/без ведущего узла. Далее мы разберем каждую стратегию более подробно.
Single-leader/одним ведущим узлом
Репликация с одним ведущим узлом. Клиенты отправляют информацию обо всех операциях записи одному узлу (ведущему), который отправляет поток событий изменения данных другим репликам (ведомым узлам). Операции чтения могут выполняться в любой реплике, но прочитанные из ведомых узлов данные могут оказаться устаревшими.
Репликация с одним лидером работает следующим образом.
- Одна из реплик создается ведущей (leader). Запросы на запись от клиентов будут отправляться лидеру, который запишет новые данные в свое локальное хранилище.
- Другие реплики известны как последователи (follower-ы). Всякий раз, когда лидер записывает новые данные в свое локальное хранилище, он также отправляет изменения данных всем последователям.
- Каждый фоловер получает журнал изменений данных от ведущего и обновляет свою локальную копию данных, применяя все новые записи.
- Когда клиент хочет прочитать данные, запросы на чтение могут быть отправлены на любой из узлов - лидер или ведомый.
Запись в базу данных может быть асинхронной, синхронной и полусинхронной.
При синхронной записи ведущий сначала удостоверится, что каждый подчиненный узел записал изменение данных в свою локальную базу данных. Как только ведущий узел получит подтверждение от всех последователей, он ответит сообщением об успешной записи.
Для асинхронной записи лидер получит запрос клиента на запись и обновит собственное локальное хранилище. Затем он ответит, что запись прошла успешно. После этого ответа лидер отправит сообщение всем узлам-последователям с изменением данных, которые содержались в запросе клиента на запись.
Для полусинхронной записи лидер будет ждать подтверждения записи от определенного количества узлов-последователей (этот параметр можно настроить), пока не ответит сообщением об успешной записи.
На практике синхронная запись используется редко. При синхронной стратегии записи запросы на запись будут занимать очень много времени (поскольку вам придется ждать ответа от каждого фоловера) и часто будут завершаться сбоем (в случае, когда один или несколько узлов-последователей не отвечают).
Проблемы которые придется столкнуться
- Что делать при отказе ведомого узла?
- Что делать при отказе ведущего узла?
- Проблемы задержки репликации. Как с этим жить?
На эти вопросы я предлогаю ответить вам самостоятельно. Описание решения этих проблем может растянутся на пересказывание DDIA.
Trade-Offs
| Преимущества | Недостатки |
|---|---|
| Самая простая реализация репликации | Менее отказоустойчивое решение чем последеющие |
| Возможность достижения строгой слогласованности | не работает в режиме географического распределения |
Когда использовать
Схема с одним ведущим узлом хорошо подходит для сценариев где географическая распределенность не нужна и нужна согласованность данных. Самая часто используемая схема из-за своих гарантий согласованности.
Multi-leader/несколькими ведущими узлам
Репликация с несколькими ведущими узлами. Клиенты отправляют информацию о каждой из операций записи одному из нескольких ведущих узлов, могущих эту информацию принимать. Ведущие могут отправлять поток событий изменения данных друг другу и любым ведомым.
У репликации с ведущим узлом есть один крупный недостаток: только один ведущий узел, через который должны проходить все операции записи. Если подключиться к узлу невозможно, например, из-за разрыва сети между вами и ведущим узлом, то нельзя выполнить и запись в базу данных.
Напрашивающееся расширение модели репликации с ведущим узлом — разрешение приема запросов на запись более чем одному узлу. Репликация будет выполняться так же, как и ранее: каждый узел, обрабатывающий операцию записи, должен перенаправлять информацию о данных изменениях всем остальным узлам. Это называется схемой репликации с несколькими ведущими узлами (multi-leader replication), или репликацией типа «главный — главный» (master — master), или репликацией типа «активный/активный» (active/active replication). При такой схеме каждый из ведущих узлов одновременно является ведомым для других ведущих.
Стоит заметить, что в случае репликации с несколькими ведущими узлами, синхронная репликация не имеет никакого смысла. Синхронная репликация объединяет узлы в общий архитектурный квант, тем самым нивелирую преимущества которые дает репликация с несколькими ведущими узлами.
Проблемы которые придется столкнуться
Два пользователя обновляют одну и туже запись на разных узлах.
- Как решать конфликт конкурентной записи?
- Как гарантировать, что конфликт решен одинаково на всех узлах в условиях задержек сети?
Trade-Offs
| Преимущества | Недостатки |
|---|---|
Мастера могут быть распределены по разным регионам, что означает, что мастер может быть расположен ближе к потребителю. | Системы репликации с несколькими ведущими узлами будут в основном слабо согласованными, то есть асинхронными. |
Более высокая доступность и производительность по сравнению с одним мастером. Если один мастер выйдет из строя, другие мастера продолжат обновлять базу данных. | По мере увеличения количества узлов приходится жертвовать гарантиями согласованности в угоду скорости ответа. Что в свою очередь приводит к увеличению не решимых конфликтов. |
Когда использовать
Использовать репликацию с несколькими ведущими узлами в пределах одного ЦОДа редко имеет смысл, поскольку выгоды от такого решения едва ли перевесят привнесенное усложнение. Однако существуют ситуации, в которых применение этой схемы оправдывает себя.
Эксплуатация с несколькими ЦОДами
Представьте базу данных с репликами в нескольких ЦОДах (например, с целью обеспечить устойчивость к отказу целого ЦОДа или расположить реплики ближе к пользователям). При обычной схеме репликации с ведущим узлом последний должен быть в одном из ЦОДов и всем операциям записи следует проходить через этот ЦОД.
В схеме с несколькими ведущими узлами можно установить ведущий узел в каждом из ЦОДов. Внутри каждого из ЦОДов используется обычная репликация типа «ведущий — ведомый»; между ЦОДами ведущий узел каждого ЦОДа реплицирует свои изменения ведущим узлам в других ЦОДах.
Офлайн-клиенты
Другая ситуация, подходящая для использования репликации с несколькими ведущими узлами, — приложения, которые должны продолжать работать, даже будучи отключенными от Интернета.
Например, рассмотрим приложения-календари на мобильном телефоне, ноутбуке и других устройствах. У вас должна сохраняться возможность в любой момент просмотреть расписание ваших совещаний (выполнять запросы на чтение) и вводить в него новые совещания (выполнять запросы на запись) независимо от наличия соединения с Интернетом. Любые выполняемые в офлайн-режиме изменения должны синхронизироваться с сервером и остальными вашими устройствами при следующем подключении к Интернету.
В этом случае у каждого устройства есть своя локальная база данных, служащая ведущим узлом (она принимает запросы на запись). Кроме того, происходит асинхронный процесс репликации (синхронизации) между репликами календаря на всех устройствах. Задержка репликации может составлять часы или даже дни в зависимости от того, когда появится доступ в Интернет.
Leaderless/без ведущего узла
Репликация без ведущего узла. Клиенты отправляют информацию о каждой из операций записи одному из нескольких узлов и читают из нескольких узлов параллельно, чтобы обнаружить узлы с устаревшими данными и внести поправки.
В примере выше мы предполагали, что операция записи успешна, несмотря на ее обработку только двумя репликами из трех. А если бы только одна реплика из трех получила данные об этой операции записи? Насколько далеко мы можем здесь зайти?
Говоря более общим языком, при наличии N реплик операция записи, чтобы считаться успешной, должна быть подтверждена W узлами, причем мы должны опросить как минимум R узлов для каждой операции чтения (в нашем примере N = 3, W = 2, R = 2). Если W + R > N, то можно ожидать: полученное при чтении значение будет актуальным, поскольку хотя бы один из R узлов, из которых мы читаем, должен оказаться актуальным. Операции записи и чтения, удовлетворяющие этому соотношению значений R и W, называются операциями чтения и записи по кворуму. Можно рассматривать R и W как минимальные количества «голосов», необходимых для признания операции чтения или записи приемлемой.
Проблемы которые придется столкнуться
- Запись при отказе одного из узлов. Как нагонять пропущенные записи?
- Как решать конфликт конкурентной записи?
- Как гарантировать, что конфликт решен одинаково на всех узлах при условии гонки между узлами?
- Фантомные чтения
Trade-offs
| Преимущества | Недостатки |
|---|---|
| В системах репликации без лидера любая реплика может обрабатывать записи. Повышенная отказоустойчивость. | Системы репликации с без ведущего узла будут иметь минимальные гарантии согласованности по сравнению с системами с одним ведущим узлом и с несколькими ведущими узлами. |
Когда использовать
Системы с соответствующим образом заданным кворумом могут выдержать отказы отдельных узлов без необходимости восстановления. Могут они выдержать и замедление работы отдельных узлов, поскольку запросам не нужно ждать ответа от всех N узлов — достаточно, чтобы ответили W или R узлов. Эти характеристики делают системы с репликацией без ведущего узла подходящими для сценариев использования, требующих высокой доступности и низкого значения задержки, а также возможности выдержать происходящие иногда операции чтения устаревших данных.
Эксплуатация с несколькими ЦОДами. Мы уже обсуждали ранее репликацию между ЦОДами как сценарий использования репликации с несколькими ведущими узлами. Репликация без ведущего узла тоже подходит для эксплуатации с несколькими ЦОДами, поскольку спроектирована в расчете на конфликтующие конкурентные операции записи, разрывы сети и резкие скачки времени задержки.








