Системы хранения данных (СХД)
Системы хранения являются платформами на которых строятся современные распределенные системы. Существует большое количество различных систем хранения данных, разработанных под различные сценарии использования. При выборе системы хранения необходимо рассмотреть множество различных факторов. Один из этих факторов - количество данных, которые необходимо обрабатывать учитывая стоимость и скорость обработки. Так же нужно учитывать способ доступа к обрабатываемым данным: получение всех данных за раз, последовательный доступ, произвольный доступ или потоковый по частям. Не маловажную роль играет тип данных, которые мы хотим хранить: бинарные данные (фото, видео), текстовые файлы и т д, вместе с пониманием, каким образом необходимо обновлять эти данные.
Виды сетевого доступа к хранилищу данных
Для корректной работы системы хранения данных необходимо выбрать способ хранения данных (блоки, файлы, объекты), и вид сетевого доступа. Рассмотрим подробнее варианты сетевого доступа к хранилищу
Как правило, используется три технологии:
- хранилище с прямым подключением (direct-attached storage)
- сетевое хранилище (network-attached storage)
- сеть хранения данных (storage area networks )
Хранилище с прямым подключением (DAS)
Исторически первый вариант подключения носителей, применяемый до сих пор. Накопитель, с точки зрения компьютера, в котором он установлен, используется монопольно, обращение с накопителем происходит поблочно, обеспечивая максимальную скорость обмена данными с накопителем с минимальными задержками. Также это наиболее дешевый вариант организации системы хранения данных, однако не лишенный своих недостатков. К примеру если нужно организовать хранение данных предприятия на нескольких серверах, то такой способ организации не позволяет совместное использование дисков разных серверов между собой, так что система хранения данных будет не оптимальной: некоторые сервера будут испытывать недостаток дискового пространства, другие же — не будут полностью его утилизировать. Конфигурации систем с единственным накопителем применяются чаще всего для нетребовательных нагрузок, обычно для домашнего применения. Для профессиональных целей, а также промышленного применения чаще всего используется несколько накопителей, объединенных в RAID-массив программно, либо с помощью аппаратной карты RAID для достижения отказоустойчивости и\или более высокой скорости работы, чем единичный накопитель. Также есть возможность организации кэширования наиболее часто используемых данных на более быстром, но менее емком твердотельном накопителе для достижения и большой емкости и большой скорости работы дисковой подсистемы компьютера.
Преимущества
- хранилище легко настраивать и администрировать
- высокая производительность
- сравнительно низкая стоимость
Недостатки
- реализуема только на выделенном сервере
- количество подключений ограничено: не более двух серверов
Сеть хранения данных (SAN)
Вместо прямого подключения дискам мы можем собрать их на одном сервере и предоставить к нему сетевой доступ. В данном сценарии индивидуальные машины видят хранилище как набор блоков хранения данных, при этом способ сопоставления этих блоков с физическими устройствами хранения остается скрытым. Так решается вопрос с утилизацией дискового пространства серверами, а также устраняются точки отказа, неизбежно присутствующие в системах хранения данных на основе DAS. Пространство для хранения данных рассматривается хостом как блочное устройство. Мы можем использовать файловую систему и сохранять данные, аналогично использованию локальных дисков. Сеть хранения данных может быть разбита на три уровня
- уровень хостинга (host layer): представляет собой серверы, подключенные к SAN
- уровень фабрик (fabrik layer): состоит из набора сетевых устройств таких как свитчи, роутеры, кабели и шлюзы
- уровень хранения (storage layer): содержит набор устройств для физического хранения данных
Преимущества
- высокая скорость работы
- возможность гибко настроить хранилище — например, интегрировать в единую сеть
- высокий уровень безопасности при обмене данными.
Недостатки
- сложная настройка
- высокая стоимость
Сетевое хранилище (NAS)
Преимущества
- низкая стоимость
- можно увеличить объем диска по необходимости
- простая настройка и управление
- доступ к файлам можно получить с любой операционной системы.
Недостатки
- данные можно хранить только в виде файлов
- некоторые приложения не совместимы с сетевыми дисками
- любые виды доступа к информации по сетевым протоколам работают медленнее в сравнении с другими вариантами
Классификация систем хранения
Рассмотрев способы доступа к хранилищу можно перейти к основным абстракциям, используемым разными типами хранилищ для доступа к данным. На высоком уровне системы хранения можно разделить на три большие группы
Block storage (блочное хранилище)
- File storage
- Object storage
Блочное хранилище
- клиент отправляет запрос серверу.
- сервер принимает запрос и ищет блок информации, которую нужно передать в ответе.
- сервер обращается к блоку по идентификатору и извлекает из него информацию, которую нужно передать в ответе.
- сервер отдает ответ клиенту
Блочное хранилище обычно развертывается с использованием сети хранения данных (SAN), которая представляет хранилище другим сетевым устройствам как будто блоки - локально подключенные устройства. Каждому серверу может быть предоставлен практически неограниченный размер диска. Пользователь видит этот диск в интерфейсе операционной системы сервера. Операционная система сервера может подключаться к блокам данных через высокоскоростные интерфейсы FC (Fiber Channel) или iSCSI.
Рассмотрим преимущества данного типа СХД:
- высокая производительность. Быстродействие блочной СХД позволяет работать с данными, которые требуют аппаратных вычислений;
- гибкая настройка. По мере роста объема данных можно добавлять новые тома с блоками, не теряя производительности
- просто управлять доступом к информации. Блочные СХД позволяют настроить любые виды доступа к данным
Возможные недостатки:
- ограниченный размер методанных (информация о типе файла). Это влияет на работу приложений, которые требовательны к метаданным
- высокая стоимость в сравнении с другими типами СХД
Интересно так же рассмотреть возможные сценарии использования данного типа хранилищ.
- Контейнеры. Разработчики используют блочное хранилище для хранения контейнерных приложений в облаке. Как и контейнеры, блочное хранилище одинаково гибкое, масштабируемое и эффективное. С помощью блочного хранилища разработчики могут легко переносить контейнеры между серверами, местоположениями и операционными средами
- Базы данных. Блочные хранилища позволяют создать надежную, масштабируемую и высокоэффективную базу данных. Поскольку каждый блок является автономным блоком, база данных работает оптимально даже при увеличении объема хранимых данных. Кроме того, отдельные блоки хранения могут размещаться на разных серверах, предотвращая узкие места доступа
- Аналитика и хранение данных. Блочное хранилище используется с архитектурой HDFS Hadoop (распределенная файловая система Hadoop) для хранения данных в виде независимо распределенных блоков, что обеспечивает производительность аналитических приложений Hadoop и Kafka
- Виртуальные машины. Блочное хранилище поддерживает популярные гипервизоры (уровень абстракции, отвечающий за выделение необходимой памяти, накопителя и вычислительных служб для работы вторичной операционной среды) виртуальных машин. Пользователи могут установить операционную систему, файловую систему и другие вычислительные ресурсы на блочном томе хранения. Для этого они форматируют том блочного хранилища и превращают его в файловую систему виртуальной машины. Это позволяет им легко увеличивать или уменьшать размер виртуального диска и переносить виртуализированное хранилище с одного хоста на другой.
Примеры блочных СХД:
AWS Elastic Block Storage
Azure Disk Storage
Google Persistent Disks
Файловое хранилище
Наиболее популярное абстракция для хранения данных. Построено над блочным хранилищем, предоставляя высокоуровневые абстракции для упрощения работы с файлами и директориями. Данные сохраняются в как фалы в иерархической структуре каталогов. Данный тип хранилища является наиболее распространенным решением для хранения данных общего назначения.
Как и в блочной СХД, в файловой системе каждому файлу присваивается идентификатор. Он включает в себя
- имя сервера, на котором расположен файл
- путь к файлу от корневой директории сервера
- имя файла
Файловая СХД имеет принципиальное отличие от других вариантов хранилищ — это разные уровни директорий, от которых зависит тип доступа к файлам. Рассмотрим эти уровни подробнее:
- одноуровневые директории - папки, которые находятся на одном уровне вложенности друг с другом. В одноуровневых директориях файлы доступны всем пользователям, однако в разных учетных записях нельзя хранить файлы с одинаковыми названиями
- двухуровневые директории - подпапки, которые вложены в корневую директорию. При такой организации файловой системы можно организовать индивидуальный доступ к файлами, а также хранить файлы с одинаковыми названиями в разных учетных записях
- древообразная модель - папки, которые имеют несколько уровней вложенности. Эта структура может сочетать в себе функционал одноуровневых и двухуровневых директорий.
Хранилище файлов может быть доступно большому количеству серверов с использованием таких сетевых протоколов как SMB/CIFS и NFS. Сервер, получая доступ к файлу, не должен касаться вопросов управления блоками, форматирования томов и т д. С точки зрения архитектуры данный тип хранилища может быть разбит на следующие уровни:
- физический уровень: предоставляет доступ к конкретным носителям информации таким как жесткие диски
- виртуальный уровень: на данном уровне используются различные файловые системы (EXT4, NTFS) для организации доступа и управления данными на физическом уровне
- логический уровень: множество виртуальных файловых систем может быть собрано в представление единой файловой системы для доступа к файлам
Можно выделить следующие преимущества данного типа СХД
- максимально простой функционал, который максимально приближен к интерфейсу графической операционной системы
- функция поиска, с помощью которой можно найти файл при любом уровне его вложенности
- низкая цена относительно других типов СХД
Одним из основных недостатков является ограниченное масштабирование. Чем больше файлов создается в системе, тем медленнее отклик сервера
Примеры файловых хранилищ:
AWS Elastic File System
Azure Files
Хранилища объектов
- Балансировщик загрузки (load balancer) - распределяет REST запросы по разным API сервисам
- API сервис - оркеструет удаленные вызовы между службой идентификации и доступа к данным, сервисом методанных и хранилищем
- Служба идентификации и доступа (Identity and access management) - Центральное место для аутентификации, авторизации и контроля доступа.
- Сервис методанных (metadata store) - хранит информацию о методанных объектов
- Хранилище данных (data store) - используется для сохранения и получения данных. Все операции, связанные с данными, основаны на идентификаторе объекта (UUID)
Можно выделить следующие преимущества данного типа СХД
- данные тип хранилища так же позволяет пользователям добиться неограниченной масштабируемости.
- простота использования
К недостаткам можно отнести
- относительно медленны доступ в сравнении с другими хранилищами (так как доступ осуществляется через REST API)
- невозможность использования хранилища для временного или горячего хранения данных из за неизменяемости хранимых объектов.
Примерами данного типа хранилищ являются
- AWS S3
- Google object storage
Сравнение разных типов СХД
| Блочное хранилище | Файловое хранилище | Хранилище объектов | |
| Возможность изменить контент | Да | Да | Нет (поддерживается версионирование объектов) |
| Консистентность | Строгая | Строгая | Строгая |
| Масштабируемость | Средняя | Высокая | Высокая |
| Производительность | От средней до очень высокой | От средней до высокой | От низкой до средней |
| Протоколы доступа к данным | SAS/iSCSI/FC | Standard file access, CIFS/SMB, and NFS | RESTful API |
| Стоимость поддержки | Высокая | От средней до высокой | Низкая |
| Хорошо подходит для | Виртуальные машины, базы данных | Доступ к файловой системе общего назначения | Бинарные данные, неструктурированные данные |







