Состоялся релиз распределённой СУБД rqlite 7.0, которая использует SQLite в качестве движка хранения и позволяет организовать работу кластера из синхронизированных между собой хранилищ. Из особенностей rqlite отмечается простота установки, развёртывания и сопровождения распределённого отказоустойчивого хранилища, чем-то похожего на etcd и Consul, но использующего реляционную модель работы с данными вместо формата ключ/значения. Код проекта написан на языке Go и распространяется под лицензией MIT.
Для поддержания всех узлов в синхронизированном состоянии используется алгоритм достижения консенсуса Raft. Rqlite использует оригинальную библиотеку SQLite и драйвер go-sqlite3, поверх которых запускается прослойка, обрабатывающая запросы клиентов, выполняющая репликацию на другие узлы и отслеживающая достижение консенсуса по выбору лидирующего узла.
Изменения в базу данных могут вноситься только узлом, который выбран в качестве лидирующего, но соединения с операциями записи могут направляться и к другим узлам кластера, которые вернут адрес лидера для повторения запроса (в следующей версии обещают добавить автоматический проброс обращения к лидеру). Главный упор делается на отказоустойчивость, поэтому СУБД масштабируется только по операциям чтения, а операции записи являются узким местом. Возможно запустить кластер rqlite из одного узла и такое решение может использоваться для организации доступа к SQLite поверх HTTP без предоставления отказоустойчивости.
Данные SQLite на каждом узле хранятся не в файле, а в памяти. На уровне слоя с реализацией протокола Raft ведётся журнал всех команд SQLite, приводящих к изменению базы данных. Данный журнал используется при репликации (репликация на уровне воспроизведения запросов на других узлах), при запуске нового узла или для восстановления после потери связности. Для сокращения размера журнала применяется автоматическая упаковка, которая запускается после заданного числа изменений и приводит к фиксации снимка, относительно которого начинает вестись новый журнал (состояние базы в памяти идентично снимку + накопившемуся журналу изменений).
Особенности rqlite:
В новом выпуске:
Для поддержания всех узлов в синхронизированном состоянии используется алгоритм достижения консенсуса Raft. Rqlite использует оригинальную библиотеку SQLite и драйвер go-sqlite3, поверх которых запускается прослойка, обрабатывающая запросы клиентов, выполняющая репликацию на другие узлы и отслеживающая достижение консенсуса по выбору лидирующего узла.
Изменения в базу данных могут вноситься только узлом, который выбран в качестве лидирующего, но соединения с операциями записи могут направляться и к другим узлам кластера, которые вернут адрес лидера для повторения запроса (в следующей версии обещают добавить автоматический проброс обращения к лидеру). Главный упор делается на отказоустойчивость, поэтому СУБД масштабируется только по операциям чтения, а операции записи являются узким местом. Возможно запустить кластер rqlite из одного узла и такое решение может использоваться для организации доступа к SQLite поверх HTTP без предоставления отказоустойчивости.
Данные SQLite на каждом узле хранятся не в файле, а в памяти. На уровне слоя с реализацией протокола Raft ведётся журнал всех команд SQLite, приводящих к изменению базы данных. Данный журнал используется при репликации (репликация на уровне воспроизведения запросов на других узлах), при запуске нового узла или для восстановления после потери связности. Для сокращения размера журнала применяется автоматическая упаковка, которая запускается после заданного числа изменений и приводит к фиксации снимка, относительно которого начинает вестись новый журнал (состояние базы в памяти идентично снимку + накопившемуся журналу изменений).
Особенности rqlite:
- Простота развёртывания кластера, без необходимости отдельной установки SQLite.
- Возможность быстро получить реплицированное SQL-хранилище.
- Готовность для использования в рабочих проектах (production-grade).
- Наличие HTTP(S) API, позволяющего обновлять данные в пакетном режиме и определять лидирующий узел кластера. Также предоставляется интерфейс командной строки и клиентские библиотеки для различных языков программирования.
- Наличие сервиса для определения других узлов, позволяющего создавать кластеры динамически.
- Поддержка шифрования обмена данных между узлами.
- Возможность настройки уровня проверки актуальности и согласованности данных при чтении.
- Опциональная возможность подключения узлов в режиме только для чтения, не принимающих участие в определении консенсуса и используемых для увеличения масштабируемости кластера по операциям чтения.
- Поддержка собственной формы транзакций на базе объединения команд в одном запросе (транзакции на базе BEGIN, COMMIT, ROLLBACK, SAVEPOINT и RELEASE не поддерживаются).
- Поддержка создания горячих резервных копий.
В новом выпуске:
- Добавлена поддержка автоматического кластеринга rqlite с использованием нового сервиса определения узлов, который может работать на базе распределённых хранилищ Consul и etcd. Сервис позволяет узлам rqlite автоматичкески находить друг друга - администратору достаточно запустить несколько узлов на разных серверах, указав общий адрес кластера Consul или etcd (например, "example.com:8500"), и узлы автоматически будут объединены в кластер. Лидирующий узел периодически обновляет в хранилище Consul или etcd информацию о своём адресе, что позволяет в последующем изменить лидера без необходимости перенастройки остальных узлов, а также добавлять новые узлы даже после изменения лидера. Поддержка старого сервиса определения узлов (Discovery mode), работающего на базе AWS Lambda, прекращена.
- В CLI интерфейсе разрешено указание сразу нескольких хостов - если первый узел окажется недоступен, будет осуществлено обращение к следующим хостам.
- Переработан код для разбора аргументов командной строки rqlited.
- Прекращено использование устаревшего пакета protobuf.
- Хранилище BoltDB, применяемое в реализации протокола Raft, заменено на bbolt, форк от проекта etcd.
