База данных Lightning с отображением в память - Lightning Memory-Mapped Database
Эта статья содержит контент, который написан как Реклама.Июль 2018 г.) (Узнайте, как и когда удалить этот шаблон сообщения) ( |
Оригинальный автор (ы) | Говард Чу |
---|---|
Разработчики) | Симас |
изначальный выпуск | 24 ноября 2011 г. |
Стабильный выпуск | 0.9.26 / 11 августа 2020 |
Репозиторий | |
Написано в | C |
Операционная система | Unix, Linux, Windows, AIX, Солнце Солярис, SCO Unix, macOS, iOS |
Размер | 64 КБ |
Тип | Встроенная база данных |
Лицензия | Общественная лицензия OpenLDAP (разрешающая лицензия на программное обеспечение ) |
Интернет сайт | Symas |
База данных Lightning с отображением в память (LMDB) - это библиотека программного обеспечения который предоставляет высокопроизводительную встроенную транзакционную базу данных в виде хранилище ключей и значений. LMDB написан на C с Привязки API для нескольких языки программирования. LMDB хранит произвольные пары ключ / данные в виде байтовых массивов, имеет возможность поиска на основе диапазона, поддерживает несколько элементов данных для одного ключа и имеет специальный режим для добавления записей в конец базы данных (MDB_APPEND), который обеспечивает впечатляющую производительность записи. увеличить по сравнению с другими аналогичными магазинами.[1] LMDB не является реляционная база данных, это строго хранилище ключей и значений, например Berkeley DB и dbm.
LMDB также может использоваться одновременно в многопоточной или многопроцессорной среде с линейным масштабированием производительности чтения. Базы данных LMDB могут иметь только одну запись одновременно, однако в отличие от многих аналогичных баз данных ключ-значение, транзакции записи нет блокировать читателей, а также читатели не блокировать писателей. LMDB также необычен тем, что несколько приложений в одной системе могут одновременно открываться и использовать одно и то же хранилище LMDB в качестве средства для увеличения производительности. Кроме того, LMDB не требует журнала транзакций (тем самым повышая производительность записи за счет отсутствия необходимости записывать данные дважды), потому что он поддерживает целостность данных изначально.
История
Дизайн LMDB впервые был обсужден в сообщении 2009 г. OpenLDAP список рассылки разработчиков,[2] в контексте поиска решений проблемы управления кешем, вызванной зависимостью проекта от Berkeley DB. Конкретной целью было заменить несколько уровней конфигурации и кеширования, присущих конструкции Berkeley DB, единым автоматически управляемым кешем под контролем хоста. Операционная система.
Впоследствии началась разработка, первоначально как вилка аналогичной реализации из проекта OpenBSD ldapd.[3] Первая общедоступная версия появилась в репозитории исходного кода OpenLDAP в июне 2011 года.[4]
До ноября 2012 года проект назывался MDB, после чего был переименован во избежание конфликтов с существующим ПО.[5]
Техническое описание
Внутренне LMDB использует B + дерево структуры данных. Эффективность его конструкции и небольшие размеры имели непреднамеренный побочный эффект, заключающийся в обеспечении хорошей записи. спектакль также. LMDB имеет API похожий на Berkeley DB и dbm. LMDB рассматривает память компьютера как единое адресное пространство, совместно используемое несколькими процессами или потоками с использованием Общая память с копирование при записи семантика (исторически известная как одноуровневый магазин ). Из-за того, что большинство бывших современных вычислительных архитектур имеют ограничения адресного пространства 32-битной памяти, что налагает жесткое ограничение в 4 ГБ на размер любой базы данных, использующей такие методы, эффективность метода прямого отображения базы данных в одноуровневый магазин было строго ограничено. Однако современные 64-битные процессоры теперь в основном реализуют 48-битные адресные пространства, предоставляя доступ к 47-битным адресам или 128 терабайтам базы данных.[6] сделать базы данных, использующие разделяемую память, снова полезными в реальных приложениях.
Особые заслуживающие внимания технические особенности LMDB:
- Его использование B + дерево. Когда экземпляр LMDB находится в общей памяти, а B + дерево размер блока установлен равным размеру страницы ОС, доступ к хранилищу LMDB чрезвычайно эффективен с точки зрения памяти[7]
- Новые данные записываются без перезаписи или перемещения существующих данных. Это приводит к гарантированной целостности данных и надежность не требуя журналов транзакций или служб очистки.
- Предоставление уникального режима добавления-записи (MDB_APPEND)[1] который реализуется путем добавления новой записи непосредственно в конец B + дерево. Это уменьшает количество операций чтения и записи страницы, что приводит к значительному увеличению производительности, но требует, чтобы программист был ответственным за обеспечение того, чтобы ключи уже были отсортированы при сохранении в БД.
- Копирование при записи семантика помогает обеспечить целостность данных а также предоставление транзакционных гарантий и одновременного доступа для читателей без необходимости блокировки, даже со стороны текущего писателя. Новые страницы памяти, необходимые внутри во время модификации данных, выделяются посредством семантики копирования при записи базовой ОС: сама библиотека LMDB никогда фактически не изменяет старые данные, к которым обращаются читатели, потому что она просто не может этого сделать: любые обновления общей памяти автоматически создать полностью независимую копию записываемой страницы памяти.
- Поскольку LMDB отображается в памяти, он может возвращать непосредственный указатели на адреса памяти ключей и значений через свой API, что позволяет избежать ненужного и дорогостоящего копирования памяти. Это приводит к значительному увеличению производительности (особенно, когда сохраняемые значения чрезвычайно большие) и расширяет потенциальные варианты использования LMDB.
- LMDB также отслеживает неиспользуемые страницы памяти, используя B + дерево для отслеживания страниц, освобожденных (больше не нужных) во время транзакций. Отслеживая неиспользуемые страницы, полностью устраняется необходимость в сборке мусора (и на этапе сборки мусора, который потребляет циклы ЦП). Транзакции, которым требуются новые страницы, сначала получают страницы из этого неиспользуемого дерева свободных страниц; только после того, как они будут израсходованы, он расширится в ранее неиспользуемые области лежащего в основе файла с отображением памяти. В современной файловой системе с разреженный файл поддержка это помогает минимизировать фактическое использование диска.
Формат файла LMDB, в отличие от Berkeley DB, зависит от архитектуры. Это означает, что преобразование должно быть выполнено перед перемещением базы данных с 32-битной машины на 64-битную машину,[8] или между компьютерами разных порядок байтов.[9]
Параллелизм
LMDB нанимает мультиверсионный контроль параллелизма (MVCC) и позволяет нескольким потокам в нескольких процессах координировать одновременный доступ к базе данных. Читатели масштабируются линейно по дизайну. Хотя транзакции записи глобально сериализуются через мьютекс, транзакции только для чтения работают параллельно, в том числе при наличии транзакции записи, и полностью ждать бесплатно кроме первой доступной только для чтения транзакции в потоке. Каждый поток, считывающий из базы данных, получает право владения элементом в массиве общей памяти, который он может обновлять, чтобы указать, находится ли он в транзакции. Писатели сканируют массив, чтобы определить самую старую версию базы данных, которую транзакция должна сохранить, не требуя прямой синхронизации с активными читателями.
Спектакль
В 2011 году Google опубликовал программное обеспечение, позволяющее пользователям создавать микротестовые тесты для сравнения LevelDB производительность SQLite и Киотский кабинет в разных сценариях.[10] В 2012 году Symas добавил поддержку LMDB и Berkeley DB и сделал обновленное программное обеспечение для тестирования производительности общедоступным.[11] Полученные тесты показали, что LMDB превосходит все другие базы данных в операциях чтения и пакетной записи. SQLite с LMDB преуспел в операциях записи, особенно в синхронной / транзакционной записи.
Тесты показали, что основная файловая система оказывает большое влияние на производительность. JFS с внешним журналом работает хорошо, особенно по сравнению с другими современными системами, такими как Btrfs и ZFS.[12][13]Zimbra протестировала производительность back-mdb и back-hdb в OpenLDAP, при этом LMDB явно превосходит back-hdb на основе BDB.[14] Многие другие пользователи OpenLDAP наблюдали аналогичные преимущества.[15]
С момента первоначального тестирования производительности, проведенного в 2012 году, было проведено несколько последующих тестов с дополнительными ядрами базы данных для обоих приложений в памяти. [16] и на диске [17] рабочие нагрузки, характеризующие производительность нескольких процессоров и рекордные размеры. Эти тесты показывают, что производительность LMDB не имеет себе равных для всех рабочих нагрузок в памяти и превосходит все рабочие нагрузки чтения с привязкой к диску, а также с рабочими нагрузками записи с привязкой к диску с использованием записей большого размера. Код тестового драйвера впоследствии был опубликован на github.[18] и дальнейшее расширение базы данных.
Надежность
LMDB с самого начала разрабатывался для защиты от потери данных при сбоях системы и приложений. Его копирование при записи подход никогда не перезаписывает данные, которые используются в данный момент. Предотвращение перезаписи означает, что структура на диске / хранилище всегда действительна, поэтому сбои приложения или системы никогда не могут оставить базу данных в поврежденном состоянии. В режиме по умолчанию в худшем случае сбой может привести к потере данных из последней еще не зафиксированной транзакции записи. Даже при включенных всех асинхронных режимах это только катастрофический сбой ОС или отключение питания оборудования, а не просто сбой приложения, который потенциально может привести к повреждению данных.
Две академические статьи из Симпозиум USENIX OSDI[19] рассмотрены режимы отказа двигателей БД (включая LMDB) при внезапной потере мощности или сбое системы.[20][21] В статье Pillai et al. Не было обнаружено никаких сбоев в LMDB, которые могли бы произойти в рассматриваемых реальных файловых системах; единичный сбой, обнаруженный в исследовании LMDB, относится только к гипотетическим файловым системам.[22] Mai Zheng et al. paper утверждает, что указывает на ошибки в LMDB, но вывод зависит от того, используется ли fsync или fdatasync. Использование fsync решает проблему. Выбор fsync или fdatasync - это переключатель времени компиляции, который не является поведением по умолчанию в текущих сборках LMDB GNU / Linux, но используется по умолчанию в macOS, * BSD, Android и Windows. Поэтому сборки LMDB под GNU / Linux по умолчанию являются единственными уязвимыми для проблемы, обнаруженной исследователями zhengmai, однако LMDB может быть просто перестроен пользователями GNU / Linux для использования вместо этого fsync.[23]
При наличии поврежденной базы данных, например, созданной расплывание, LMDB может аварийно завершить работу. Автор LMDB считает, что этот случай вряд ли вызывает беспокойство, но тем не менее произвел частичное исправление в отдельной ветке.[24]
Лицензия с открытым исходным кодом
В июне 2013 г. Oracle изменил лицензию Berkeley DB (связанный проект) с лицензии Sleepycat на Стандартная общественная лицензия Affero,[25] тем самым ограничивая его использование в широком спектре приложений. Это вызвало Проект Debian чтобы исключить библиотеку начиная с 6.0. Также критиковалось, что эта лицензия не подходит для коммерческих распространителей. Возникла дискуссия о том, может ли такое же изменение лицензирования произойти с LMDB. Автор Говард Чу ясно дал понять, что LMDB является частью проекта OpenLDAP, у которого была лицензия стиля BSD до того, как он присоединился, и он останется таким же. Никакие авторские права никому не передаются при регистрации, что сделало бы такой шаг, как у Oracle, невозможным.[26][27][28][29][30][31][32][33][34]
Проблема с лицензией Berkeley DB привела к появлению основных дистрибутивов GNU / Linux, таких как Debian полностью отказаться от использования Berkeley DB, отдавая предпочтение LMDB.[35]
API и использование
Существуют оболочки для нескольких языков программирования, таких как C ++,[36][37] Ява,[38] Python,[39][40] Lua,[41] Идти,[42] Рубин,[43] Цель C,[44] Javascript,[45] C #,[46] Perl,[47] PHP,[48] Tcl[49] и Common Lisp.[50] Полный список оболочек можно найти на главном сайте.[51]
Говард Чу портировал SQLite 3.7.7.1 использовать LMDB вместо исходного B-дерево код, вызывающий конечный результат SQLightning.[52] Один процитированный тест на вставку из 1000 записей был в 20 раз быстрее (чем исходный SQLite с его реализацией B-Tree).[53] LMDB доступен в качестве резервного хранилища для других проектов с открытым исходным кодом, включая Cyrus SASL,[54] Хеймдаль Керберос,[55] и OpenDKIM.[56] Он также доступен в некоторых других проектах NoSQL, таких как MemcacheDB. [57] и Mapkeeper.[58]LMDB использовался для создания хранилища в памяти Redis сохранять данные на диске. Существующий бэкэнд в Redis в редких случаях проявлял патологическое поведение, и искали замену. Однако причудливый API LMDB подвергся критике, заставляя много кода кодировать для выполнения простых вещей. Однако его производительность и надежность во время тестирования были значительно лучше, чем у опробованных альтернативных серверных хранилищ.[59]
Независимый сторонний разработчик программного обеспечения использовал Python привязки к LMDB[60] в высокопроизводительной среде и опубликованы на известном сайте технических новостей Slashdot, как системе удалось успешно поддерживать 200 000 одновременных операций чтения, записи и удаления в секунду (всего 600 000 операций с базой данных в секунду).[61][62]
Актуальный список приложений, использующих LMDB, поддерживается на главном веб-сайте.[63]
Поддержка приложения
Многие популярные бесплатно программное обеспечение проекты распространяют или включают поддержку LMDB, часто в качестве основного или единственного механизма хранения.
- В Debian,[64] Ubuntu,[65] Fedora,[66] и OpenSuSE[67] операционные системы.
- OpenLDAP для которого LMDB был первоначально разработан через back-mdb.[68]
- Постфикс через lmdb_table адаптер.[69]
- PowerDNS, DNS-сервер, используемый Фонд Викимедиа.[нужна цитата ]
- CFEngine по умолчанию использует LMDB, начиная с версии 3.6.0.[70]
- Shopify используют LMDB в своей системе SkyDB.[71]
- Узел DNS высокопроизводительный DNS-сервер.
- Монеро криптовалюта с открытым исходным кодом, созданная в апреле 2014 года и ориентированная на конфиденциальность, децентрализацию и масштабируемость.
- Эндуро / X промежуточное ПО использует LMDB для дополнительного кэша микросервисов XATMI (SOA). Таким образом, для первого запроса вызывается фактическая служба, а в следующем запросе клиентский процесс считывает сохраненный результат непосредственно из LMDB.
Технические обзоры LMDB
LMDB по-новому использует хорошо известные методы информатики, такие как копирование при записи семантика и B + деревья чтобы обеспечить атомарность и надежность, а также производительность, которую трудно принять, учитывая относительную простоту библиотеки и отсутствие других подобных хранилище ключей и значений база данных предлагает те же гарантии или общую производительность, даже если авторы прямо указать в презентациях говорится, что LMDB оптимизирован для чтения, а не для записи. Кроме того, поскольку LMDB изначально разрабатывался для использования в OpenLDAP его разработчики в основном сосредоточены на разработке и сопровождении OpenLDAP, а не на LMDB как таковом. Поэтому ограниченное время, потраченное разработчиками на представление результатов первых тестов, было подвергнуто критике за то, что оно не указывало на ограничения и производило «впечатление серебряной пули», не отвечающее позиции инженеров.[72] (Следует отметить, что возникшие опасения, однако, были позже адекватно рассмотрены, к удовлетворению рецензента, ключевым разработчиком LMDB.[73][74])
Презентация подтолкнула других разработчиков баз данных к тщательному анализу кода, чтобы понять, как и почему он работает. Обзоры бегут от кратких [75] в глубину. Разработчик баз данных Орен Эйни написал серию статей из 12 частей, посвященных его анализу LMDB, начиная с 9 июля 2013 года. Вывод был таким: «впечатляющая кодовая база ... очень нуждается в любви», в основном из-за слишком длинных методов и дублирование кода.[76] Этот обзор проведен разработчиком .NET, не имеющим опыта C, завершился 22 августа 2013 года словами: «Помимо моих проблем с кодом, реализация действительно великолепна. То, как LMDB удается упаковать столько функциональности, не выполняя никаких действий, впечатляет ... Я многому научился из проекта , и это было разочаровывающим, раздражающим и увлекательным опытом "[77]
Множество других обзоров касаются LMDB[78] на разных языках, включая китайский.[79][80]
Рекомендации
- ^ а б Справочное руководство LMDB В архиве 2014-10-20 на Wayback Machine. Проверено 19 октября 2014 г.
- ^ back-mdb - фьючерсы. Проверено 19 октября 2014 г.
- ^ MDB: база данных с отображением в память и бэкэнд для OpenLDAP. Проверено 22 октября 2018 г.
- ^ Первая публичная версия исходного кода MDB. Проверено 16 марта 2020 г.
- ^ MDB переименован в LMDB. Проверено 16 марта 2020 г.
- ^ Чу, Ховард (2011). MDB: база данных с отображением в память и бэкэнд для OpenLDAP (PDF). LDAPCon..
- ^ B + tree # Реализация
- ^ «Формат файла LMDB». Отдельное беспокойство. Получено 27 февраля 2020.
- ^ Чу, Ховард. «lmdb - Переносима ли база данных блокчейна Monero между 32- и 64-битными архитектурами и архитектурами с прямым / прямым порядком байтов?». Обмен стеков Monero.
- ^ "Тесты LevelDB". Google, Inc. Архивировано с оригинал 20 августа 2011 г.. Получено 8 августа 2014.
- ^ Чу, Ховард. «Базы данных Microbenchmarks». Symas Corp. Архивировано из оригинал 9 августа 2014 г.. Получено 8 августа 2014.
- ^ «Тесты MDB Microbenchmarks». Symas Corp., 2012-09
- ^ Базы данных Microbenchmarks, Symas Corp., 2012-07.
- ^ «OpenLDAP MDB против производительности HDB». Zimbra, Inc.
- ^ «OpenLDAP: Сравнение производительности back-mdb и back-hdb». 16 мая 2013. Получено 8 мая 2017.
- ^ Чу, Ховард. «Микротест в памяти». Symas Corp. Архивировано из оригинал на 2014-12-09. Получено 2014-12-06.
- ^ Чу, Ховард. «Микробенчмарк на диске». Symas Corp. Архивировано из оригинал на 2014-12-09. Получено 2014-12-06.
- ^ «Драйверы для тестов».
- ^ «OSDI 2014». 2013-02-08.
- ^ Langston, Mark C .; Скелли, Хэл (2014). OSDI 2014, Все файловые системы не созданы равными: о сложности создания приложений, устойчивых к сбоям. С. 433–448. ISBN 9781931971164.
- ^ Langston, Mark C .; Скелли, Хэл (2014). OSDI 2014, Истязание баз данных ради развлечения и прибыли. С. 449–464. ISBN 9781931971164.
- ^ «Архив обсуждений документа Usenix 2014 pillai».
- ^ «Обсуждение согласованности сбоев LMDB».
- ^ Дебру, Лайонел (16 июня 2018 г.). "oss-security - Развлечение с базами данных типа DBM ..." openwall.com.
- ^ "Объявление о выпуске Berkeley DB". Корпорация Oracle.
Начиная с выпусков 6.0 / 12c, все продукты Berkeley DB находятся под лицензией GNU AFFERO GENERAL PUBLIC LICENSE (AGPL), версия 3. Эта лицензия опубликована Free Software Foundation (FSF) (1) и одобрена Open Source Initiative. (2). Перед обновлением до версии 12c ознакомьтесь с условиями лицензии, чтобы убедиться в их соответствии. Предыдущие выпуски программного обеспечения Berkeley DB будут по-прежнему распространяться по лицензии Sleepycat.
- ^ Ондржей Суры (2 июля 2013 г.). "Изменение лицензии Berkeley DB 6.0 на AGPLv3". debian-devel (Список рассылки). Debian.
- ^ Саймон Фиппс (5 июля 2013 г.). "Oracle меняет лицензию Berkeley DB". InfoWorld.
- ^ «Oracle незаметно переключает BerkeleyDB на AGPL». Slashdot.
- ^ "Oracle меняет лицензию Berkeley DB" [Изменения в лицензии Oracle Berkeley DB]. Программисты в Украине (на русском). Blogspot. 22 июля 2013 г.
- ^ Жан Эльян (8 июля 2013 г.). "Oracle перешла к лицензии Berkeley DB по лицензии GNU AGPL" [Oracle Berkeley DB проходит под GNU AGPL] (на французском языке). Le Monde Informatique.
- ^ Ондржей Суры (2 июля 2013 г.). "Berkeley DB 6.0 выдана под лицензией AGPLv3" [Berkeley DB 6.0 выпущен под лицензией GPLv3] (на чешском языке). Abclinuxu.
- ^ Натан Уиллис (10 июля 2013 г.). "Debian, Berkeley DB и AGPLv3". LWN.net.
- ^ Дэн Ширер (2 июля 2013 г.). "Изменение лицензии Berkeley DB 6.0 на AGPLv3". debian-devel (Список рассылки). Debian.
- ^ Ховард Чу (2 июля 2013 г.). "Изменение лицензии Berkeley DB 6.0 на AGPLv3". debian-devel (Список рассылки). Debian.
- ^ Ондржей Суры (19 июня 2014 г.). «Новая цель проекта: избавиться от Berkeley DB (пост Джесси)». debian-devel (Список рассылки). Debian.
- ^ Обертка LMDB C ++ 11, 2015-04
- ^ Обертка LMDB C ++, 2012-11.
- ^ LmdbJava, 2019-04
- ^ Оболочка LMDB Python, 2013-02
- ^ py-lmdb. Проверено 20 октября 2014.
- ^ Обертка LMDB Lua, 2013-04.
- ^ Обертка LMDB Go, 2013-04
- ^ Оболочка LMDB Ruby, 2013-02
- ^ Оболочка LMDB Objective-C, 2013-04
- ^ Обертка LMDB Node.js, 2013-05
- ^ Обертка LMDB .Net, 2013-06
- ^ Оболочка LMDB Perl, 2013-08
- ^ Оболочка LMDB PHP, 2015-04
- ^ tcl-lmdb, 2015-11
- ^ Использование LMDB из Common Lisp, 2016-04
- ^ «Список оболочек API для LMDB».
- ^ "gitorious.org Git - mdb: sqlightning.git / summary". gitorious.org. Архивировано из оригинал 9 августа 2013 г.. Получено 8 мая 2017.
- ^ SQLightning тесты.
- ^ "Cyrus IMAP - документация Cyrus IMAP 3.0.1 (стабильная)". cyrusimap.web.cmu.edu. Архивировано из оригинал 30 апреля 2017 г.. Получено 8 мая 2017.
- ^ «Хеймдаль». h5l.org. Получено 8 мая 2017.
- ^ «OpenDKIM». www.opendkim.org. Получено 8 мая 2017.
- ^ "gitorious.org Git - mdb: memcachedb.git / summary". gitorious.org. Получено 8 мая 2017.
- ^ "m1ch1 / mapkeeper". GitHub. Получено 8 мая 2017.
- ^ "Второй удар молнии". Якорь. 2013-05-09.
- ^ "Привязки Python к LMDB".
- ^ «Python-LMDB в высокопроизводительной среде на Slashdot».
- ^ «Открытое письмо Говарду Чу и Дэвиду Уилсону относительно Python-LMDB».
- ^ «Список проектов, использующих LMDB».
- ^ liblmdb0 в Debian. Проверено 20 октября 2014.
- ^ [email protected], Ронда Д'Вайн. «Ubuntu - Результаты поиска пакетов - lmdb-utils». packages.ubuntu.com. Получено 2 января 2018.
- ^ LMDB в Fedora 20. Проверено 20 октября 2014.
- ^ lmdb в OpenSUSE. Проверено 20 октября 2014.
- ^ Back-mdb OpenLDAP. Проверено 20 октября 2014 г.
- ^ Постфикс lmdb_table (5). Проверено 20 октября 2014 г.
- ^ «Документация CFEngine 3.6 - Новое в CFEngine». docs.cfengine.com. Получено 8 мая 2017.
- ^ "Группы Google". groups.google.com. Получено 8 мая 2017.
- ^ "LMDB: Убийца Leveldb?".
- ^ "Ответ на обзор LMDB". 2013-08-19.
- ^ LMDB: Убийца Leveldb?. Проверено 20 октября 2014.
- ^ «База данных с отображением памяти Lightning».
- ^ «Проверка библиотеки базы данных Lightning с отображением в память: частичная».
- ^ "Несколько заключительных замечаний по обзору LMDB".
- ^ «LMDB». Сампатх Херга. Архивировано из оригинал в 2013-08-29. Получено 2013-08-30.
- ^ "lmdb".
- ^ "lmdb". Архивировано из оригинал 5 марта 2016 г.. Получено 8 мая 2017.