Компания Amazon объявила о покупке компании DuckLabs, развивающей открытую СУБД DuckDB. Процесс поглощения завершён 31 августа, сумма сделки не разглашается. Команда разработчиков DuckDB присоединится к AWS и продолжит работу над технологиями DuckDB под руководством сооснователей компании DuckLabs.
Наработки DuckDB планируют использовать для модернизации, упрощения и повышения эффективности аналитического стека, предлагаемого в платформе AWS. Сервис Amazon S3 намерены превратить в хранилище со встроенными возможностями для анализа данных. Кодовая база DuckDB продолжит развиваться в форме открытого проекта, распространяемого под лицензией MIT и курируемого некоммерческой организацией DuckDB Foundation. Отмечается, что присоединение к AWS расширит аудиторию пользователей DuckDB и позволит получить дополнительные ресурсы для реализации новых идей по масштабированию СУБД.
СУБД DuckDB концептуально напоминает SQLite и сочетает такие свойства, как компактность, подключение в форме встраиваемой библиотеки, хранение БД в одном файле и CLI-интерфейс, с возможностями и оптимизациями для выполнения аналитических запросов, охватывающих значительную часть хранимых данных, например, выполняющих агрегирование всего содержимого таблиц или слияние нескольких больших таблиц. СУБД поддерживает расширенный диалект языка SQL, включающий дополнительные возможности для обработки сложных, длительно выполняемых и вложенных запросов.
Проектом используется оболочка из SQLite, парсер из PostgreSQL, компонент Date Math из MonetDB, своя реализация оконных функций (на базе алгоритма Segment Tree Aggregation), обработчик регулярных выражений на основе библиотеки RE2 (github.com), собственные оптимизатор запросов, MVCC-механизм управления одновременным выполнением заданий (Multi-Version Concurrency Control), а также векторизованный движок выполнения запросов на базе алгоритма Hyper-Pipelining Query Execution, позволяющий в одной операции разом обрабатывать большие наборы значений.
