StreamSQL - StreamSQL

StreamSQL это язык запросов, расширяющий SQL с возможностью обработки в реальном времени потоки данных. SQL в первую очередь предназначен для управления связи (также известные как таблицы), которые конечны сумки из кортежи (ряды). StreamSQL добавляет возможность манипулировать потоками, которые представляют собой бесконечные последовательности кортежей, которые не все доступны одновременно. Поскольку потоки бесконечны, операции над потоками должны быть монотонный. Запросы к потокам обычно являются «непрерывными», выполняются в течение длительных периодов времени и возвращают инкрементные результаты.

Язык StreamSQL обычно используется в контексте Система управления потоком данных (DSMS), для приложений, включая алгоритмическая торговля, аналитика рыночных данных, сетевой мониторинг, наблюдение, обнаружение и предотвращение электронного мошенничества, поток кликов аналитика и соответствие в реальном времени (противодействие отмыву денег, RegNMS, MiFID ).

Другие потоковые и непрерывные варианты SQL включают: StreamSQL.io, Kafka KSQL, SQLStreamBuilder, Потоковый процессор WSO2, SQLStreams, SamzaSQL, и Storm SQL.

Технические подробности

StreamSQL расширяет систему типов SQL для поддержки потоков в дополнение к таблицам. Введено несколько новых операций для управления потоками.

Выбор из потока -Стандарт ВЫБРАТЬ оператор может быть выдан против потока для вычисления функций (с использованием целевого списка) или фильтрации нежелательных кортежей (с использованием ГДЕ пункт). Результатом будет новый поток.

Соединение потока-отношения -Поток может быть объединен с отношением для создания нового потока. Каждый кортеж в потоке соединяется с текущим значением отношения на основе предиката для создания 0 или более кортежей.

Союз и слияние -Два или более потоков можно объединить путем их объединения или слияния. Объединение объединяет кортежи в строгом ФИФО порядок. Слияние более детерминировано, объединяя потоки в соответствии с ключом сортировки.

Окно и агрегирование -Поток может быть оконным для создания конечных наборов кортежей. Например, окно размером 5 минут будет содержать все кортежи за данный 5-минутный период. Определения окон могут допускать сложный выбор сообщений на основе значений поля кортежа. После создания конечного пакета кортежей можно применять такие аналитические данные, как количество, среднее, максимальное и т. Д.

Окно и соединение -Пару потоков также можно разделить на окна, а затем объединить. Кортежи в окнах соединения будут объединяться для создания результирующих кортежей, если они соответствуют предикату.

История

StreamSQL является производным от академических исследований Обработка потока событий, тесно связанный с сложная обработка событий. Во главе с Майкл Стоунбрейкер, команда из 30 профессоров и студентов над проектом Aurora вместе с 2001 по 2003 год работала над разработкой основных принципов StreamSQL.

На смену проекту «Аврора» пришел Проект Borealis. Borealis - это распределенная многопроцессорная версия Aurora.