Presto (механизм запросов SQL) - Presto (SQL query engine)

Престо
Автор (ы) оригиналаМартин Траверсо, Дейн Сандстрем, Дэвид Филлипс, Эрик Хван
изначальный выпуск10 ноября 2013 г.; 7 лет назад (10 ноября 2013 г.)
Написано вЯва
Операционная системаКроссплатформенность
Стандарт (s)SQL
ТипХранилище данных
ЛицензияЛицензия Apache 2.0
Интернет сайтPrestodb.io
prestosql.io

Престо высокопроизводительный, распределенный SQL механизм запросов для больших данных. Его архитектура позволяет пользователям запрашивать различные источники данных, такие как Hadoop, AWS S3, Alluxio, MySQL, Кассандра, Кафка, и MongoDB. Можно даже запросить данные из нескольких источников данных в рамках одного запроса. Presto управляется сообществом программное обеспечение с открытым исходным кодом выпущен под Лицензия Apache.

История

Presto был первоначально разработан и разработан в Facebook для своих аналитиков данных, чтобы запускать интерактивные запросы к его большому хранилищу данных в Apache Hadoop. До Presto аналитики данных в Facebook полагались на Apache Hive для запуска аналитики SQL в их многопетабайтном хранилище данных. Улей был сочтен слишком медленным[1] для масштаба Facebook и Presto был изобретен, чтобы заполнить пробел в выполнении быстрых запросов. Первоначальная разработка началась в 2012 году и в том же году была развернута в Facebook. В ноябре 2013 года Facebook объявил о своем выпуске с открытым исходным кодом 2013 года.[1][2] В 2014, Netflix сообщили, что использовали Presto на 10 петабайты данных, хранящихся в Amazon Simple Storage Service (S3).[3]

В январе 2019 года было объявлено о создании Presto Software Foundation. Фонд - это некоммерческая организация, занимающаяся развитием распределенного механизма SQL-запросов Presto с открытым исходным кодом.[4][5]. Разработка Presto продолжается независимо с PrestoDB, поддерживаемым Facebook, и PrestoSQL, поддерживаемым Presto Software Foundation, с некоторым перекрестным обогащением кода.

В сентябре 2019 года Facebook пожертвовал PrestoDB Linux Foundation создание фонда Presto.[6] Ни создатели Presto, ни ведущие участники и коммиттеры не были приглашены присоединиться к этому фонду. [7]. Фонд имеет открытую и нейтральную модель управления, позволяющую Presto расширять и диверсифицировать свое сообщество.

Архитектура

Архитектура Presto очень похожа на классический система управления базами данных с помощью кластерные вычисления (MPP ). Его можно визуализировать как один узел-координатор, работающий синхронно с несколькими рабочими узлами. Клиенты отправляют операторы SQL, которые анализируются и планируются, после чего работникам планируются параллельные задачи. Рабочие совместно обрабатывают строки из источников данных и выдают результаты, которые возвращаются клиенту. По сравнению с оригиналом Apache Hive модель исполнения, в которой использовался Hadoop Уменьшение карты Механизм обработки каждого запроса, Presto не записывает промежуточные результаты на диск, что приводит к значительному увеличению скорости. Престо написано в Язык программирования Java.

Один запрос Presto может объединять данные из нескольких источников. Presto предлагает соединители для источников данных, включая файлы в Alluxio, Распределенная файловая система Hadoop, Amazon S3, MySQL, PostgreSQL, Microsoft SQL Server, Амазонка Redshift, Апач Куду, Апач Феникс, Апач Кафка, Apache Cassandra, Apache Accumulo, MongoDB и Redis. В отличие от других инструментов, специфичных для дистрибутива Hadoop, таких как Apache Impala, Presto может работать с любой разновидностью Hadoop или без нее. Presto поддерживает разделение вычислений и хранилища и может быть развернут как локально, так и в облако.

Смотрите также

Рекомендации

  1. ^ а б Джоаб Джексон (6 ноября 2013 г.). «Facebook переходит на открытый исходный код с механизмом запросов для больших данных». Компьютерный мир. Получено 26 апреля, 2017.
  2. ^ Джордан Новет (6 июня 2013 г.). «Facebook представляет движок Presto для запросов к хранилищу данных 250 ПБ». Гига Ом. Получено 26 апреля, 2017.
  3. ^ Ева Цзе, Чжэньсяо Луо, Незих Йигитбаси (7 октября 2014 г.). «Использование Presto на нашей платформе больших данных на AWS». Технический блог Netflix. Получено 26 апреля, 2017.CS1 maint: использует параметр авторов (связь)
  4. ^ «Создание фонда Presto Software Foundation для развития сообщества Presto с открытым исходным кодом». PRWeb. Получено 2019-02-01.
  5. ^ «Новый фонд Presto сигнализирует о росте для Big Data SQL Engine». Новый стек. 2019-01-31. Получено 2019-02-01.
  6. ^ «Facebook, Uber, Twitter и Alibaba образуют фонд Presto Foundation для масштабной распределенной обработки данных». Получено 2019-11-12.
  7. ^ "Какая связь между prestosql и prestodb?". 2019-11-22.


внешняя ссылка