GLite - GLite

Эта статья посвящена промежуточному программному обеспечению grid. Для режима модуляции ADSL G.lite см. ITU G.992.2.

gLite
GLite logo.png
Разработчики)EGEE
Стабильный выпуск
3.2 / 23 марта 2009 г.
Операционная системаНаучный Linux 3, 4 ,5
ТипГрид-вычисления
ЛицензияСотрудничество с EGEE 2004
Интернет сайтблестеть.cern.ch

gLite (произносится как «иди-лайт») - это промежуточное ПО проект компьютерного программного обеспечения для сеточные вычисления используется ЦЕРН LHC эксперименты и другие научные области. Он был реализован совместными усилиями более 80 человек в 12 различных академических и промышленных исследовательских центрах Европы. gLite обеспечивает основу для создания приложений, использующих распределенные вычислительные ресурсы и ресурсы хранения Интернет. Сервисы gLite были приняты более чем 250 вычислительными центрами и используются более чем 15000 исследователей в Европе и во всем мире.

История

После этапов прототипирования в 2004 и 2005 гг., Конвергенция с Вычислительная сетка LHC (LCG-2) был выпущен в мае 2006 года, когда был выпущен gLite 3.0, и стал официальным промежуточным программным обеспечением для Включение гридов для E-sciencE (EGEE), завершившийся в 2010 году.

Затем разработка промежуточного программного обеспечения gLite была взята на себя Европейская инициатива по промежуточному программному обеспечению, и теперь поддерживается как часть программного стека EMI.

Созданная EGEE инфраструктура распределенных вычислений теперь поддерживается Европейская грид-инфраструктура. Он управляет промежуточным программным обеспечением Grid, созданным в рамках «Европейской инициативы промежуточного программного обеспечения», многие компоненты которого получены из промежуточного программного обеспечения gLite.

Описание среднего ПО

Безопасность

Сообщество пользователей gLite сгруппировано в виртуальные организации (ВО).[1] Пользователь должен присоединиться к ВО, поддерживаемой инфраструктурой, в которой запущен gLite, чтобы пройти аутентификацию и получить разрешение на использование ресурсов сети.

Инфраструктура безопасности сети (GSI) в WLCG / EGEE обеспечивает безопасную аутентификацию и обмен данными в открытой сети.[2] GSI основан на шифровании с открытым ключом, X.509 сертификаты и Уровень защищенных гнезд (SSL) протокол связи с расширениями для единого входа и делегирования.

Чтобы аутентифицировать себя, пользователь должен иметь цифровой сертификат X.509, выданный центром сертификации (ЦС), которому доверяет инфраструктура, на которой запущено промежуточное ПО.

Авторизация пользователя на конкретном сетевом ресурсе может быть выполнена двумя разными способами. Первый более простой и основан на механизме сетки-карты. Второй способ основан на службе членства в виртуальной организации (VOMS) и механизме LCAS / LCMAPS, которые позволяют более детально определять привилегии пользователей.

Пользовательский интерфейс

Точкой доступа к gLite Grid является пользовательский интерфейс (UI). Это может быть любая машина, на которой у пользователей есть личная учетная запись и на которой установлен их сертификат пользователя. Из пользовательского интерфейса пользователь может быть аутентифицирован и авторизован для использования ресурсов WLCG / EGEE, а также может получить доступ к функциям, предлагаемым системами управления информацией, рабочей нагрузкой и данными. Он предоставляет инструменты CLI для выполнения некоторых основных операций с сеткой:

  • перечислить все ресурсы, подходящие для выполнения заданного работа;
  • подавать задания к исполнению;
  • отменить работу;
  • получить вывод готовых работ;
  • показать статус отправленных вакансий;
  • получать данные регистрации и бухгалтерского учета рабочих мест;
  • копировать, реплицировать и удалять файлы из Grid;
  • получать статус различных ресурсов из информационной системы.

Вычислительный элемент

Вычислительный элемент (CE) в терминологии Grid - это некоторый набор вычислительных ресурсов, локализованных на сайте (то есть в кластере, вычислительной ферме). CE включает Grid Gate (GG), который действует как общий интерфейс для кластера; локальная система управления ресурсами (LRMS) (иногда называемая пакетной системой) и сам кластер, совокупность рабочих узлов (WN), узлов, на которых выполняются задания.

В gLite 3.1 есть две реализации CE: LCG CE, разработанный EDG и используемый в LCG-22, и gLite CE, разработанный EGEE. Сайты могут выбирать, что устанавливать, а некоторые из них предоставляют оба типа. GG отвечает за прием заданий и отправку их для выполнения в WN через LRMS.

В gLite 3.1 поддерживаемые типы LRMS были OpenPBS / PBSPro, Платформа LSF, Мауи / Крутящий момент, BQS и Кондор, и Sun Grid Engine.[3]

Элемент хранения

Элемент хранения (SE) обеспечивает единообразный доступ к ресурсам хранения данных. Элемент хранения может управлять простыми дисковыми серверами, большими дисковыми массивами или ленточными системами хранения данных (MSS). Большинство сайтов WLCG / EGEE предоставляют по крайней мере один SE.

Элементы хранения могут поддерживать различные протоколы и интерфейсы доступа к данным. Проще говоря, GSIFTP (GSI-secure FTP) - это протокол для передачи файлов целиком, в то время как локальный и удаленный доступ к файлам осуществляется с помощью RFIO или gsidcap.

Большинство ресурсов хранения управляются Диспетчер ресурсов хранения (SRM), сервис промежуточного уровня, обеспечивающий такие возможности, как прозрачная миграция файлов с диска на ленту, закрепление файлов, резервирование места и т. Д. Однако разные SE могут поддерживать разные версии протокола SRM, и возможности могут различаться.

Используется ряд реализаций SRM с различными возможностями. Диспетчер пула дисков (DPM) используется только для довольно небольших SE с дисковым хранилищем, а CASTOR предназначен для управления крупномасштабным MSS с внешними дисками и внутренним ленточным хранилищем. dCache ориентирован как на MSS, так и на системы хранения больших дисковых массивов. Другие реализации SRM находятся в разработке, и сама спецификация протокола SRM также развивается.

Классические SE, не имеющие интерфейса SRM, обеспечивают простую дисковую модель хранения. Они находятся в процессе вывода из обращения.[когда? ]

Информационная служба

Информационная служба (IS) предоставляет информацию о ресурсах WLCG / EGEE Grid и их состоянии. Эта информация важна для работы всей сети, поскольку именно через IS обнаруживаются ресурсы. Опубликованная информация также используется для целей мониторинга и учета.

Большая часть данных, публикуемых в IS, соответствует схеме GLUE,[4] который определяет общую концептуальную модель данных, которая будет использоваться для мониторинга и обнаружения ресурсов Grid.

Информационная система, которая используется в gLite 3.1, наследует свои основные концепции от Globus. Служба мониторинга и обнаружения (МДС).[5] Однако GRIS и GIIS в MDS были заменены Индекс информации базы данных Беркли (BDII), который по сути OpenLDAP сервер, который обновляется внешним процессом.

Управление рабочей нагрузкой

Назначение системы управления нагрузкой (WMS)[6] состоит в том, чтобы принимать пользовательские задания, назначать их наиболее подходящим вычислительным элементам, записывать их статус и получать их выходные данные. Брокер ресурсов (RB) - это компьютер, на котором работают службы WMS.

Отправляемые задания описываются с использованием языка описания заданий (JDL), который указывает, например, какой исполняемый файл запускать и его параметры, файлы, которые необходимо переместить на рабочий узел и обратно, на котором выполняется задание, необходимые входные файлы сетки , а также любые требования к CE и Worker Node.

Выбор CE, на который будет отправлено задание, осуществляется в процессе, называемом сопоставлением, который сначала выбирает среди всех доступных CE те, которые соответствуют требованиям, выраженным пользователем, и которые близки к указанным входным файлам Grid. Затем он выбирает CE с наивысшим рангом, количество, полученное из информации статуса CE, которая выражает доброта CE (обычно это функция количества выполняемых заданий и заданий в очереди).

RB находит входные файлы Grid, указанные в описании задания, с помощью службы, называемой Data Location Interface (DLI), которая предоставляет общий интерфейс для каталога файлов. Таким образом, брокер ресурсов может взаимодействовать с каталогами файлов, отличными от LFC (при условии, что у них есть интерфейс DLI).

Самая последняя реализация WMS от EGEE позволяет отправлять не только отдельные задания, но и наборы заданий (возможно, с зависимостями между ними) гораздо более эффективным способом, чем старый LCG-2 WMS, и имеет много других новых возможностей. .

Наконец, служба ведения журнала и бухгалтерского учета (LB)[7] отслеживает задания, управляемые WMS. Он собирает события от многих компонентов WMS и записывает статус и историю задания.

Рекомендации

  1. ^ Фостер, Кессельман, Туеке, Анатомия грида: создание масштабируемых виртуальных организаций В архиве 2009-03-10 на Wayback Machine, Int. J. Прикладные программы для высокопроизводительных вычислений, 2001 г.
  2. ^ Инструментарий Globus 4.0, Обзор инфраструктуры безопасности сети В архиве 2008-04-20 на Wayback Machine
  3. ^ Опыт CESGA с системой пакетной обработки Grid Engine
  4. ^ OGF Возможности MDS 2.2 В архиве 2012-12-13 в Wayback Machine в версии Globus Toolkit 2.2
  5. ^ Рабочая группа по клею (КЛЕЙ)
  6. ^ Ф. Пачини, Руководство пользователя EGEE, WMS Сервис, ДАТАМАТ, 2005 г.
  7. ^ Руководство пользователя EGEE, Журнал услуг и бухгалтерский учет (L&B), CESNET, 2005 г.

внешняя ссылка

Программные компоненты

Некоторые компоненты и услуги gLite с участвующими партнерами: