InfiniBand - InfiniBand

InfiniBand (IB) - это стандарт компьютерных сетевых коммуникаций, используемый в высокопроизводительные вычисления это очень высокий пропускная способность и очень низкий задержка. Он используется для передачи данных между компьютерами и внутри них. InfiniBand также используется как прямое или переключаемое соединение между серверами и системами хранения, а также как соединение между системами хранения. Он предназначен для масштабируемый и использует коммутируемая ткань топология сети.

По состоянию на 2014 г.^{[Обновить]}, это было наиболее часто используемым межсоединением в суперкомпьютерах. Mellanox производит InfiniBand адаптеры главной шины и сетевые коммутаторы, а в феврале 2016 г. сообщалось, что Корпорация Oracle разработала собственные коммутаторы InfiniBand и микросхемы серверных адаптеров для использования в собственных линейках продуктов и третьими сторонами.^[1] Карты Mellanox IB доступны для Солярис, FreeBSD,^[2][3] RHEL, SLES, Windows, HP-UX, VMware ESX,^[4] и AIX.^[5]

Как межсоединение IB конкурирует с Ethernet, Fibre Channel, и Intel Омни-Путь.

Технология продвигается Торговая ассоциация InfiniBand.

Технические характеристики

Спектакль

Характеристики

		SDR	DDR	QDR	FDR10	FDR	EDR	HDR	Отчет о недоставке	XDR
Скорость передачи (Гбит / с)		0002.5	0005	0010	0010.3125	0014.0625[6]	0025.78125	0050	0100	0250
Теоретическая эффективный пропускная способность (Гбит / с )[7]	для 01 ссылкаs	0002	0004	0008	0010	0013.64	0025	0050	0100	0250
	для 04 ссылки	0008	0016	0032	0040	0054.54	0100	0200	0400	1000
	для 08 ссылок	0016	0032	0064	0080	0109.08	0200	0400	0800	2000
	для 12 ссылок	0024	0048	0096	0120	0163.64	0300	0600	1200	3000
Кодировка (биты )		8b / 10b			64b / 66b				t.b.d.	t.b.d.
Задержка адаптера (мкс )[8]		0005	0002.5	0001.3	0000.7	0000.7	0000.5	Меньше?	t.b.d.	t.b.d.
Год[9]		2001, 2003	2005	2007	2011	2011	2014[7]	2017[7]	после 2020	после 2023 г.?

Ссылки можно агрегировать: в большинстве систем используется 4-кратное агрегирование. Ссылки 8 × и 12 × обычно используются для кластер и суперкомпьютер межблочные и межблочныепереключатель соединения.

InfiniBand также предоставляет RDMA возможности для снижения нагрузки на ЦП.

Топология

InfiniBand использует коммутируемая ткань топология, в отличие от ранней общей среды Ethernet. Все передачи начинаются или заканчиваются на адаптере канала. Каждый процессор содержит адаптер канала хоста (HCA), а каждое периферийное устройство имеет адаптер целевого канала (TCA). Эти адаптеры также могут обмениваться информацией в целях безопасности или качество обслуживания (QoS).

Сообщения

InfiniBand передает данные пакетами размером до 4 КБ, которые собираются вместе для формирования сообщения. Сообщение может быть:

• а удаленный прямой доступ к памяти читать или писать
• а канал отправить или получить
• операция на основе транзакции (которая может быть отменена)
• а многоадресная передача коробка передач
• ан атомная операция

Физическое соединение

Коммутатор InfiniBand с разъемами CX4 / SFF-8470

Помимо подключения форм-фактора платы, он может использовать как активную, так и пассивную медь (до 10 метров) и оптоволоконный кабель (до 10 км).^[10] QSFP разъемы используются.

Ассоциация InfiniBand также указала CXP система разъемов для скоростей до 120 Гбит / с по медным, активным оптическим кабелям и оптическим трансиверам с использованием параллельных многомодовых оптоволоконных кабелей с 24-волоконными разъемами MPO.^{[нужна цитата ]}

API

InfiniBand не имеет стандарта API. В стандарте перечислен только набор глаголов, например ibv_open_device или ibv_post_send, которые являются абстрактными представлениями функций или методов, которые должны существовать. Синтаксис этих функций оставлен на усмотрение поставщиков. Иногда для справки это называется глаголы API. Стандартный программный стек de facto разработан Альянс OpenFabrics. Выпускается под двумя лицензиями GPL2 или Лицензия BSD для GNU / Linux и FreeBSD, а также как Mellanox OFED для Windows (названия продуктов: WinOF / WinOF-2; атрибутируется как драйвер хост-контроллера для сопоставления конкретных устройств ConnectX 3–5)^[11] по выбору лицензии BSD для Windows. Он был принят большинством поставщиков InfiniBand для GNU /Linux, FreeBSD, и Windows. IBM заявляет об этом в своем центре знаний на глаголы API:

An AIX ® приложение может определять API глаголов, который является либо Open Fabrics Enterprise Distribution (OFED ) или AIX InfiniBand (IB), которые должны связываться с определенным адресатом.^[12]

В презентации Mellanox Technologies, датированной 2014 годом, с заголовком «Учебник по программированию глаголов» на странице 31 говорится:^[13]

• libibverbs, разработанные и поддерживаемые Roland Dreier с 2006 года, де-факто являются стандартом API глаголов в * nix
  • Разработан как Открытый исходный код
  • Ядро части глаголов интегрировано в Ядро Linux с 2005 г. - ядро ​​2.6.11
  • Входящие в нескольких дистрибутивах * nix
  • Существуют низкоуровневые библиотеки от нескольких поставщиков аппаратного обеспечения.

История

InfiniBand возник в 1999 году в результате слияния двух конкурирующих проектов: Future I / O и Next Generation I / O. Это привело к созданию InfiniBand Trade Association (IBTA), в которую вошли Compaq, Dell, Hewlett Packard, IBM, Intel, Microsoft, и солнце. В то время считалось, что некоторые из более мощных компьютеров приближаются к узкое место в межсоединении из PCI автобус, несмотря на обновления вроде PCI-X.^[14] Версия 1.0 спецификации архитектуры InfiniBand была выпущена в 2000 году. Первоначально видение IBTA для IB было одновременно заменой PCI в вводе / выводе, Ethernet в машинное отделение, кластер соединить и Fibre Channel. IBTA также предусмотрела декомпозицию серверного оборудования на IB. ткань. После всплеска пузырь доткомов В отрасли не решались вкладывать средства в такой далеко идущий технологический скачок.^[15]

Лента новостей

• 2001: Mellanox поставляет устройства InfiniBridge 10 Гбит / с и поставляет более 10 000 портов InfiniBand.^[16]
• 2002: внедрение терпит неудачу, когда Intel объявляет, что вместо поставки чипов IB она сосредоточится на разработке PCI Express, а Microsoft прекращает разработку IB в пользу расширения Ethernet, хотя Sun и Hitachi продолжать поддерживать ИБ.^[17]
• 2003: Технологический институт Вирджинии строит кластер InfiniBand, занимающий третье место в рейтинге Топ500 в это время.
• 2004: IB начинает рассматривать внедрение как кластерное межсоединение, превосходящее Ethernet по задержкам и цене.^[15] В Альянс OpenFabrics разрабатывает стандартизированный программный стек InfiniBand на базе Linux. В следующем году Linux добавляет поддержку IB.^[18]
• 2005: IB начинает реализовываться как межсоединение для устройств хранения.^[19]
• 2009 г .: из 500 лучших суперкомпьютеров в мире Gigabit Ethernet является внутренней технологией межсоединений в 259 установках по сравнению с 181, использующим InfiniBand.^[20]
• 2010: Лидеры рынка Mellanox и Voltaire объединяются, в результате чего остается только один поставщик IB. QLogic, прежде всего поставщик Fibre Channel.^[21] Oracle делает крупные инвестиции в Mellanox.
• 2011: Коммутаторы и адаптеры FDR анонсированы на Международная конференция по суперкомпьютерам.^[22]
• 2012: Intel приобретает технологию InfiniBand от QLogic.^[23]
• 2016: Корпорация Oracle производит собственные межкомпонентные микросхемы и блоки коммутации InfiniBand.^[24]
• 2019: Nvidia приобрел Mellanox за 6,9 млрд долларов^[25]

Ethernet через InfiniBand

Ethernet через InfiniBand, сокращенно EoIB, представляет собой реализацию Ethernet по протоколу InfiniBand и технологии соединителей.

EoIB обеспечивает несколько полос пропускания Ethernet, различающихся в версии InfiniBand (IB).

Реализация Ethernet Пакет Интернет-протокола, обычно называемый TCP / IP, отличается от некоторых реализаций, используемых поверх протокола InfiniBand в IP over IB (IPoIB).

Производительность Ethernet через InfiniBand

Тип	Переулки	Пропускная способность (Гбит / с)	Совместимый тип (ы) Ethernet	Совместимое количество Ethernet
SDR	001	0002.5	GbE до 2,5 GbE	0От 2 x GbE до 1 x 02,5 Гбит / с
	004	0010	GbE на 10 GbE	От 10 x GbE до 1 x 10 GbE
	008	0020	GbE на 10 GbE	От 20 x GbE до 2 x 10 GbE
	012	0030	GbE на 25 GbE	От 30 x GbE до 1 x 25 GbE + 1 x 05 GbE
DDR	001	0005	GbE до 5 GbE	0От 5 x GbE до 1 x 05 GbE
	004	0020	GbE на 10 GbE	От 20 x GbE до 2 x 10 GbE
	008	0040	GbE на 40 GbE	От 40 x GbE до 1 x 40 GbE
	012	0060	GbE на 50 GbE	От 60 x GbE до 1 x 50 GbE + 1 x 10 GbE
QDR	001	0010	GbE на 10 GbE	От 10 x GbE до 1 x 10 GbE
	004	0040	GbE на 40 GbE	От 40 x GbE до 1 x 40 GbE

Смотрите также

• 100 Гбит Ethernet
• Расширения iSCSI для RDMA
• iWARP
• Список битрейтов интерфейса
• Оптическая связь
• Параллельный оптический интерфейс
• Протокол SCSI RDMA

использованная литература

1. «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand». 23 февраля 2016.
2. «Mellanox OFED для FreeBSD». Mellanox. Получено 19 сентября 2018.
3. Mellanox Technologies (3 декабря 2015 г.). "Руководство по интерфейсам ядра FreeBSD, mlx5en". Страницы руководства FreeBSD. FreeBSD. Получено 19 сентября 2018.
4. «Карты InfiniBand - Обзор». Mellanox. Получено 30 июля 2014.
5. «Внедрение InfiniBand в IBM System p (IBM Redbook SG24-7351-00)» (PDF).
6. https://cw.infinibandta.org/document/dl/7260
7. «Архивная копия». Архивировано из оригинал на 2011-09-29. Получено 2009-10-27.
8. http://www.hpcadvisorycouncil.com/events/2014/swiss-workshop/presos/Day_1/1_Mellanox.pdf // Mellanox
9. Панда, Дхабалешвар К .; Саянтан Сур (2011). «Ускорение скорости сети с помощью IB и HSE» (PDF). Проектирование облачных и сетевых вычислительных систем с InfiniBand и высокоскоростным Ethernet. Ньюпорт-Бич, Калифорния, США: CCGrid 2011. стр. 23. Получено 13 сентября 2014.
10. «Спецификация FAQ». ITA. Архивировано из оригинал 24 ноября 2016 г.. Получено 30 июля 2014.
11. Mellanox OFED для Windows - WinOF / WinOF-2
12. API глаголов
13. Учебник по программированию глаголов
14. Пентакалос, Одиссей. «Введение в архитектуру InfiniBand». О'Рейли. Получено 28 июля 2014.
15. Ким, Тед. «Краткая история InfiniBand: шумиха к прагматизму». Oracle. Архивировано из оригинал 8 августа 2014 г.. Получено 28 июля 2014.
16. "Лента новостей". Mellanox Technologies. Получено 28 июля 2014.
17. «Sun подтверждает приверженность InfiniBand». Реестр. Получено 28 июля 2014.
18. «Ядро Linux 2.6.11 поддерживает InfiniBand». Получено 29 июля 2014.
19. "InfiniBand готов к возвращению?", Информационный центр, 10 (2)
20. Лоусон, Стивен. «Два конкурирующих суперкомпьютера побеждают за первое место». КОМПЬЮТЕРНЫЙ МИР. Получено 29 июля 2014.
21. Раффо, Дэйв. «Крупнейшие поставщики InfiniBand объединяются; конвергентные сети на глаз». Получено 29 июля 2014.
22. "Mellanox демонстрирует улучшенную версию InfiniBand". ИТ-директор. 20 июня 2011 г.. Получено 1 августа 2011.
23. «Intel внедряет технологию InfiniBand, линейку продуктов от QLogic». HPCwire. 23 января 2012 г.. Получено 2012-01-27.
24. «Oracle разрабатывает собственные межкомпонентные соединения InfiniBand». Следующая платформа. Получено 2016-02-24.
25. https://nvidianews.nvidia.com/news/nvidia-to-acquire-mellanox-for-6-9-billion

внешние ссылки

• Керр, Грегори (2011), Анализ небольшого приложения InfiniBand с помощью API Verbs, arXiv:1105.1827, Bibcode:2011arXiv1105.1827K