Интерфейс сетевого устройства - Network Device Interface

NDI
Стабильный выпуск
4.5
Интернет сайтОфициальный сайт

Интерфейс сетевого устройства (NDI) - это стандарт бесплатного программного обеспечения, разработанный NewTek чтобы продукты, совместимые с видео, могли общаться, доставлять и получать видео высокой четкости через компьютерная сеть качественно и с малой задержкой, покадровый и подходит для переключения в живую производственную среду.

Технологии

NDI предназначен для переезда гигабитный Ethernet,[1] с кодеком NDI[2] Ожидается, что будет доставлять видео 1080i HD со скоростью передачи данных VBR, как правило, около 100 Мбит / с.[3]

По умолчанию NDI использует mDNS (Bonjour / Зероконф ) механизм обнаружения для объявления источников в локальной сети, так что принимающие устройства NDI могут автоматически обнаруживать и предлагать эти источники, хотя 2 других режима обнаружения (NDI Access, NDI Discovery Server) позволяют выполнять операции через подсети, и без mDNS. Источники создаются с использованием произвольно выбранного TCP-порта из диапазона портов на хосте отправки NDI. Когда источник запрашивается, TCP-соединение устанавливается на соответствующем порту с получателем NDI, подключающимся к отправителю NDI. NDI 3.x может использовать многоадресную или одноадресную рассылку UDP с упреждающее исправление ошибок (FEC) вместо TCP и может баланс нагрузки потоки через несколько контроллеры сетевого интерфейса Сетевые карты без использования агрегирование ссылок. NDI 4.0 вводит соединения с несколькими TCP.

NDI передает видео, многоканальный несжатый звук[нужна цитата ] и метаданные. Сообщения метаданных могут отправляться в обоих направлениях, что позволяет отправителю и получателю сообщать друг другу через соединение с произвольными метаданными в XML форма.[4] Эта направленная система метаданных позволяет использовать такие функции, как активные счетная информация вернулись к источникам, чтобы понять, что они в эфире (программа / превью). NDI также позволяет отправителям определять количество подключенных получателей, чтобы они могли пропустить ненужную обработку и использование полосы пропускания сети, когда нет подключенных клиентов-получателей NDI. Приемники NDI могут выбрать подключение к различным комбинациям потоков для поддержки таких вещей, как подключения только для аудио или только для метаданных, где видео не требуется.

NDI комплект для разработки программного обеспечения (SDK) доступен для Windows, Linux и macOS,[5] а также был перенесен на iOS, tvOS,[6] Android, Raspberry Pi и FPGA.[7][8] SDK доступен по бесплатному проприетарный лицензия.[9]

Сравнение распространенных протоколов IP-видео

Другие протоколы IP-видео, появляющиеся для использования в производстве профессионального видео (вместо IP-видео, используемого для распространения в конечные пользователи ) включают SMPTE 2022, SMPTE 2110, ASPEN (в значительной степени вытесненный SMPTE 2110) и Sony NMI. Существуют явные различия в технологии, используемой этими протоколами.

Протокол
Параметр
NDINDI HXNDI HX2SMPTE 2022-6[10]SMPTE 2110ОСИНА[11]НМИ[12]
ТранспортTCP / UDP / Мульти-TCP[A]UDP (TCP)TCP / UDP / Мульти-TCP[A]UDPUDPUDPUDP
Формат изображенияРазмер / формат не зависитРазмер / формат не зависитРазмер / формат не зависитТолько форматы SDIРазмер / формат не зависит
TallyдададаНетНет[B]Нет
Двунаправленное управление устройствомдададаНетНетНет
Интегрированный альфа-каналдаНетНетНетда
СжатиеКодек NDI (SHQ 2/7)[13]NDI | HX (H.264)H.264 / H.265НИКТО[C]Спецификация SMPTE 2110-22 (JPEG XS, но не ограничиваясь)НИКТОНЕТ / Кодек LLVC
СвязьSocket, Unicast / Multicast и FECUnicast / MulticastSocket, Unicast / Multicast и FECМногоадресная рассылкаМногоадресная рассылкаМногоадресная рассылкаMulticast /?
Скорость передачи данных HD (1080i)~ 100 Мбит / с8–20 Мбит / с~ 1–50 Мбит / с> 1,5 Гбит / с> 1,1 Гбит / с> 1,5 Гбит / с> 1,5 Гбит / с / до 14: 1[14]
Упаковка сущностиДискретные пакеты аудио, метаданных и видеокадров, одно соединениеПоставляется в виде отдельных пакетов аудио, метаданных и видеокадров, одно соединениеДискретные пакеты аудио, метаданных и видеокадров, одно соединениеПакетированный необработанный битовый поток SDIДискретное аудио, видео и метаданные на отдельных соединениях с разными протоколамиНесколько Транспортные потоки MPEGРама 2022-6 / LLVC
ИнфраструктураГигабитный / беспроводной / мультисетевая карта с балансировкой нагрузки / 10 ГБитГигабит / беспроводнойГигабит / беспроводнойМинимум 10 ГбитМинимум 10 ГбитМинимум 10 ГбитГигабит / 10 Гбит
Обнаружение услугBonjour (mDNS), NDI Access (вручную), сервер (NDI4)автоматически через драйвер HXBonjour (mDNS), NDI Access (вручную), сервер (NDI4)NMOS[15]AMWA IS-04JSON-RPCПодключи и работай (NDCP)
APIБесплатная лицензия, библиотеки SDK для Win (x86), Mac, Linux (x86 и ARM), iOS,[16] Справочник по ПЛИСАппаратное кодирование, декодирование с библиотеками NDIОтправка со встроенным SDK NDI, получение с библиотеками NDIСтандарт SMPTEСтандарт SMPTESMPTE RDD
  1. ^ а б NDI v1.0 был чистым TCP. Более поздние версии включали опции для UDP Unicast и Multicast в зависимости от ситуации и FEC. NDI 4.0 добавляет транспорт Multi-TCP. NDI
  2. ^ Tally для SMPTE 2110 полагается на внешние источники данных, используя предложенный AMWA IS 07.
  3. ^ Кодек TICO RDD35 может использоваться для сжатия UHD до 4: 1, чтобы закодированный поток мог передаваться по SMPTE 2022 -6 каналов с той же пропускной способностью без сжатия, что и HD.[17] SMPTE 2110 с TR-03 также дает возможность использовать TICO RDD35 и JPEG XS.[18] Для этого требуются проприетарный кодировщик и декодер, которые, как правило, реализованы как микросхемы на каждом конце.

История

NDI был публично представлен NewTek 8 сентября 2015 года и продемонстрирован на той неделе на выставке вещания IBC в Амстердаме.[19] Первым устройством, показанным с использованием NDI, был NewTek. TriCaster который подавал сигнал NDI с каждого из своих входов SDI, а также четыре выходных сигнала со своего видеомикшера. TriCaster может также получать до двух источников NDI от других устройств (увеличено до 12 в более поздних версиях и до 44 в IP Series от NewTek).[20]

В течение 2016 года последовали устройства NDI от других поставщиков. Первые сторонние продукты поступили от Gallery Sienna и включали генератор сигналов NDI для macOS, конвертер развертки рабочего стола для macOS и приложение камеры NDICam для iPhone, которое доставляет собственный поток NDI с устройств iOS. .[21][22]

NewTek ранее создал предшественника NDI под названием AirSend для передачи видео с внешних устройств на свои продукты TriCaster. AirSend был реализован рядом генератор персонажей (CG), включая VizRT и Chyron. Чтобы быстро внедрить эти продукты в пространство NDI, NewTek создал новый драйвер для замены существующего драйвера AirSend, который можно было установить на эти существующие устройства, совместимые с AirSend, мгновенно преобразовав их в устройства, совместимые с NDI, без каких-либо изменений, требуемых исходной CG. продавцы.[23]

Еще одним ранним последователем NDI был VMix, микшер технического зрения на базе Windows, который предлагает входы и выходы NDI.[24] Значительное увеличение установленной базы NDI произошло, когда приложение потоковой передачи XSplit добавило поддержку NDI.[25]

Позже в 2016 году NewTek представил NDI 2.0, в котором были добавлены функции, включая поддержку обнаружения сервисов в подсетях. В апреле Magewell анонсировала бесшовную интеграцию своих устройств захвата PCIe и USB, обеспечивающую доступ к любому источнику видео в сети. Это решение создало один из наиболее эффективных сценариев производства широковещательного видео с неограниченным выбором источников и повсеместной совместимостью с операционными системами.

12 июля 2017 года NewTek анонсировала NDI 3.0, в котором добавлены многоадресная передача, NDI | HX и другие новые функции, а также представлена ​​поддержка конкретных PTZ-камер с чипсетами H.264 и обновленной прошивкой.[26]

В апреле 2018 года на выставке NAB Show Microsoft объявила о добавлении поддержки NDI в Skype for Content Creators.[27] Другие объявления на NAB2018 включали NDI 3.5 и новую поддержку NDI от поставщиков, включая EVS.[28] и Avid.[29]

Версия 3.4 из FFmpeg добавлена ​​поддержка ввода и вывода для NDI при необязательной компиляции конечным пользователем в библиотеку NewTek без открытого исходного кода.[30] Однако позже было обнаружено, что NewTek распространяет предварительно скомпилированные двоичные файлы FFmpeg, которые включают их библиотеку без открытого исходного кода в нарушение Стандартная общественная лицензия GNU, в результате чего проект FFmpeg удалил поддержку NDI из своей кодовой базы в марте 2019 года.[31][32]

В апреле 2019 года, перед NAB, NewTek объявил о добавлении режима Multi-TCP к NDI 4.0, который, как сообщается, использует аппаратное ускорение TCP, присутствующее в кремнии, помогая процессорам с более низкими характеристиками с транспортом NDI.[33] Отгрузка NDI 4.0 состоялась в сентябре 2019 года, приуроченная к выставке IBC.

ВерсияВышелОсобенности / улучшения
1.0Апрель 2016 г.Изначальный выпуск
2.0Сентябрь 2016Поддержка кросс-подсетей через Access Manager, поддержка кодирования ARM, iOS SDK
3.0Июль 2017 г.Поддержка NDI-HX, возможность многоадресной передачи с FEC, поддержка PTZ.
3.5Июнь 2018 г.По умолчанию используется метод одноадресной передачи UDP с FEC.
3.6Июль 2018 г.Улучшения связывания на уровне пакетов.
3.7Сентябрь 2018Улучшения открытия.
3.8Ноя 2018Улучшения производительности, NDI Embedded SDK для разработки FPGA.
4.0Сентябрь 2019Транспортный режим Multi-TCP, поддержка 16-битного HDR, собственная синхронизированная запись, сервер обнаружения, NDI HX2[33]
4.1Ноя 2019Улучшения производительности.
4.5Март 2020 г.Новая реализация Multi-TCP, меньшая задержка с NDI-HX, предсказуемые номера портов для правил брандмауэра, улучшение качества кодеков.

[34]

Использование в Wi-Fi и глобальных сетях

NDI был разработан для работы в гигабитных локальных сетях хорошего качества с использованием TCP и Bonjour (mDNS ) технологии. Для работы в подсетях, которые не передают mDNS, NDI поддерживает механизм, известный как NDI Access, который позволяет вручную вводить IP-адреса машин в других подсетях, на которых могут быть запущены источники NDI.

Некоторые сторонники NDI запускают протокол через оптоволоконные соединения на расстоянии до 15 км, хотя использование протокола TCP NDI делает его менее подходящим для соединений на большие расстояния с высокой задержкой из-за таких факторов, как продукт задержки полосы пропускания и Восстановление после потери TCP-пакетов.[35] Библиотеки NDI 3.5 теперь по умолчанию используют метод передачи UDP с упреждающее исправление ошибок. Это устраняет требования к задержке, присущие TCP-соединениям. NDI | HX использует более низкую скорость передачи данных, что упрощает использование соединений с ограниченной полосой пропускания.[26]

Чтобы обеспечить расширение NDI для глобальных сетей, были разработаны инструменты, включая Sienna Cloud для NDI.[36] протокол, который использует шлюзы узлов в каждой локальной сети для соединения источников NDI между континентами.[37] В июле 2017 г. Ассоциация специальных видов спорта США (USSSA) успешно создала первое по-настоящему глобальное сетевое освещение спортивных событий NDI, используя NDI с 5 камерами, переданными через общедоступный Интернет со стадиона в 200 милях от производственной галереи на базе NDI.[38]

NDI также используется в облачных производственных системах,[39] со сжатым видео и одноадресной передачей, что делает его подходящим для облачных сервисов, таких как AWS и Azure. в 2019 году Сиенна продемонстрировала полный рабочий процесс облачного производства с использованием NDI, включая удаленное внесение и окончательную публикацию через сети доставки контента подобно YouTube Live.

Поддержка архитектуры ЦП

NDI, работающий на архитектурах x86, требует процессоров, включающих SSSE3 Набор инструкций. Большинство процессоров Intel, начиная с 2006 года, имеют этот набор инструкций, AMD добавила поддержку, начиная с 2011 года. Хотя это и не является обязательным требованием, NDI воспользуется преимуществами Расширенные векторные расширения (AVX) и AVX2 наборы инструкций для дополнительной производительности.

NDI может работать на 32-битных или 64-битных архитектурах ЦП, хотя производительность увеличивается при использовании 64-битных.

NDI доступен с поддержкой кодирования для систем на базе ARM, но, как правило, не для декодирования видео. Исключением являются Sienna NDI Monitor.[40] для iOS, которая обеспечивает декодирование NDI на ARM, и Sienna NDI Monitor TV для AppleTV 4k.[41]

Устройства NDI | HX обычно предназначены только для передачи и основаны на частных платформах с аппаратными микросхемами кодировщика H.264. Примерами устройств NDI | HX являются камеры PTZ и конвертер NDI Connect Spark SDI to NDI | HX. Сам поток NDI формируется на стороне потребления потока с помощью специфичного для платформы драйвера NDI | HX, представляя одни и те же несжатые данные прикладному программному обеспечению, использующему источник NDI, независимо от исходного оборудования источника HX и сжатия. NDI | HX2 - это более чистая реализация H.264 в пакетах NDI, позволяющая программным и аппаратным системам встраивать сущность H.264 в потоки NDI с помощью NDI Embedded SDK.

NewTek, Birddog и Magewell разработали реализации NDI для кодирования FPGA. В апреле 2018 года NewTek анонсировала Connect Spark Pro, который станет их первым продуктом NDI на базе FPGA. Birddog и Magewell также предлагают декодирование полных потоков NDI на основе FPGA (не NDI | HX). Newtek предлагает лицензируемый эталонный дизайн FPGA для сторонних кодировщиков NDI как часть своего NDI Embedded SDK.

В NDI 4.0 NewTek объявила о добавлении Мульти-TCP вид транспорта. При этом используется преимущество аппаратного ускорения TCP в кремнии, которое помогает процессорам с более низкими характеристиками справляться с большой сетевой нагрузкой, в отличие от UDP, который не выигрывает от аппаратного ускорения.[42]

Метаданные и расширения спецификации NDI

NDI поддерживает произвольные метаданные в виде блоков XML, встроенных в видео- и аудиокадры, а также отдельные кадры метаданных. Содержимое этих блоков метаданных образуют 3 семейства.

  1. Внутренние метаданные используются NDI незаметно. Эти сообщения используются для подключения и некоторых других фундаментальных задач, таких как Tally. Обычно они невидимы для клиентов NDI.
  2. Определенные общедоступные метаданные. Эти сообщения включают такие вещи, как протокол NDI PTZ. Они определены NewTek как часть NDI SDK.
  3. Сторонние схемы метаданных. Эти сообщения реализованы таким же образом, как и определенные метаданные NDI, но их содержимое основано на разработках сторонних производителей.

Есть 8 опубликованных примеров сторонних схем метаданных NDI:

  • В августе 2018 года Gallery Sienna опубликовала предложение[43] для перевозки C708 Скрытый титр метаданные через NDI. Он предполагает захват соответствующей строки SDI VANC данные и текстовое кодирование для совместимости с XML. Это передается в виде прикрепленных метаданных на основе видеокадров. Его можно передать в эквивалентно совместимый декодер для преобразования в SDI вместе с неповрежденными субтитрами C708. Gallery Sienna внедрила этот стандарт в свой продукт Sienna NDI SourceMulti,[44] это предложение также принимается другими разработчиками продуктов NDI. Сопутствующее предложение для универсального формата субтитров[45] for NDI был с тех пор опубликован, предоставляя удобочитаемый, а не двоичный контейнер для скрытых субтитров в потоках метаданных NDI.
  • В феврале 2019 года Gallery Sienna опубликовала предложение о перевозке MIDI сообщения через NDI.[46] Он использует автономные кадры метаданных NDI в реальном времени для передачи любого типа MIDI-сообщений, включая MIDI Machine Control и данные контроллера. NDI MIDI используется в процессоре Sienna NDI.[47] как общий протокол управления между модулями и внешним миром.
  • В апреле 2019 года Gallery Sienna опубликовала предложение по использованию отраслевого стандарта iXML Протокол метаданных в NDI.[48] iXML позволяет однозначно описывать содержимое потока и связывать потоки.
  • В апреле 2019 года Gallery Sienna опубликовала предложение о переносе времени PTPv2 и GMID в NDI.[49] Сиенна также реализовала это как Протокол точного времени конвертер, который собирает эти данные и передает их как NDI в несколько систем NDI, желающих поделиться этой информацией, например, программное обеспечение для взаимодействия с AES67 устройств.
  • В сентябре 2019 года Gallery Sienna опубликовала предложение по определению и переносу определения потока субрегиона в NDI.[50] Это можно использовать для определения вложенных фрагментов видеостены в потоке или для таких приложений, как анализ видео с помощью искусственного интеллекта, когда система следует за лицом в потоке, или за футбольным мячом - с фрагментом панорамирования потока. Это также используется для предоставления определений подпотоков для публикации в социальных сетях с нестандартными пропорциями - например, портретное или квадратное видео для телефонов.
  • В ноябре 2019 года Gallery Sienna опубликовала предложение по определению профиля описания метаданных HDR для потоков HDR NDI.[51]
  • В декабре 2019 года Gallery Sienna опубликовала предложение о передаче данных о состоянии GPI через соединения NDI.[52] Этот механизм реализован в модуле интерфейса GPI Sienna в NDI Processing Engine.[53] который взаимодействует с JLCooper Ebox[54] Интерфейс GPI, поддерживающий 24 входа и выхода GPI.
  • В декабре 2019 года Gallery Sienna опубликовала предложение о передаче данных DMX через соединения NDI.[55] Этот механизм реализован в модуле Sienna ArtNet-DMX Interface в NDI Processing Engine.[56] который взаимодействует с интерфейсом DMX LTECH Artnet-DMX-1, поддерживая 512 входных и исходящих каналов DMX.

Рекомендации

  1. ^ Коалиция, ProVideo (8 сентября 2015 г.). «NewTek анонсирует NDI, открытый протокол для рабочего процесса производства IP, разработанный Алланом Теппером».
  2. ^ «Кодирование / декодирование NDI». База знаний NewTek.
  3. ^ «Пропускная способность сети NDI». База знаний NewTek.
  4. ^ «NewTek объявляет о NDI - открытом протоколе для рабочего процесса IP - технических стандартов». Content-technology.com.
  5. ^ «NewTek NDI SDK». Newtek.com.
  6. ^ http://www.sienna-tv.com/ndi/ndimontv.html
  7. ^ "Дома". Sienna-tv.com.
  8. ^ "птица-собака". Птица-собака.
  9. ^ «Лицензионное соглашение NDI®». new.tk. Получено 3 июн 2020.
  10. ^ «Цифровой указатель стандартов Smpte, рекомендуемых практик, технических рекомендаций и зарегистрированных документов о раскрытии информации» (PDF). Smpte.org. Получено 2017-05-23.
  11. ^ «Сообщество ОСИНЫ - Дом». aspen-community.com.
  12. ^ «Sony запускает сетевой медиаинтерфейс в сотрудничестве с ведущими организациями вещательной отрасли: Пресса: Великобритания: Sony Professional». Sony.co.uk.[мертвая ссылка ]
  13. ^ "SpeedHQ". wiki.multimedia.cx. Получено 2020-07-31.
  14. ^ "NMI Core - Nextera Video Inc". Nexteravideo.com.
  15. ^ «Каковы открытые спецификации сетевых носителей?». Nmos.tv.
  16. ^ «NewTek NDI SDK». NewTek.
  17. ^ «Альянс ТИКО - Технологии». www.tico-alliance.org.
  18. ^ "SMPTE RDD 35 - облегченный кодек TICO, используемый в IP-сети или в инфраструктурах SDI - Engineering360". standard.globalspec.com.
  19. ^ «NewTek анонсирует NDI, открытый протокол для рабочего процесса производства IP, разработанный Алланом Теппером». Provideocoalition.com. 8 сентября 2015.
  20. ^ Кершбаумер, Кен (19 сентября 2016 г.). «Система видеопроизводства NewTek серии IP выходит на новые рынки». Группа спортивного видео.
  21. ^ "Доступны первые сторонние инструменты NDI!". форумы.newtek.com.
  22. ^ «NDICam». Sienna-tv.com.
  23. ^ "NDI AirSend Updater-NewTek". pages.newtek.com.
  24. ^ Мост, трансляция. «StudioCoast vMix принимает стандарт NewTek NDI - Broadcast Bridge - Подключение ИТ к вещанию». Thebroadcastbridge.com.
  25. ^ «XSplit Broadcaster использует NewTek NDI для рабочего процесса IP». Marketwired.com. 2016-04-12. Получено 2017-05-23.
  26. ^ а б «NewTek NDI® Version 3 предлагает единственное решение для сквозного IP-видео для производителей продукции». NewTek.
  27. ^ «Сделайте совместную работу основой ваших прямых трансляций, подкастов и видео с помощью Skype for Content Creators». Блоги Skype. 6 апреля 2018.
  28. ^ Директор, Кен Кершбаумер, редакция. «Производственная система EVS X-One выводит программные технологии на новый уровень». Группа спортивного видео.
  29. ^ «Avid Media Composer интегрирует NewTek NDI®».
  30. ^ Бейкер, Чак (6 декабря 2017 г.). "FFmpeg 3.4 добавляет NDI I / O". NewTek.
  31. ^ «NewTek распространяет несвободную сборку FFmpeg». Отслеживание ошибок FFmpeg. 3 декабря 2018 г.
  32. ^ "Удалить libndi_newtek". Репозиторий FFmpeg на github. 9 марта 2019.
  33. ^ а б Курц, Фил (3 апреля 2019 г.). «Эндрю Кросс из NewTek обсуждает планы по приобретению и выставке NAB».
  34. ^ http://www.magewell.com/news/32/detail
  35. ^ Гатарски, Ричард (9 мая 2016 г.). «Документальный фильм: перекрестное производство Stockholm Kista с использованием NDI по оптоволокну». Weststreamu.se.
  36. ^ «NDIRelay». Sienna-tv.com.
  37. ^ "Сиенна переносит NDI в облако - NewTek Studio". blog.newtek.com.
  38. ^ "ndicloudblog". www.sienna-tv.com.
  39. ^ http://www.sienna-tv.com/ndi/infrastructure.html
  40. ^ "Ндимониос".
  41. ^ http://www.sienna-tv.com/ndi/ndimontv.html
  42. ^ «Эндрю Кросс из NewTek обсуждает планы по приобретению и выставке NAB».
  43. ^ "Ndiclosedcaptions".
  44. ^ "NDI Source Multi".
  45. ^ http://www.sienna-tv.com/ndi/universalcaptions.html
  46. ^ «Мидиовернди».
  47. ^ «НДИПроцессор».
  48. ^ «Ндииксмл».
  49. ^ «Ndiptpsync».
  50. ^ «NDI Regions».
  51. ^ "Описание NDI HDR".
  52. ^ «GPI над NDI».
  53. ^ http://www.sienna-tv.com/ndi/ndiprocessor.html
  54. ^ https://jlcooper.com/_php/product.php?prod=ebox
  55. ^ "DMX через NDI".
  56. ^ http://www.sienna-tv.com/ndi/ndiprocessor.html