Компенсация движения - Motion compensation

Визуализация компенсации движения блока MPEG. Блоки, которые перемещались из одного кадра в другой, показаны белыми стрелками, что делает четко видимыми движения различных платформ и персонажа.

Компенсация движения представляет собой алгоритмический метод, используемый для прогнозирования кадра в видео по предыдущим и / или будущим кадрам с учетом движения камеры и / или объектов в видео. Он используется при кодировании видеоданных для сжатие видео, например при генерации MPEG-2 файлы. Компенсация движения описывает картину в терминах преобразования эталонного изображения к текущему изображению. Контрольное изображение может быть предыдущим во времени или даже из будущего. Когда изображения могут быть точно синтезированы из ранее переданных / сохраненных изображений, эффективность сжатия может быть улучшена.

Компенсация движения - один из двух ключевых сжатие видео методы, используемые в стандарты кодирования видео, вместе с дискретное косинусное преобразование (DCT). Большинство стандартов кодирования видео, например H.26x и MPEG форматы, как правило, используют гибридное кодирование DCT с компенсацией движения,[1][2] известен как компенсация движения блока (BMC) или DCT с компенсацией движения (MC DCT).

Функциональность

Компенсация движения использует тот факт, что часто для многих кадры В видеоролике единственная разница между одним кадром и другим - это результат движения камеры или объекта в кадре. Применительно к видеофайлу это означает, что большая часть информации, представляющей один кадр, будет такой же, как информация, используемая в следующем кадре.

При использовании компенсации движения видеопоток будет содержать несколько полных (опорных) кадров; тогда единственной информацией, хранящейся для промежуточных кадров, будет информация, необходимая для преобразования предыдущего кадра в следующий.

Иллюстрированный пример

Ниже приводится упрощенное иллюстрированное объяснение того, как работает компенсация движения. Из фильма были сняты два последовательных кадра. Сон Слонов. Как видно из изображений, нижняя (с компенсацией движения) разница между двумя кадрами содержит значительно меньше деталей, чем предыдущие изображения, и, таким образом, сжимается намного лучше, чем остальные. Таким образом, информация, которая требуется для кодирования скомпенсированного кадра, будет намного меньше, чем с разностным кадром. Это также означает, что также возможно кодировать информацию с использованием разностного изображения за счет меньшей эффективности сжатия, но за счет экономии сложности кодирования без кодирования с компенсацией движения; Фактически, кодирование с компенсацией движения (вместе с оценка движения, компенсация движения) занимает более 90% сложности кодирования.

ТипПример кадраОписание
ОригиналПример компенсации движения-original.jpgПолный исходный кадр, как показано на экране.
РазницаПример компенсации движения-difference.jpgРазличия между исходным кадром и следующим кадром.
Разница с компенсацией движенияКомпенсация движения, пример-компенсированная разница.jpgРазличия между исходным кадром и следующим кадром, сдвинутым вправо на 2 пикселя. Сдвиг кадра компенсирует для панорамирование камеры, поэтому перекрытие между двумя кадрами больше.

MPEG

В MPEG, изображения предсказываются из предыдущих кадров (P кадры ) или двунаправленно от предыдущих и будущих кадров (B кадры ). B кадры являются более сложными, потому что последовательность изображений должна передаваться и храниться не по порядку, чтобы будущий кадр был доступен для генерации B кадры.[3]

После прогнозирования кадров с использованием компенсации движения кодер находит остаток, который затем сжимается и передается.

Компенсация глобального движения

В компенсация глобального движения, модель движения в основном отражает такие движения камеры, как:

  • Dolly - перемещение камеры вперед или назад
  • Трек - перемещение камеры влево или вправо
  • Стрела - перемещение камеры вверх или вниз
  • Панорама - вращение камеры вокруг оси Y, перемещение обзора влево или вправо
  • Наклон - поворот камеры вокруг оси X, перемещение обзора вверх или вниз
  • Roll - вращение камеры вокруг оси обзора

Лучше всего он работает для неподвижных сцен без движущихся объектов.

Есть несколько преимуществ глобальной компенсации движения:

  • Он моделирует доминирующее движение, обычно встречающееся в видеопоследовательностях, с помощью всего лишь нескольких параметров. Доля в битрейте этих параметров ничтожна.
  • Он не разделяет фреймы. Это позволяет избежать артефактов на границах раздела.
  • Прямая линия (во времени) пикселей с равными пространственными положениями в кадре соответствует непрерывно движущейся точке в реальной сцене. В других схемах MC возникают разрывы во времени.

MPEG-4 ASP поддерживает GMC с тремя опорными точками, хотя некоторые реализации могут использовать только одну. Одна контрольная точка допускает только поступательное движение, которое из-за относительно больших затрат на производительность дает небольшое преимущество перед компенсацией движения на основе блоков.

Движущиеся объекты в кадре недостаточно представлены глобальной компенсацией движения. оценка движения тоже нужен.

DCT с компенсацией движения

Компенсация движения блока

Компенсация движения блока (BMC), также известная как с компенсацией движения дискретное косинусное преобразование (MC DCT) - наиболее широко используемый метод компенсации движения.[2] В BMC кадры разделены на блоки пикселей (например, макроблоки размером 16 × 16 пикселей в MPEG ) .Each блок предсказывается из блока одинакового размера в качестве ссылки frame.The блоков не трансформированные какой-либо образом, кроме сдвигаются в положение прогнозируемого сдвига block.This представлена вектор движения.

Чтобы использовать избыточность между векторами соседних блоков (например, для одного движущегося объекта, покрытого несколькими блоками), обычно кодируют только разницу между текущим и предыдущим векторами движения в потоке битов. Результат этого процесса дифференцирования математически эквивалентен глобальной компенсации движения с возможностью панорамирования. Далее по конвейеру кодирования энтропийный кодер будет использовать полученное статистическое распределение векторов движения вокруг нулевого вектора для уменьшения размера вывода.

Можно сдвинуть блок на нецелое число пикселей, что называется субпиксельная точностьПромежуточные пиксели генерируются путем интерполяции соседних пикселей. Обычно точность половин или четверть пикселя (Qpel, используется H.264 и MPEG-4 / ASP). Вычислительные затраты на точность субпикселей намного выше из-за дополнительной обработки, необходимой для интерполяции, а на стороне кодера - гораздо большего количества потенциальных исходных блоков, которые необходимо оценить.

Основным недостатком компенсации движения блока является то, что она создает неоднородности на границах блока (блокирующие артефакты). Эти артефакты проявляются в виде резких горизонтальных и вертикальных краев, которые легко обнаруживаются человеческим глазом и создают ложные края и эффекты звона (большие коэффициентов в поддиапазонах высоких частот) за счет квантования коэффициентов Преобразование Фурье используется для преобразование кодирования из остаточные кадры[4]

Компенсация движения блока разделяет текущий кадр в неперекрывающиеся блоки, а вектор компенсации движения сообщает, где эти блоки находятся от(распространенное заблуждение состоит в том, что предыдущий кадр делится на неперекрывающиеся блоки, и векторы компенсации движения сообщают, куда перемещаются эти блоки кИсходные блоки обычно перекрываются в исходном кадре. Некоторые алгоритмы сжатия видео собирают текущий кадр из частей нескольких различных ранее переданных кадров.

Кадры также можно прогнозировать на основе будущих кадров. В этом случае будущие кадры необходимо кодировать до прогнозируемых кадров, и, таким образом, порядок кодирования не обязательно соответствует реальному порядку кадров. Такие кадры обычно прогнозируются с двух направлений, т. или P-кадры, которые непосредственно предшествуют или следуют за предсказанным кадром. Эти кадры с двунаправленным предсказанием называются B-кадры Схема кодирования может, например, быть IBBPBBPBBPBB.

Кроме того, для компенсации движения было предложено использовать треугольные плитки. По этой схеме кадр выложен треугольниками, а следующий кадр создается путем выполнения аффинного преобразования этих треугольников.[5] Записываются / передаются только аффинные преобразования. Он может работать с масштабированием, вращением, перемещением и т. Д.

Компенсация движения переменного размера блока

Компенсация движения переменного размера блока (VBSMC) - это использование BMC с возможностью кодировщика динамически выбирать размер блоков. При кодировании видео использование больших блоков может уменьшить количество битов, необходимых для представления векторов движения, тогда как использование меньших блоков может привести к меньшему количеству остаточной информации предсказания для кодирования. В других областях работы изучалось использование метрик функций переменной формы за пределами блоков, на основе которых могут быть вычислены межкадровые векторы.[6] Старые конструкции, такие как H.261 и MPEG-1 видео обычно используют фиксированный размер блока, в то время как новые, такие как H.263, MPEG-4, часть 2, H.264 / MPEG-4 AVC, и ВК-1 дать кодировщику возможность динамически выбирать, какой размер блока будет использоваться для представления движения.

Компенсация движения перекрывающегося блока

Компенсация движения перекрывающегося блока (OBMC) - хорошее решение этих проблем, потому что оно не только увеличивает точность прогнозирования, но и позволяет избежать блокирования артефактов. При использовании OBMC блоки обычно в два раза больше в каждом измерении и перекрываются по квадрантам со всеми 8 соседними блоками. Таким образом, каждый пиксель принадлежит 4 блокам. В такой схеме есть 4 прогноза для каждого пикселя, которые суммируются до взвешенного среднего. Для этой цели блоки связаны с оконной функцией, которая имеет свойство, заключающееся в том, что сумма 4 перекрывающихся окон везде равна 1.

Исследования методов снижения сложности OBMC показали, что вклад в оконную функцию наименьший для диагонально смежного блока. Уменьшение веса этого вклада до нуля и увеличение других весов на равную величину приводит к существенному снижению сложности без большого ухудшения качества. В такой схеме каждый пиксель тогда принадлежит 3 блокам, а не 4, и вместо использования 8 соседних блоков используются только 4 для каждого блока, подлежащего компенсации. Такая схема встречается в H.263 Приложение F Режим расширенного прогнозирования

Компенсация движения четверть пикселя (QPel) и половина пикселя

При компенсации движения четверть или половина отсчетов фактически интерполируются подвыборками, вызванными дробными векторами движения. На основе векторов и полных выборок можно рассчитать подвыборки с помощью бикубической или билинейной двумерной фильтрации. См. Подраздел 8.4.2.2 «Процесс дробной интерполяции отсчетов» стандарта H.264.

Методы кодирования трехмерных изображений

Компенсация движения используется в Кодирование стереоскопического видео

В видео время часто рассматривается как третье измерение. Методы кодирования неподвижных изображений могут быть расширены до дополнительного измерения.

JPEG 2000 использует вейвлеты, и их также можно использовать для адаптивного кодирования движения без промежутков между блоками. Дробный пиксель аффинные преобразования приводят к растеканию между соседними пикселями. Если не используется более высокое внутреннее разрешение, дельта-изображения в основном борются с размытием изображения. Дельта-изображение также можно кодировать как вейвлеты, чтобы границы адаптивных блоков совпадали.

2D + Дельта Методы кодирования используют H.264 и MPEG-2 совместимое кодирование и может использовать компенсацию движения для сжатия между стереоскопическими изображениями.

История

Основная статья: Формат кодирования видео

Предшественник концепции компенсации движения восходит к 1929 году, когда Р.Д.Келл в Великобритании предложил концепцию передачи только частей аналоговое видео сцена, которая менялась от кадра к кадру. Концепция чего-либо межкадровый компенсация движения восходит к 1959 году, когда NHK исследователи Ю. Таки, М. Хатори и С. Танака предложили прогнозирующую межкадровую кодирование видео в временное измерение.[7]

DCT с компенсацией движения

Практичная компенсация движения сжатие видео стало возможным благодаря развитию компенсированного движения DCT (MC DCT) кодирование,[8] также называется компенсацией движения блока (BMC) или компенсацией движения DCT. Это гибридный алгоритм кодирования,[7] который сочетает в себе два ключевых Сжатие данных техники: дискретное косинусное преобразование (DCT) кодирование[8] в пространственное измерение, и прогнозирующая компенсация движения в временное измерение.[7] Кодирование DCT - это с потерями блочное сжатие преобразование кодирования метод, который был впервые предложен Насир Ахмед, который изначально предназначался для сжатие изображений, в 1972 г.[9]

В 1974 году Али Хабиби на Университет Южной Калифорнии введено гибридное кодирование,[10][11] который сочетает в себе кодирование с предсказанием и кодирование с преобразованием.[7][12] Однако его алгоритм изначально был ограничен внутрикадровый кодирование в пространственном измерении. В 1975 году Джон А. Роуз и Ганер С. Робинсон расширили алгоритм гибридного кодирования Хабиби до временного измерения, используя кодирование с преобразованием в пространственном измерении и кодирование с предсказанием во временном измерении, разработав межкадровый гибридное кодирование с компенсацией движения.[7][13] Для кодирования с пространственным преобразованием они экспериментировали с DCT и быстрое преобразование Фурье (БПФ), разрабатывая межкадровые гибридные кодеры для обоих, и обнаружил, что DCT является наиболее эффективным из-за его меньшей сложности, способного сжимать данные изображения до 0,25-немного на пиксель для видеотелефон сцена с качеством изображения, сравнимым с внутрикадровым кодером, требующим 2 бита на пиксель.[14][13]

В 1977 году Вен-Сюн Чен вместе с К.Х. Смит и С.К. Фралик.[15] В 1979 г. Анил К. Джайн и Джасвант Р. Джайн разработали дальнейшее сжатие видео DCT с компенсацией движения,[16][7] также называется компенсацией движения блока.[7] Это привело к тому, что в 1981 году Чен разработал практический алгоритм сжатия видео, названный DCT с компенсацией движения или адаптивным кодированием сцены.[7] DCT с компенсацией движения позже стал стандартным методом кодирования для сжатия видео с конца 1980-х годов.[17][2]

Первый цифровой стандарт кодирования видео был H.120, разработанная CCITT (ныне ITU-T) в 1984 г.[18] H.120 использует кодирование DPCM с компенсацией движения,[7] что было неэффективно для кодирования видео,[17] Таким образом, H.120 был непрактичным из-за низкой производительности.[18] В H.261 стандарт был разработан в 1988 году на основе сжатия DCT с компенсацией движения,[17][2] и это был первый практический стандарт кодирования видео.[18] С тех пор DCT-сжатие с компенсацией движения было принято всеми основными стандартами видеокодирования (включая H.26x и MPEG форматы).[17][2]

Смотрите также

Приложения

использованная литература

  1. ^ Чен, Цзе; Коч, Ут-Ва; Лю, Кей Джей Рэй (2001). Проектирование систем кодирования цифрового видео: подход в полной сжатой области. CRC Press. п. 71. ISBN  9780203904183.
  2. ^ а б c d е Ли, Цзянь Пин (2006). Материалы Международной компьютерной конференции 2006 г. по технологии вейвлет-активных сред и обработке информации: Чунцин, Китай, 29-31 августа 2006 г.. Всемирный научный. п. 847. ISBN  9789812709998.
  3. ^ berkeley.edu - Почему некоторые люди ненавидят би-картинки?
  4. ^ Зенг, Кай и др. «Описание артефактов восприятия в сжатых видеопотоках». Электронная визуализация IS & T / SPIE. Международное общество оптики и фотоники, 2014 г.
  5. ^ Айзава, Киёхару и Томас С. Хуанг. «Модельное кодирование изображений - передовые методы кодирования видео для приложений с очень низкой скоростью передачи данных». Протоколы IEEE 83.2 (1995): 259-271.
  6. ^ Гарнхэм, Найджел В. (1995). Кодирование видео с компенсацией движения - кандидатская диссертация. http://eprints.nottingham.ac.uk/13447/1/thesis.pdf: Ноттингемский университет. OCLC  59633188.CS1 maint: location (ссылка на сайт)
  7. ^ а б c d е ж г час я «История сжатия видео». ITU-T. Объединенная группа по видео (JVT) ISO / IEC MPEG и ITU-T VCEG (ISO / IEC JTC1 / SC29 / WG11 и ITU-T SG16 Q.6). Июль 2002. С. 11, 24–9, 33, 40–1, 53–6.. Получено 3 ноября 2019.
  8. ^ а б Ли, Уильям (1994). Видео по запросу: исследовательский доклад 94/68. 9 мая 1994 г .: Библиотека Палаты общин. Архивировано из оригинал 20 сентября 2019 г.. Получено 20 сентября 2019.CS1 maint: location (ссылка на сайт)
  9. ^ Ахмед, Насир (Январь 1991 г.). "Как я пришел к дискретному косинусному преобразованию". Цифровая обработка сигналов. 1 (1): 4–5. Дои:10.1016 / 1051-2004 (91) 90086-Z.
  10. ^ Хабиби, Али (1974). «Гибридное кодирование графических данных». Транзакции IEEE по коммуникациям. 22 (5): 614–624. Дои:10.1109 / TCOM.1974.1092258.
  11. ^ Chen, Z .; Он, Т .; Джин, X .; Ву, Ф. (2020). «Обучение сжатию видео». IEEE Transactions по схемам и системам для видеотехнологий. 30 (2): 566–576. arXiv:1804.09869. Дои:10.1109 / TCSVT.2019.2892608. S2CID  13743007.
  12. ^ Ом, Йенс-Райнер (2015). Кодирование и передача мультимедийных сигналов. Springer. п. 364. ISBN  9783662466919.
  13. ^ а б Роуз, Джон А .; Робинсон, Гунер С. (30 октября 1975 г.). «Комбинированное пространственное и временное кодирование последовательностей цифровых изображений». Эффективная передача графической информации. Международное общество оптики и фотоники. 0066: 172–181. Bibcode:1975SPIE ... 66..172R. Дои:10.1117/12.965361. S2CID  62725808.
  14. ^ Хуанг, Т. С. (1981). Анализ последовательности изображений. Springer Science & Business Media. п. 29. ISBN  9783642870378.
  15. ^ Чен, Вэнь-Сюн; Smith, C.H .; Фралик, С. К. (сентябрь 1977 г.). «Быстрый вычислительный алгоритм для дискретного косинусного преобразования». Транзакции IEEE по коммуникациям. 25 (9): 1004–1009. Дои:10.1109 / TCOM.1977.1093941.
  16. ^ Чианчи, Филип Дж. (2014). Телевидение высокой четкости: создание, развитие и внедрение технологии HDTV. Макфарланд. п. 63. ISBN  9780786487974.
  17. ^ а б c d Ганбари, Мохаммед (2003). Стандартные кодеки: от сжатия изображений до расширенного кодирования видео. Институт инженерии и технологий. С. 1–2. ISBN  9780852967102.
  18. ^ а б c "История инфографики форматов видеофайлов". RealNetworks. 22 апреля 2012 г.. Получено 5 августа 2019.

внешние ссылки