ZPEG - ZPEG

ZPEG
Расширения имени файла
zpeg
Типовой кодzpg1
РазработанZPEG, Inc
изначальный выпуск2020
Тип форматаФормат сжатия видео
Интернет сайтwww.zpeg.com


ZPEG это технология видео с движением, которая применяется человеком Острота зрения модель в декоррелированное пространство области преобразования, тем самым оптимально уменьшая избыточность в видеоизображении движения, удаляя субъективно незаметное. Эта технология применима к широкому спектру обработка видео такие проблемы как оптимизация видео, движение в реальном времени сжатие видео, субъективный контроль качества и преобразование формата.

Пространство преобразования, связанное с декором

Пиксель распределения хорошо смоделированы как случайный процесс, а преобразование к их идеальному декоррелированному представлению выполняется преобразованием Карунена – Лоэва (KLT), определяемым Теорема Карунена – Лоэва. В Дискретное косинусное преобразование (DCT) часто используется в качестве эффективного с вычислительной точки зрения преобразования, которое близко аппроксимирует преобразование Карунена – Лоэва для видеоданных из-за сильной корреляции в пиксель пространство, типичное для видеокадров .....[1] Поскольку корреляция во временном направлении так же высока, как и корреляция в пространственных направлениях, трехмерное DCT может использоваться для декорреляции видеоизображения движения.[2]

Визуальная модель человека

Визуальная модель человека может быть сформулирована на основе контрастной чувствительности визуальное восприятие система.[3] Может быть указана изменяющаяся во времени модель контрастной чувствительности, которая применима к трехмерному Дискретное косинусное преобразование (DCT).[4] Трехмерная модель контрастной чувствительности используется для генерации квантователей для каждого из трехмерных базисных векторов, что приводит к почти оптимальному удалению неуловимых видео артефактов движения без визуальных потерь.[5]

Сила восприятия в visiBels

В перцептивный сила процесса генерации квантователя визуальной модели человека откалибрована в visiBels (vB), логарифмическая шкала примерно соответствует воспринимаемости, измеренной по высоте экрана. По мере того, как глаз удаляется от экрана, он становится менее способным воспринимать детали изображения. Модель ZPEG также включает в себя временную составляющую и, таким образом, не полностью описывается расстоянием просмотра. С точки зрения расстояния просмотра, сила visiBel увеличивается на шесть, когда расстояние до экрана уменьшается вдвое. Стандартное расстояние просмотра для стандартного разрешения телевидение (около 7 высот экрана) определяется как 0vB. Нормальное расстояние просмотра для Видео высокой четкости, примерно 4 высоты экрана, будет определено как примерно -6 ВБ (высота экрана 3,5).

Оптимизация видео

Препроцессор ZPEG оптимизирует видеопоследовательности движения для сжатия существующими видеокомпрессорами на основе оценки движения, такими как Расширенное кодирование видео (AVC) (H.264) и Высокоэффективное кодирование видео (HEVC) (H.265). Модель остроты зрения человека преобразуется в квантователи для непосредственного применения к трехмерному преобразованному блоку видеопоследовательности движения, за которым следует обратный квантование (обработка сигналов) пошагово теми же квантователями. Видеопоследовательность движения, возвращенная из этого процесса, затем используется в качестве входных данных для существующего компрессора.

Сила сжатия

Применение квантователей, созданных системой Human Visual System, к дискретному косинусному преобразованию на основе блоков приводит к повышенной сжимаемости видеопотока движения за счет удаления из потока незаметного контента. В результате получается тщательно подобранный поток, в котором удалены подробные пространственные и временные детали, которые в противном случае потребовалось бы воспроизвести компрессору. Поток также дает лучшие совпадения для оценка движения Квантователи создаются так, чтобы их нельзя было заметить на заданном расстоянии просмотра, заданном в visiBels. Обычно используются следующие типичные условия просмотра предварительной обработки:

  • Видео стандартной четкости обрабатывается при -6 ВБ
  • Видео высокой четкости обрабатывается при -12 ВБ
  • Видео сверхвысокой четкости (UHD, 4K) обрабатывается при -12 ВБ
  • Иммерсивное видео сверхвысокой четкости (виртуальная реальность) обрабатывается при -18 ВБ

Средняя экономия на сжатии HD-видео 6 Мб с использованием кодека x.264 при обработке на -12 ВБ составляет 21,88%. Средняя экономия на сжатии для 16-мегабайтного видео из набора тестов Netflix 4K с использованием кодека x.264, обработанного при -12 ВБ, составляет 29,81%. Тот же набор тестов Netflix при сжатии для иммерсивного просмотра (-18 ВБ) дает экономию 25,72%. Эти результаты можно воспроизвести с помощью общедоступного испытательного стенда.[6]

Снятие блокировки

Хотя эффекты предварительной обработки ZPEG незаметны для среднестатистического зрителя на указанном расстоянии просмотра, краевые эффекты, вносимые обработкой блочного преобразования, по-прежнему влияют на преимущество в производительности процесса оптимизации видео. Пока существуют деблокирующие фильтры может применяться для улучшения этой производительности, оптимальные результаты достигаются за счет использования многоплоскостного алгоритма удаления блочности. Каждая плоскость смещена на половину размера блока в каждом из четырех направлений, так что смещение плоскости составляет одно из (0,0), (0,4), (4, 0) и (4,4 ) в случае блоков 8x8[7] и четыре самолета. Затем значения пикселей выбираются в соответствии с их расстоянием до края блока с внутренним пиксель значения предпочтительнее границ пиксель значения. Получающееся в результате видео с удаленной блокировкой обеспечивает существенно лучшую оптимизацию в широком диапазоне мощностей предварительной обработки.

Сжатие видео в реальном времени

Традиционные решения по сжатию движения основаны на оценка движения технологии.[8] Хотя некоторая область преобразования видео кодек технологии существуют, ZPEG основан на трехмерном дискретном косинусном преобразовании (DCT),[9] где три измерения пиксель в строке, в строке в кадре и во временной последовательности кадров. Извлечение избыточных визуальных данных выполняется с помощью эффективного с вычислительной точки зрения процесса квантования представления видео в области преобразования, а не с помощью гораздо более дорогостоящего с точки зрения вычислений процесса поиска совпадений объектов между блоками. Визуальная модель к базовому набору коэффициентов DCT с заранее определенной мощностью обработки восприятия. Таким образом, вся избыточная для восприятия информация удаляется из представления области преобразования видео. Затем сжатие выполняется энтропия процесс удаления.[10]

Квантование

После того, как были выбраны условия просмотра, при которых должен просматриваться сжатый контент, визуальная модель человека генерирует квантователи для применения к трехмерному дискретному косинусному преобразованию (DCT).[11] Эти квантователи настроены на удаление всего неощутимого контента из видеопотока движения, что значительно снижает энтропию представления. Условия просмотра, выраженные в visiBels, и корреляция пикселей до преобразования генерируются для справки с помощью энтропийное кодирование.

Энтропийное кодирование, управляемое контекстом

Хотя квантованные коэффициенты DCT традиционно моделируются как Распределения Лапласа,[12] более поздняя работа предложила Распределение Коши лучше моделирует квантованные распределения коэффициентов.[13] Энтропийный кодер ZPEG кодирует квантованные трехмерные значения DCT в соответствии с распределением, которое полностью характеризуется матрицей квантования и пиксель корреляции. Эта информация боковой полосы, переносимая в сжатом потоке, позволяет декодеру синхронизировать свое внутреннее состояние с кодером.[14]

Разложение на поддиапазоны

Каждая полоса DCT отдельно энтропийно кодируется по отношению ко всем остальным полосам. Эти коэффициенты передаются в полосном порядке, начиная с составляющей постоянного тока, за которой следуют последовательные полосы в порядке от низкого разрешения до высокого, аналогично Разложение вейвлет-пакета.[15] Следование этому соглашению гарантирует, что приемник всегда будет получать максимально возможное разрешение для любой полосы пропускания, обеспечивая протокол передачи без буферизации.

Субъективные показатели качества

Золотая мера воспринимаемой разницы в качестве между эталонным видео и его ухудшенным представлением определяется в МСЭ-R рекомендация БТ-500.[16] Метод непрерывной шкалы качества с двойным стимулом (DSCQS) оценивает воспринимаемую разницу между эталонным и искаженным видео, чтобы создать общую оценку различия, полученную на основе индивидуальных оценок в диапазоне от -3 до 3:

  • -3: ухудшенное видео намного хуже
  • -2: ухудшенное видео хуже
  • -1: ухудшенное видео немного хуже
  • 0: видео такие же
  • 1: плохое видео немного лучше
  • 2: плохое видео лучше
  • 3: плохое видео намного лучше

По аналогии с нормализованной метрикой непрерывной шкалы качества для одного стимула (SSCQS) Средняя оценка мнения (MOS),[17] общий балл DSCQS нормализован до диапазона (-100, 100) и называется средним дифференциальным баллом (DMOS), показателем субъективное качество видео.Идеальный объективный показатель будет сильно коррелировать с оценкой DMOS, когда он применяется к паре эталонного / поврежденного видео. Обзор существующих методов и их общих достоинств можно найти на Netflix блог.[18] ZPEG расширяет список доступных методов, предоставляя субъективную метрику качества, генерируемую путем сравнения Среднеквадратичная ошибка метрика разницы между эталонным и поврежденным видео после предварительной обработки при различных уровнях восприятия (в visiBels). Эффективное расстояние просмотра, на котором разница в искажениях больше не заметна, указывается как показатель ухудшения.

Преобразование формата

Статистически идеальное преобразование формата осуществляется путем интерполяции видеоконтента в Дискретное косинусное преобразование Космос.[19] В процессе преобразования, особенно в случае повышающей дискретизации, необходимо учитывать звенящие артефакты которые возникают, когда в последовательности повторно дискретизируемых пикселей возникает резкая непрерывность. Результирующий алгоритм может понижать или повышать дискретизацию видеоформатов, изменяя размеры кадра, пиксель соотношение сторон, и частота кадров.

Рекомендации

  1. ^ Рао, Камисетти; Ип, П (1990). Дискретное косинусное преобразование: алгоритмы, преимущества, приложения. Академическая пресса. ISBN  0080925340.
  2. ^ Вестуотер, Раймонд; Фухрт, Борко (1997). Сжатие видео в реальном времени - методы и алгоритмы. Springer. ISBN  978-0-585-32313-8.
  3. ^ Гленн, Уильям (1993). Сжатие цифровых изображений на основе визуального восприятия. MIT Press. С. 63–71. ISBN  0-262-23171-9.
  4. ^ Бартен, Питер (1999). Контрактная чувствительность человеческого глаза и ее влияние на качество изображения. SPIE Press. ISBN  0-8194-3496-5.
  5. ^ Уотсон, А. (1993). «Методика визуальной оптимизации матриц квантования DCT для отдельных изображений». Дайджест технических документов Общества информационного дисплея. XXIV: 946–949.
  6. ^ "Демонстрационная страница ZPEG". ZPEG. Получено 27 января 2017.
  7. ^ "Почему был выбран размер DCT 8x8?". эксперты123. Получено 27 января 2017.
  8. ^ Фурхт, Борко; Гринберг, Джеффри; Вестуотер, Раймонд (1997). Алгоритмы оценки движения для сжатия видео. Springer. ISBN  978-1-4613-7863-1.
  9. ^ Хатим, Анас; Белкоуч, Саид; Хассани, Моха (май 2014 г.). «Быстрое преобразование 8x8x8 RCF 3D_DCT / IDCT для сжатия видео в реальном времени и его реализация на FPGA» (PDF). Международный журнал достижений в области инженерии и технологий. Получено 27 января 2017.
  10. ^ Вестуотер, Раймонд. «Кодирование видео на основе преобразования - мотивация использования трехмерного дискретного косинусного преобразования». researchgate.net. Получено 27 января 2017.
  11. ^ Вестуотер, Раймонд. «Кодирование видео на основе преобразования - вычисление квантователей для трехмерного дискретного косинусного преобразования». researchgate.net. Получено 27 января 2017.
  12. ^ Смут, Стивен; Роу, Лоуренс А (1996). «Исследование распределений коэффициентов DCT». Материалы симпозиума SPIE по электронной визуализации. 2657. Получено 27 января 2017.
  13. ^ Камачи, Неджат; Гассан, Аль-Реджиб (февраль 2012 г.). «Влияние параметров видео на распределение коэффициентов DCT для видеокодеров, подобных H.264» (PDF). Труды SPIE. 8305:3. Получено 27 января 2017.
  14. ^ Вестуотер, Раймонд. «Кодирование видео на основе преобразования - сжатие на основе корреляции с использованием трехмерного дискретного косинусного преобразования». researchgate.net. Получено 27 января 2017.
  15. ^ Гу, Цзюньфэн; Цзян, Иминь; Барас, Джон. «Видеокодек на основе 3D вейвлетов с моделью человеческого восприятия». Патент США 7006568. Патентное ведомство США. Получено 27 января 2017.
  16. ^ «Методика субъективной оценки качества телевизионных картинок» (PDF). itu.int. МСЭ-R. Получено 27 января 2017.
  17. ^ «Терминология средней оценки мнения (MOS)». itu.int. ITU-T. Получено 27 января 2017.
  18. ^ Ли, Чжи; Аарон, Ане; Кацавунидис, Иоаннис; Мурти, Ануш; Манохара, Мегха. «На пути к метрике практического восприятия качества видео». Технический блок Netflix. Получено 27 января 2017.
  19. ^ Вестуотер, Раймонд. «Метод преобразования разрешения и частоты кадров видеоданных с использованием дискретных косинусных преобразований». uspto.gov.