Качество видео - Video quality

Качество видео является характеристикой видео проходит через систему передачи или обработки видео, которая описывает воспринимаемое ухудшение видео (обычно по сравнению с исходным видео). Системы обработки видео могут вносить в видеосигнал некоторое количество искажений или артефактов, которые негативно влияют на восприятие системы пользователем. Для многих заинтересованных сторон в видеопродукция и распространение, обеспечение качества видео является важной задачей.

Оценка качества видео выполняется для описания качества исследуемого набора видеопоследовательностей. Качество видео можно оценить объективно (с помощью математических моделей) или субъективно (спросив пользователей об их оценке). Кроме того, качество системы может быть определено в автономном режиме (т. Е. В лабораторных условиях для разработки новых кодеков или услуг) или в процессе эксплуатации (для мониторинга и обеспечения определенного уровня качества).

От аналогового к цифровому видео

С тех пор, как была записана и передана первая в мире видеопоследовательность, было разработано множество систем обработки видео. Такие системы кодировать видеопотоки и передавать их по различным сетям или каналам. В эпоху аналог видеосистем, можно было оценить аспекты качества системы обработки видео, вычислив частотный отклик с помощью тестовых сигналов (например, набор цветных полос и кругов).

Цифровое видео системы практически полностью заменили аналоговые, изменились методы оценки качества. Производительность системы обработки и передачи цифрового видео может значительно различаться и зависит, среди прочего, от характеристик входного видеосигнала (например, количества движения или пространственных деталей), настроек, используемых для кодирования и передачи, а также точности канала или производительность сети.

Объективное качество видео

Объективные модели качества видео находятся математические модели что приблизительные результаты субъективная оценка качества, в котором наблюдателей просят оценить качество видео. В этом контексте термин модель может относиться к простой статистической модели, в которой несколько независимых переменных (например, коэффициент потери пакетов в сети и параметры кодирования видео) соответствуют результатам, полученным в тесте субъективной оценки качества с использованием методы регрессии. Модель также может быть более сложным алгоритмом, реализованным в программном или аппаратном обеспечении.

Терминология

Условия модель и метрика часто используются как взаимозаменяемые в полевых условиях. Однако метрика имеет определенные математические свойства, которые по строгому определению не применимы ко всем моделям качества видео.

Термин «объективный» относится к тому факту, что, как правило, модели качества основаны на критериях, которые могут быть измеренный объективно, то есть без человеческих интерпретаций. Они могут быть автоматически оценены компьютерной программой. В отличие от группы людей-наблюдателей, объективная модель всегда должна детерминированно выдавать один и тот же показатель качества для заданного набора входных параметров.

Модели объективного качества иногда также называют инструментальные (качественные) модели,^[1]^[2] чтобы подчеркнуть их применение в качестве инструментов измерения. Некоторые авторы полагают, что термин «объективный» вводит в заблуждение, поскольку он «подразумевает, что инструментальные измерения несут объективность, что они и делают только в том случае, если их можно обобщить».^[3]

Классификация объективных моделей качества видео

Классификация моделей объективного качества видео на модели Full-Reference, Reduced-Reference и No-Reference.

Методы оценки качества безреференсных изображений и видео.

Объективные модели можно классифицировать по количеству доступной информации об исходном сигнале, принятом сигнале или о том, присутствует ли сигнал вообще:^[4]

Полные справочные методы (FR): Модели FR вычисляют разницу в качестве, сравнивая исходный видеосигнал с полученным видеосигналом. Как правило, каждый пиксель из источника сравнивается с соответствующим пикселем в полученном видео, без каких-либо сведений о процессе кодирования или передачи между ними. Более сложные алгоритмы могут комбинировать оценку на основе пикселей с другими подходами, такими как описанные ниже. FR-модели обычно являются наиболее точными за счет более высоких вычислительных затрат. Поскольку они требуют наличия исходного видео перед передачей или кодированием, они не могут использоваться во всех ситуациях (например, когда качество измеряется с клиентского устройства).
Сокращенные стандартные методы (RR): Модели RR извлекают некоторые особенности обоих видео и сравнивают их, чтобы дать оценку качества. Они используются, когда все исходное видео недоступно или когда это практически невозможно, например в передаче с ограниченной полосой пропускания. Это делает их более эффективными, чем модели FR, за счет более низкой точности.
Безреференсные методы (NR): Модели NR пытаются оценить качество искаженного видео без какой-либо ссылки на исходный сигнал. Из-за отсутствия исходного сигнала они могут быть менее точными, чем подходы FR или RR, но более эффективны для вычислений.
- Пиксельные методы (NR-P): Модели на основе пикселей используют декодированное представление сигнала и анализируют качество на основе информации о пикселях. Некоторые из них оценивают только определенные типы деградации, такие как размытие или другие артефакты кодирования.
- Параметрические / битовые методы (NR-B): Эти модели используют функции, извлеченные из контейнера передачи и / или видеобитового потока, например MPEG-TS заголовки пакетов, векторы движения и параметры квантования. Они не имеют доступа к исходному сигналу и не требуют декодирования видео, что делает их более эффективными. В отличие от моделей NR-P, они не имеют доступа к окончательному декодированному сигналу. Однако их прогнозы качества изображения не очень точны.
- Гибридные методы (Hybrid NR-P-B): Гибридные модели объединяют параметры, извлеченные из битового потока, с декодированным видеосигналом. Таким образом, они представляют собой смесь моделей NR-P и NR-B.

Использование моделей качества изображения для оценки качества видео

Некоторые модели, которые используются для оценки качества видео (например, PSNR или же SSIM ) просто модели качества изображения, вывод которого рассчитывается для каждого кадра видеопоследовательности. Этот показатель качества каждого кадра затем может быть записан и объединен с течением времени для оценки качества всей видеопоследовательности. Хотя этот метод прост в реализации, он не учитывает определенные виды деградации, которые развиваются с течением времени, например, движущиеся артефакты, вызванные потеря пакета и это сокрытие. Модель качества видео, которая учитывает временные аспекты ухудшения качества, например VQM или MOVIE Index, может дать более точные прогнозы качества, воспринимаемого человеком.

Примеры

Метрики без ссылок

Обзор недавнего отсутствия ссылок Качество изображения модели были приведены в журнальной статье Shahid et al.^[4] Как упоминалось выше, их также можно использовать для видеоприложений. Однако безреференсные модели качества на основе пикселей, разработанные специально для видео, с Video-BLIINDS встречаются редко.^[5] являясь одним из примеров. Группа экспертов по качеству видео имеет специальную рабочую группу по разработке показателей без справочников (называемых НОРМА ).

Простые полнофункциональные метрики

Наиболее традиционные способы оценки качества системы обработки цифрового видео (например, видео кодек ) основаны на FR. Среди самых старых показателей FR: соотношение сигнал шум (SNR) и пиковое отношение сигнал / шум (PSNR), которые вычисляются между каждым кадром исходного и ухудшенным видеосигналом. PSNR - это наиболее широко используемый объективный показатель качества изображения, а средний PSNR по всем кадрам можно рассматривать как показатель качества видео. PSNR также часто используется во время видео кодек развитие с целью оптимизировать кодировщики. Однако значения PSNR плохо коррелируют с воспринимаемым качеством изображения из-за сложного, сильно нелинейного поведения зрительной системы человека.^[6]

Более сложные метрики с полным или сокращенным эталоном

С успехом цифрового видео было разработано большое количество более точных показателей FR. Эти показатели по своей природе более сложные, чем PSNR, и требуют больших вычислительных усилий для расчета прогнозов качества видео. Среди показателей, специально разработанных для видео: VQM и MOVIE Index.

По результатам бенчмарков Группа экспертов по качеству видео (VQEG) (некоторые в ходе фазы тестирования мультимедиа (2007–2008) и фазы тестирования HDTV I (2009–2011)), некоторые показатели RR / FR были стандартизированы в ITU-T как:

Рек. МСЭ-Т. J.147 (FR), 2002 (включает VQM)
Рек. МСЭ-Т. J.246 (RR), 2008 г.
Рек. МСЭ-Т. J.247 (FR), 2008 (см. PEVQ )
Рек. МСЭ-Т. J.341 (FR), 2011 (см. VQuad-HD )
Рек. МСЭ-Т. J.342 (RR), 2011 г.

В Структурное подобие (SSIM) Метрика качества изображения FR также часто используется для оценки качества видео. Верность визуальной информации (VIF) - также показатель качества изображения - это ключевой элемент Netflix Объединение видео-мультиметодной оценки (VMAF), инструмент, который объединяет существующие показатели для прогнозирования качества видео.

Метрики на основе битового потока

Для метрик с полной или сокращенной ссылкой по-прежнему требуется доступ к исходному битовому потоку видео перед передачей или по крайней мере к его части. На практике исходный поток не всегда может быть доступен для сравнения, например, при измерении качества со стороны пользователя. В других ситуациях оператор сети может захотеть измерить качество видеопотоков, проходящих через его сеть, без их полного декодирования. Для более эффективной оценки качества видео в таких случаях были стандартизированы параметрические показатели / показатели на основе битового потока:

Рек. МСЭ-Т. P.1201, 2012
Рек. МСЭ-Т. P.1202, 2012
Рек. МСЭ-Т. P.1203.1, 2016

Использование на практике

Некоторые из этих стандартов нашли коммерческое применение, в том числе PEVQ и VQuad-HD. SSIM также является частью коммерчески доступного набора инструментов для обеспечения качества видео (SSIMWAVE). VMAF используется Netflix для настройки их алгоритмов кодирования и потоковой передачи, а также для контроля качества всего потокового контента.^[7]^[8] Он также используется другими технологическими компаниями, такими как Битмовин^[9] и был интегрирован в программное обеспечение, такое как FFmpeg.

Обучение и оценка производительности

Поскольку ожидается, что объективные модели качества видео будут предсказывать результаты, полученные от людей-наблюдателей, они разрабатываются с помощью субъективные результаты тестирования. Во время разработки объективной модели ее параметры должны быть обучены, чтобы достичь наилучшей корреляции между объективно предсказанными значениями и субъективными оценками, часто доступными как средние оценки по мнению (MOS).

Наиболее широко используемые материалы для субъективных тестов находятся в открытом доступе и включают неподвижные изображения, движущиеся изображения, потоковое видео, наборы данных высокого разрешения, 3-D (стереоскопические) и специальные наборы данных, связанных с качеством изображения.^[10] Эти так называемые базы данных создаются различными исследовательскими лабораториями по всему миру. Некоторые из них стали де-факто стандартами, в том числе несколько общедоступных баз данных субъективного качества изображения, созданных и поддерживаемых Лаборатория изображения и видеоинженерии (LIVE) а также База данных изображений Тампере, 2008 г.. Коллекцию баз данных можно найти в Базы данных QUALINET репозиторий. В Потребительская цифровая видеотека (CDVL) размещает в свободном доступе последовательности видеотестирования для разработки моделей.

Теоретически модель можно обучить на наборе данных таким образом, чтобы получить идеально совпадающие оценки для этого набора данных. Однако такая модель будет перетренированный и поэтому не будет работать с новыми наборами данных. Поэтому рекомендуется проверять модели против новых данных и использовать полученную производительность как реальный индикатор точности прогноза модели.

Чтобы измерить производительность модели, некоторые часто используемые метрики: коэффициент линейной корреляции, Коэффициент ранговой корреляции Спирмена, а Средняя квадратическая ошибка (RMSE). Другие показатели - это коэффициент каппа и соотношение выбросов. Рек. МСЭ-Т. P.1401 дает обзор статистических процедур для оценки и сравнения объективных моделей.

Использование и применение объективных моделей

Модели объективного качества видео могут использоваться в различных областях применения. В видео кодек При разработке производительность кодека часто оценивается в терминах PSNR или SSIM. Поставщики услуг могут использовать объективные модели для мониторинга системы. Например, IPTV провайдер может выбрать мониторинг качества своих услуг с помощью объективных моделей, а не спрашивать мнение пользователей или ждать жалоб клиентов на плохое качество видео.

Объективную модель следует использовать только в том контексте, для которого она была разработана. Например, модель, разработанная с использованием определенного видеокодека, не гарантирует точность для другого видеокодека. Точно так же модель, обученная на тестах, проводимых на большом экране телевизора, не должна использоваться для оценки качества видео, просматриваемого на мобильном телефоне.

Другие подходы

При оценке качества видеокодека все упомянутые объективные методы могут потребовать повторения тестов посткодирования для определения параметров кодирования, которые удовлетворяют требуемому уровню визуального качества, что делает их трудоемкими, сложными и непрактичными для реализации в реальных коммерческих приложениях. . В настоящее время ведутся исследования по разработке новых методов объективной оценки, которые позволяют прогнозировать воспринимаемый уровень качества кодированного видео до того, как будет выполнено фактическое кодирование.^[11]

Субъективное качество видео

Основная цель многих объективных показателей качества видео - автоматически оценить мнение среднего пользователя (зрителя) о качестве видео, обрабатываемого системой. Процедуры для субъективное качество видео измерения описаны в МСЭ-R рекомендация BT.500 и рекомендация ITU-T Стр.910. В таких тестах видеопоследовательности демонстрируются группе зрителей. Мнение зрителей записывается и усредняется в средняя оценка мнения для оценки качества каждой видеопоследовательности. Однако процедура тестирования может отличаться в зависимости от типа тестируемой системы.

Смотрите также

дальнейшее чтение

[1] Рааке, Александр (2006). Качество речи VoIP: оценка и прогноз. Wiley InterScience (Интернет-сервис). Чичестер, Англия: Wiley. ISBN 9780470030608. OCLC 85785040.

[2] Мёллер, Себастьян (2000). Оценка и прогнозирование качества речи в телекоммуникациях. Бостон, Массачусетс: Springer США. ISBN 9781475731170. OCLC 851800613.

[3] Рааке, Александр; Эггер, Себастьян (2014). Качество опыта. Серия T-Labs в телекоммуникационных услугах. Спрингер, Чам. С. 11–33. Дои:10.1007/978-3-319-02681-7_2. ISBN 9783319026800.

[:0-4] а ^б Шахид, Мухаммад; Россхольм, Андреас; Левстрём, Бенни; Цеперник, Ханс-Юрген (2014-08-14). «Оценка качества изображения и видео без эталонов: классификация и обзор последних подходов». Журнал EURASIP по обработке изображений и видео. 2014: 40. Дои:10.1186/1687-5281-2014-40. ISSN 1687-5281.

[5] Саад, М. А .; Bovik, A.C .; Шарье, К. (март 2014 г.). «Слепое предсказание естественного качества видео». IEEE Transactions по обработке изображений. 23 (3): 1352–1365. CiteSeerX 10.1.1.646.9045. Дои:10.1109 / tip.2014.2299154. ISSN 1057-7149. PMID 24723532. S2CID 14314450.

[6] Винклер, Стефан (сентябрь 2008 г.). «Эволюция измерения качества видео: от PSNR к гибридным метрикам». IEEE Transactions on Broadcasting. 54 (3): 660–668. CiteSeerX 10.1.1.141.655. Дои:10.1109 / TBC.2008.2000733. S2CID 15657047.

[7] Блог, Netflix Technology (06.06.2016). «На пути к метрике практического восприятия качества видео». Netflix TechBlog. Получено 2017-10-08.

[8] Блог, Netflix Technology (26.10.2018). "VMAF: Путешествие продолжается". Середина. Получено 2019-10-23.

[9] «Посценочная адаптация: выход за рамки битрейта». Битмовин. 2018-01-05. Получено 2019-10-23.

[10] Лю, Цзун-Юнг; Линь, Ю-Чи; Линь, Вейзи; Куо, К.-К. Джей (2013). «Визуальная оценка качества: последние разработки, приложения для кодирования и будущие тенденции». Транзакции APSIPA по обработке сигналов и информации. 2. Дои:10.1017 / atsip.2013.5. ISSN 2048-7703.

[11] Koumaras, H .; Kourtis, A .; Мартакос, Д .; Лаутерджунг, Дж. (01.09.2007). «Количественная оценка PQoS, основанная на быстрой оценке пространственного и временного уровня активности». Мультимедийные инструменты и приложения. 34 (3): 355–374. Дои:10.1007 / s11042-007-0111-1. ISSN 1380-7501. S2CID 14136479.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]