Верность визуальной информации - Visual Information Fidelity

Верность визуальной информации (VIF) - это полная ссылка оценка качества изображения индекс на основе статистика природных сцен и понятие информации об изображении, извлеченной зрительная система человека.^[1] Его разработали Хамид Р Шейх и Алан Бовик в Лаборатории изображения и видеоинженерии (LIVE) на Техасский университет в Остине в 2006 году, и было показано, что он очень хорошо коррелирует с человеческими суждениями о визуальном качестве. Он развернут в ядре Netflix VMAF система мониторинга качества видео, которая контролирует качество изображения всех закодированных видео, транслируемых Netflix. На это приходится около 35% всего потребления полосы пропускания в США и растущий объем потокового видео во всем мире.^[2]

Обзор модели

Изображения и видео трехмерной визуальной среды происходят из общего класса: класса естественных сцен. Природные сцены образуют крошечное подпространство в пространстве всех возможных сигналов, и исследователи разработали сложные модели для характеристики этой статистики. Самый реальный мир искажение процессы нарушают эту статистику и делают изображение или видеосигналы неестественными. В индексе VIF используются естественная сцена статистическая (NSS) модели в сочетании с моделью искажения (канала) для количественной оценки информации, совместно используемой между тестовым и эталонным изображениями. Кроме того, индекс VIF основан на гипотезе о том, что эта совместно используемая информация является аспектом верности, который хорошо соотносится с визуальным качеством. В отличие от предшествующих подходов, основанных на чувствительности к ошибкам зрительной системы человека (HVS) и измерении структуры,^[3] этот статистический подход используется в теоретико-информационный дает полный справочный (FR) метод оценки качества (QA), который не полагается ни на HVS, ни на параметры просмотра геометрии, ни на какие-либо константы, требующие оптимизации, и при этом конкурирует с современными методами контроля качества.^[4]

В частности, эталонное изображение моделируется как результат стохастического "естественного" источника, который проходит через канал HVS и позже обрабатывается мозгом. Информационное содержание эталонного изображения количественно определяется как взаимная информация между входом и выходом канала HVS. Это информация, которую мозг мог бы в идеале извлечь из выходных данных HVS. Затем та же мера определяется количественно в присутствии канала искажения изображения, который искажает выходной сигнал естественного источника до того, как он проходит через канал HVS, тем самым измеряя информацию, которую мозг мог бы в идеале извлечь из тестового изображения. Это показано наглядно на рисунке 1. Затем две меры информации объединяются для формирования меры достоверности визуальной информации, которая связывает визуальное качество с относительной информацией изображения.

Рисунок 1

Системная модель

Исходная модель

Смесь в масштабе Гаусса (GSM) используется для статистического моделирования вейвлет-коэффициенты управляемой пирамидальной декомпозиции изображения.^[5] Модель описана ниже для данного поддиапазона многомасштабного многоориентационного разложения и может быть расширена на другие поддиапазоны аналогичным образом. Пусть вейвлет-коэффициенты в данном поддиапазоне равны ${\displaystyle {\mathcal {C}}=\{{\bar {C}}_{i}:i\in {\mathcal {I}}\}}$ куда ${\displaystyle {\mathcal {I}}}$ обозначает набор пространственных индексов по поддиапазону, и каждый ${\displaystyle {\bar {C}}_{i}}$ является ${\displaystyle M}$ размерный вектор. Поддиапазон разделен на неперекрывающиеся блоки ${\displaystyle M}$ коэффициентов каждый, где каждый блок соответствует ${\displaystyle {\bar {C}}_{i}}$. Согласно модели GSM,

$${\displaystyle {\mathcal {C}}={\mathcal {S}}\cdot {\mathcal {U}}=\{S_{i}{\bar {U}}_{i}:i\in {\mathcal {I}}\},}$$

куда ${\displaystyle S_{i}}$ положительный скаляр и ${\displaystyle {\bar {U}}_{i}}$ - гауссов вектор с нулевым средним и ковариацией ${\displaystyle \mathbf {C} _{U}}$. Далее предполагается, что неперекрывающиеся блоки независимы друг от друга и что случайное поле ${\displaystyle {\mathcal {S}}}$ не зависит от ${\displaystyle {\mathcal {U}}}$.

Модель искажения

Процесс искажения моделируется с использованием комбинации затухания сигнала и аддитивного шума в вейвлет-области. Математически, если ${\displaystyle {\mathcal {D}}=\{{\bar {D}}_{i}:i\in {\mathcal {I}}\}}$ обозначает случайное поле из данного поддиапазона искаженного изображения, ${\displaystyle {\mathcal {G}}=\{g_{i}:i\in {\mathcal {I}}\}}$ является детерминированным скалярным полем и ${\displaystyle {\mathcal {V}}=\{{\bar {V}}_{i}:i\in {\mathcal {I}}\}}$, куда ${\displaystyle {\bar {V}}_{i}}$ гауссов вектор с нулевым средним и ковариацией ${\displaystyle \mathbf {C} _{V}=\sigma _{v}^{2}\mathbf {I} }$, тогда

$${\displaystyle {\mathcal {D}}={\mathcal {G}}{\mathcal {C}}+{\mathcal {V}}.}$$

Дальше, ${\displaystyle {\mathcal {V}}}$ моделируется, чтобы быть независимым от ${\displaystyle {\mathcal {S}}}$ и ${\displaystyle {\mathcal {U}}}$.

Модель HVS

Двойственность моделей HVS и NSS подразумевает, что некоторые аспекты HVS уже учтены в исходной модели. Здесь HVS дополнительно моделируется на основе гипотезы о том, что неопределенность в восприятии визуальных сигналов ограничивает количество информации, которая может быть извлечена из исходного и искаженного изображения. Этот источник неопределенности можно смоделировать как визуальный шум в модели HVS. В частности, шум HVS в данном поддиапазоне вейвлет-разложения моделируется как аддитивный белый гауссов шум. Позволять ${\displaystyle {\mathcal {N}}=\{{\bar {N}}_{i}:i\in {\mathcal {I}}\}}$ и${\displaystyle {\mathcal {N}}'=\{{\bar {N}}_{i}':i\in {\mathcal {I}}\}}$ случайные поля, где ${\displaystyle {\bar {N}}_{i}}$ и ${\displaystyle {\bar {N}}_{i}'}$ - гауссовы векторы с нулевым средним и ковариацией ${\displaystyle \mathbf {C} _{N}}$ и ${\displaystyle \mathbf {C} _{N}'}$. Далее, пусть ${\displaystyle {\mathcal {E}}}$ и ${\displaystyle {\mathcal {F}}}$ обозначают визуальный сигнал на выходе HVS. Математически мы имеем ${\displaystyle {\mathcal {E}}={\mathcal {C}}+{\mathcal {N}}}$ и ${\displaystyle {\mathcal {F}}={\mathcal {D}}+{\mathcal {N}}'}$. Обратите внимание, что ${\displaystyle {\mathcal {N}}}$ и ${\displaystyle {\mathcal {N}}'}$ случайные поля, не зависящие от ${\displaystyle {\mathcal {S}}}$, ${\displaystyle {\mathcal {U}}}$ и ${\displaystyle {\mathcal {V}}}$.

Индекс VIF

Позволять ${\displaystyle {\bar {C}}^{N}=({\bar {C}}_{1},{\bar {C}}_{2},\ldots ,{\bar {C}}^{N})}$ обозначают вектор всех блоков из данного поддиапазона. Позволять ${\displaystyle S^{N},{\bar {D}}^{N},{\bar {E}}^{N}}$ и ${\displaystyle {\bar {F}}^{N}}$ быть определенным аналогично. Позволять ${\displaystyle s^{N}}$ обозначают оценку максимального правдоподобия ${\displaystyle S^{N}}$ данный ${\displaystyle C^{N}}$ и ${\displaystyle \mathbf {C} _{U}}$. Объем информации, извлеченной из справки, получается как

$${\displaystyle I({\bar {C}}^{N};{\bar {E}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}\left({\frac {|s_{i}^{2}\mathbf {C} _{U}+\sigma _{n}^{2}\mathbf {I} |}{|\sigma _{n}^{2}\mathbf {I} |}}\right),}$$

в то время как количество информации, извлеченной из тестового изображения, дается как

$${\displaystyle I({\bar {C}}^{N};{\bar {F}}^{N}|{\bar {S}}^{N}=s^{N})={\frac {1}{2}}\sum _{i=1}^{N}\log _{2}\left({\frac {|g_{i}^{2}s_{i}^{2}\mathbf {C} _{U}+(\sigma _{v}^{2}+\sigma _{n}^{2})\mathbf {I} |}{|(\sigma _{v}^{2}+\sigma _{n}^{2})\mathbf {I} |}}\right).}$$

Обозначая ${\displaystyle N}$ блоки в поддиапазоне ${\displaystyle j}$ вейвлет-разложения на ${\displaystyle {\bar {C}}^{N,j}}$, и аналогично для других переменных индекс VIF определяется как

$${\displaystyle {\textrm {VIF}}={\frac {\sum _{j\in {\textrm {subbands}}}I({\bar {C}}^{N,j};{\bar {F}}^{N,j}|S^{N,j}=s^{N,j})}{\sum _{j\in {\textrm {subbands}}}I({\bar {C}}^{N,j};{\bar {E}}^{N,j}|S^{N,j}=s^{N,j})}}.}$$

Спектакль

Коэффициент корреляции порядка рангов Спирмена (SROCC) между оценками индекса VIF искаженных изображений в базе данных оценки качества изображений LIVE и соответствующими оценками человеческого мнения составляет 0,96.^[6]Это говорит о том, что индекс очень хорошо коррелирует с человеческим восприятием качества изображения наравне с лучшими алгоритмами FR IQA.^[7]

Рекомендации

1. Шейх, Хамид; Бовик, Алан (2006). «Информация об изображении и визуальное качество». IEEE Transactions по обработке изображений. 15 (2): 430–444. Bibcode:2006ITIP ... 15..430S. Дои:10.1109 / tip.2005.859378. PMID  16479813.
2. https://variety.com/2015/digital/news/netflix-bandwidth-usage-internet-traffic-1201507187/
3. Ван, Чжоу; Бовик, Алан; Шейх, Хамид; Симончелли, Ээро (2004). «Оценка качества изображения: от видимости ошибок до структурного сходства». IEEE Transactions по обработке изображений. 13 (4): 600–612. Bibcode:2004ITIP ... 13..600 Вт. Дои:10.1109 / tip.2003.819861. PMID  15376593. S2CID  207761262.
4. http://videoclarity.com/wp-content/uploads/2013/05/Statistic-of-Full-Reference-UT.pdf
5. Симончелли, Ээро; Фриман, Уильям (1995). «Управляемая пирамида: гибкая архитектура для многомасштабных вычислений производных». IEEE Int. Конференция по обработке изображений. 3: 444–447. Дои:10.1109 / ICIP.1995.537667. ISBN  0-7803-3122-2. S2CID  1099364.
6. http://videoclarity.com/wp-content/uploads/2013/05/Statistic-of-Full-Reference-UT.pdf
7. http://videoclarity.com/wp-content/uploads/2013/05/Statistic-of-Full-Reference-UT.pdf

внешняя ссылка

• Лаборатория имидж- и видеотехники в Техасском университете
• Реализация индекса VIF
• База данных оценки качества изображений LIVE