В ПОИСКАХ ТОЧКИ ОПОРЫ
Одной из тенденций рынка охранного телевидения является многообразие присутствующих на нем видекодеков. Чуть ли не каждый разработчик программно-аппаратных средств CCTV стремится разработать свои уникальные алгоритмы сжатия видео и провозгласить их превосходство над остальными. Так как заявления разработчика могут не всегда соответствовать действительности, то потребитель нуждается в независимой экспертной оценке качества видеокодеков. Проведение экспертной оценки обычно выполняют известные лаборатории, научные сообщества на основе двух основных методов: субъективное тестирование и использование объективных метрик качества.
При субъективном тестировании группе экспертов предъявляются фрагменты видео, сжатые различными кодеками, и они выставляют качеству этих фрагментов оценки по некоторой шкале. Далее экспертные оценки обрабатываются тем или иным образом, и получается интегрированный показатель качества, например MOS (mean opinion score).
Достоинством данного способа является простота интерпретаций полученных оценок, так как они непосредственно связаны с человеческим восприятием. Существенными недостатками являются зависимость результатов от опыта экспертов, а также принципиальная невоспроизводимость результатов. Последний недостаток означает также и то, что результаты тестирования, проведенные в двух фирмах-конкурентах, будут диаметрально противовоположными. Поэтому вопрос о достоверности субъективных оценок является открытым.
Конечно, потребителю хотелось бы иметь более надежные оценки качества видеокодеков. При этом желательно, чтобы эти оценки обладали свойством повторяемости. И здесь на сцену выступают объективные метрики качества видео, в случае которых не только другие эксперты, но и сам потребитель может повторить все эксперименты. Сам процесс тестирования также весьма технологичен: нажал на кнопку – получил результат.
В данной статье будут рассмотрены применяемые для оценки качества видео объективные метрики, показаны их достоинства и недостатки, возникающие при использовании данных метрик проблемы. Но прежде чем перейти к самим метрикам, необходимо сказать несколько слов про особенности человеческого восприятия видео, так как эти особенности влияют как на построение алгоритмов сжатия, так и объективных метрик оценки качества.
ОСОБЕННОСТИ ЧЕЛОВЕЧЕСКОГО ЗРЕНИЯ
Знание особенностей человеческого зрения позволяет строить объективные метрики оценки качества видео, наиболее близко коррелирующие с субъективными оценками.
К наиболее важным свойствам человеческого зрения отнесем следующие.
Чувствительность к изменению яркости изображения. Зрение человека способно адаптироваться к широкому диапазону яркостей, и в каждом диапазоне человек способен различить определенные уровни яркостей. Эта разрешающая способность зависит не от разности уровней яркости, а от отношения этой разности к среднему значению яркости, т. е. от контраста.
Частотная чувствительность человеческого зрения проявляется в том, что человек гораздо более восприимчив к низкочастотному, чем к высокочастотному шуму. Это связано с неравномерностью амплитудно-частотной характеристики системы зрения человека.
Особенностью цветового восприятия человека является то, что некоторые цвета могут сосуществовать в его восприятии (например, красноватый желтый ощущается как оранжевый), а другие – не могут (противоположные цвета). Именно эта особенность используется при представлении изображений различными цветоразностными схемами.
Эффект маскирования в пространственной области заключается в увеличении порога обнаружения видеосигнала в присутствии другого сигнала, обладающего аналогичными характеристиками. Поэтому, аддитивный шум гораздо заметнее на гладких участках изображения, чем на высокочастотных, то есть в последнем случае наблюдается маскирование. Наиболее сильно эффект маскирования проявляется, когда оба сигнала имеют одинаковую ориентацию и местоположение.
Эффект маскирования во временной области заключается в том, что из-за инерционности зрения человек не сразу обнаруживает изменение яркости сцены видеопоследовательности.
ТРЕБОВАНИЯ К ОБЪЕКТИВНЫМ МЕТРИКАМ КАЧЕСТВА ВИДЕО
Можно предъявить несколько требований к метрикам. В работе [1] приведены следующие требования:
1. Релевантность метрики: «лучшим» субъективно видеофрагментам должно соответствовать «лучшее» значение метрики. Эту характеристику можно измерить количественно, например, с помощью коэффициента корреляции Пирсона либо оценить графически, как это показано на рис
2. Монотонность метрики: в идеальном случае разность между двумя объективными оценками видеофрагментов должна иметь тот же знак, что и разность между двумя субъективными оценками этого материала. Оценивается ранговым коэффициентом корреляции Спирмана.
3. Согласованность метрики: «отклонение» ее значений от предсказанных на основе субъективных метрик значений не должно быть большим. Вычисляется следующим образом. Вначале выполняется ряд субъективных оценок видеофрагмента. Результаты статистически обрабатываются, и находится СКО оценок. Затем вычисляются значения объективных метрик, и находится их количество, которые отстоят от субъективных оценок на расстоянии более чем удвоенное значение СКО.
ОБЪЕКТИВНЫЕ МЕТРИКИ КАЧЕСТВА ИЗОБРАЖЕНИЙ
В диссертации [2] рассмотрено шесть классов метрик качества изображений:
- Пиксельные.
- Корреляционные.
- Контурные.
- Спектральные.
- Контекстные.
- Учитывающие систему человеческого зрения.
1. Пиксельные метрики
К пиксельным метрикам относятся, во-первых, различные вариации метрики Минковского, например, пиковое отношение сигнал/шум, которое вводится как логарифм отношения максимально возможной энергии сигнала к квадрату среднеквадратической ошибки (СКО).
К этой метрике справедливо предъявляются претензии относительно ее несоответствию трем вышеприведенным требованиям. Несмотря на это, она широко используется, но не все знают, что в ее применении есть один нюанс: сначала необходимо вычислить СКО по отдельным областям (цветовым каналам, различным кадрам видео и т. д.), а затем уже брать логарифм от среднего значения СКО.
Другая возможная пиксельная метрика – максимальная разность между пикселами. Здесь рекомендуется вычислять несколько значений максимальной разности и находить их среднеквадратическое значение.
Рассмотренные выше метрики имеют то ограничение, что при их применении сравниваются только изображения целиком. Может оказаться полезным проводить сравнение изображений, представленных при разных масштабах. Известно, что система человеческого зрения вначале оценивает низкочастотную копию изображения, затем уже вникает в детали. Таким образом, разнице между изображениями, взятыми с грубым разрешением, можно придать большие веса, а разнице высокочастотных деталей – малые веса. Такая метрика находит применение в системах машинного зрения.
2. Корреляционные метрики
Корреляционные меры взаимосвязаны с мерами расстояния: если два изображения идентичны, коэффициент корреляции будет равен 1, если квадрат ошибки равен энергии изображения (например, значения пикселов другого изображения равны нулю), то корреляционная мера будет равна нулю.
Корреляцию можно вычислять как между пикселами изображений, так и между образованными ими векторами (например, корреляция углов между векторами).
3. Контурные метрики
Во многих работах показано, что контуры являются наиболее информативной частью изображения. Именно контуры выделяет в первую очередь система человеческого зрения, анализ контуров используется в машинном зрении. Значит, качество контуров говорит о качестве изображения. Примеры деградации контуров включают в себя разрыв линий, размытие линий, смещение линий, ложные контуры и т. д.
Для того чтобы выполнить сравнение изображений на основе контуров необходимо каким-то образом выделить контуры на исходном изображении (оконтурить его), затем тем же методом выделить контуры на восстановленном изображении и сравнить их (например, вычислить корреляцию).
4. Метрики в спектральной области
После вычисления преобразования Фурье изображения имеется возможность сравнивать амплитуду и фазу получившегося спектра. Известны предложения по построению на этой основе метрик оценки качества изображений.
5. Контекстные метрики
В контекстных метриках используется наличие корреляционных связей между соседними пикселами изображения и их ослабление в искаженном изображении.
Для получения метрики необходимо уметь вычислять многомерную функцию распределения вероятности значений пикселов из некоторой окрестности и научиться уметь определять изменение этой функции.
Другим подходом к локальной оценке искажения изображения является вычисление и сравнение для исходного и искаженного изображений локальных гистограмм, например, для блоков размером 16 х 16. Сравнение может быть выполнено путем применения, например, рангового корреляционного критерия Спирмана.
6. Метрики, учитывающие свойства человеческого зрения
Одной из возможностей построения метрик данного класса является предварительная фильтрация изображений полосовыми фильтрами, имитирующими их восприятие человеком.
Другой возможностью построения метрик, учитывающих свойства зрения, является выполнение вейвлет-преобразования исходного и искаженного изображений, в результате чего изображения будут представлены на нескольких масштабах. Далее для каждой субполосы вейвлет-области надо выбрать масштабный вес, на который будет умножаться та или иная метрика, вычисленная локально для этой области. В зависимости от задачи эти веса могут варьироваться. Например, если важен учет высокочастотных составляющих (четкость линий и т. д.), то веса для высокочастотных областей могут быть увеличены.
Метрика может вычисляться как для всей субполосы, так и локально, для ее блоков с последующим усреднением тем или иным образом.
В работе [2] было изучено множество метрик рассмотренных классов и изучена их «самостоятельность». Близкое размещение метрик на рис. означает их коррелированность (и избыточность).
ЭКСПЕРИМЕНТЫ ПО ОЦЕНКЕ КАЧЕСТВА ВИДЕОКОДЕКОВ. ПЕРСПЕКТИВНАЯМЕТРИКА
Специалистами факультета ВМиК МГУ разработано программное обеспечение и на протяжении лет проводится тестирование различных видеокодеков как на основе субъективных, так и объективных метрик качества. С результатами можно ознакомиться на сайте, посвященном сжатию [3]. Там же можно скачать и соответствующее программное обеспечение.
В процессе экспериментов наилучшие результаты показала новая метрика SSIM (Structural Similarity Image Measure). Как следует из названия, эта метрика оценивает структурную схожесть изображений. Подробное изложение теории этой метрики приведено в работе авторов [4], здесь же приведем общую схему ее вычисления
ЧТО ДАЛЬШЕ?
Мировым сообществом предпринимаются значительные усилия по разработке новых, более эффективных объективных метрик оценок качества видео. Основные направления исследований сосредоточены на следующих направлениях:
- разработка адекватных моделей человеческого зрения;
- построение адаптивных моделей человеческого зрения;
- построение метрик, почти совсем или полностью не требующих для оценки качества оригинала видеопоследовательности.
Ведущим сообществом в данных исследованиях является Video Quality Experts Group (VQEG), материалы которой можно получить через Интернет, также как и источники, ссылки на которые приведены по тексту статьи.
Литература
1. Winkler S. Digital Video Quality. Vision models and metrics. Wiley, 2005. 192 p.
2. Avcibas I. Image Quality Statistics and their use in steganalysis and compression. PhD Thesis.Bogazichi Univ., 2001. 113 p.
3. http://www.compression.ru
4. Wang Z., Bovik A., Sheikh H., Simoncelli E. Image Quality Assessment: From Error Visibility to Structural Similarity // IEEE Trans. On Image Proc., Vol.13, № 4, 2004.
Добавить комментарий