На правах рукописи

Поляков Дмитрий Борисович

РАЗРАБОТКА МЕТОДОВ И УСТРОЙСТВ КОМПЕНСАЦИИ

ПРОСТРАНСТВЕННО-ВРЕМЕННЫХ ИСКАЖЕНИЙ

В СИСТЕМАХ ЦИФРОВОГО ТЕЛЕВИДЕНИЯ

Специальность 05.12.04 – Радиотехника,

в том числе системы и устройства телевидения

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва 2009

Работа выполнена на кафедре телевидения Государственного образовательного учреждения высшего профессионального образования Московский технический университет связи и информатики (ГОУ ВПО МТУСИ).

Научный руководитель: кандидат технических наук, доцент Игнатов Флегонт Михайлович

Официальные оппоненты: доктор технических наук, профессор Селиванов Арнольд Сергеевич кандидат технических наук, доцент Смирнов Александр Витальевич

Ведущая организация: Всероссийский научно-исследовательский институт телевидения и радиовещания (ВНИИТР)

Защита состоится 19 марта 2009 г. в 15 часов на заседании совета по защите докторских и кандидатских диссертаций Д219.001.01 при ГОУ ВПО Московский технический университет связи и информатики по адресу: 111024, Москва, ул. Авиамоторная, д. 8а, ауд. А-455.

С диссертацией можно ознакомиться в библиотеке Московского технического университета связи и информатики.

Автореферат разослан «_»_2009 г.

Ученый секретарь совета по защите докторских и кандидатских диссертаций, к.т.н., доцент _ Р.Ю. Иванюшкин

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. С широким распространением таких технологий, как цифровое телевидение, потоковое видео через Интернет и т.д., компрессия видеоданных, т.е. их обработка с целью сокращения объема информации, стала существенным компонентом широковещательного и развлекательного медиа.

Успешное внедрение цифрового телевидения стало возможным, в частности, благодаря стандарту MPEG-2, разработанному более 15 лет назад и широко используемому в настоящее время, но морально устаревшему. На данный момент созданы более совершенные стандарты видеокодирования, например, H.264/AVC. На основании анализа рынка аппаратных разработок в области видеокодирования и направлений научных исследований можно сделать вывод, что он займет лидирующее положение среди форматов сжатия видео в ближайшее время. Однако применение более совершенных методов кодирования не позволяет в полной мере избежать появления характерных для видеокодеков искажений. Так как компрессия видеоданных – это всегда компромисс между коэффициентом сжатия и потерями в качестве, то такой процесс сопровождается возникновением в кодированном сигнале искажений, как пространственного, так и временного характера.

Специфика таких искажений различна для областей использования стандартов видеокодирования в широком диапазоне: от захвата и воспроизведения видео на мобильных устройствах с ограниченными вычислительными ресурсами до HDTV кинотеатров. Стоит отметить, что проблема компенсации и устранения искажений становится актуальной при кодировании с достаточно низкой скоростью битового потока. Особенную актуальность подобные исследования приобретают в связи с переходом России на цифровое телевещание.

Существенный вклад в разработку цифровых систем сжатия и обработки изображений, а также методов и аппаратуры измерения качества в цифровых телевизионных (ТВ) системах, внесли теоретические и практические работы отечественных ученых: С.И. Катаева, М.И. Кривошеева, В.Н. Безрукова, А.С.

Селиванова, Б.П. Хромого, Ю.Б. Зубарева, В.П. Дворковича, а также исследования ряда зарубежных специалистов: Г. Салливана, Т. Вайгэнда, Дж.

Вудса, А. Таураписа, А. Бовика и других.

Несмотря на растущий объем памяти носителей информации и увеличение пропускной способности каналов связи, повышение эффективности сжатия видеоматериала по-прежнему остается актуальной задачей, поскольку требования к качеству видео растут вместе с доступными вычислительными ресурсами. Задачи увеличения эффективности кодирования неразрывно связаны с задачами повышения качества изображения, поэтому проведение исследований и разработка алгоритмов компенсации и устранения искажений в кодированном сигнале телевизионных изображений является актуальным направлением исследований.

Цель и задачи работы. Целью настоящей диссертационной работы является разработка эффективных методов и устройств компенсации пространственных и временных искажений в системах цифрового телевидения, учитывающих специфику кодирования и преобразования сигналов, а также разработка и моделирование алгоритмов, реализующих предложенные методы.

Для достижения поставленной цели в работе решаются следующие научнопрактические задачи:

1. Анализ архитектуры современных стандартизированных и альтернативных видеокодеков с целью выявления характерных искажений в кодированном сигнале ТВ изображений.

2. Исследование и разработка алгоритмов компенсации пространственных искажений в системах сжатия статических и динамических изображений с поблочной обработкой изображения;

3. Исследование и разработка методов компенсации временных искажений в системах цифрового телевидения;

4. Исследование и разработка методов эффективного сжатия видеопоследовательностей с наличием локальных изменений сигнала Методы исследования. При решении поставленных задач в работе использованы современные методы цифровой обработки изображений, статистической радиотехники, спектрального анализа и программирования.

Личный вклад. Все основные научные результаты, изложенные в диссертации, получены автором лично.

Научная новизна работы.

1. Получены аналитические выражения для частотных характеристик фильтров интерполяции в стандартах H.264/AVC, MPEG-4 Visual, AVS, на основе которых проведена оценка эффективности фильтрации.

2. Разработан алгоритм устранения блочных искажений на основе селективной частотной фильтрации.

3. Предложена модификация методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков с целью уменьшения эффекта мерцания при использовании кодеков стандарта H.264/AVC.

4. Разработан алгоритм селективного взвешенного предсказания с целью повышения эффективности кодирования видеопоследовательностей с наличием локальных изменений сигнала яркости.

Практическая ценность работы.

1. Разработанный алгоритм устранения блочных искажений с селективной частотной фильтрацией встроен в программный кодек H.263+.

2. Использование алгоритма селективного взвешенного предсказания и модифицированной методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков в кодеках стандарта H.264/AVC не требует изменения синтаксиса стандартного битового 3. Разработаны структурные схемы для устройств селективного взвешенного предсказания и деблокинга на основе селективной частотной фильтрации.

Реализация результатов работы. Результаты диссертации использованы при разработке специальных устройств телевизионного контроля объектов во ФГУП МКБ «Электрон», а также внедрены в учебный процесс Московского технического университета связи и информатики в рамках дисциплин «Телевидение» и «Видеотехника». Реализация результатов работы подтверждена соответствующими актами.

Апробация результатов работы. Основные положения и результаты диссертационной работы докладывались и обсуждались на конференции профессорско-преподавательского, научного и инженерно-технического состава МТУСИ, 2006 г.; на Московских отраслевых научно-технических конференциях «Технологии информационного общества», 2007, 2008 гг.; на 5-й и 7-й Международных научно-технических конференциях «Фундаментальные проблемы радиоэлектронного и оптоэлектронного приборостроения» Intermatic, 2006, 2008 гг.; на 14-й Всероссийской и 16-й Международной научнотехнических конференциях «Современное телевидение», 2006, 2008 гг.; на 63-й Научной сессии РНТОРЭС им. Попова, 2008 г.; на 5-й Международной научнотехнической конференции «Молодые ученые – науке, технологиям и профессиональному образованию», 2008 г.

Публикации. По теме диссертации опубликовано 13 печатных работ, в том числе две статьи в ведущих рецензируемых журналах, входящих в перечень ВАК.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и трех приложений, изложена на 193 страницах, иллюстрирована 86 рисунками, содержит таблиц. Библиография включает 174 наименования.

Основные положения, выносимые на защиту.

1. Результаты оценки эффективности интерполяционной фильтрации в стандартах H.264/AVC, MPEG-4 Visual, AVS.

2. Алгоритм устранения блочных искажений на основе селективной частотной фильтрации позволяет повысить качество декодированных видеопоследовательностей.

3. Модифицированная методика выбора режима внутрикадрового предсказания и режима кодирования макроблоков уменьшает эффект мерцания при кодировании видеопоследовательностей по стандарту H.264/AVC.

4. Алгоритм селективного взвешенного предсказания позволяет увеличить видеопоследовательностей с наличием локальных изменений сигнала 5. Результаты экспериментального исследования разработанных алгоритмов.

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертационной работы, указана цель работы, определены задачи и методы исследования.

Сформулированы научная новизна, практическая значимость и положения, выносимые на защиту, а также кратко излагается содержание работы по главам.

В первой главе рассмотрена архитектура современных видеокодеков, масштабируемого битового потока. Проанализированы методики межкадровой и внутрикадровой обработки сигналов ТВ изображений в стандартных и альтернативных видеокодеках.

Рассмотрены архитектуры видеокодеков (Dirac, 3D SPIHT, MC-EZBC), основанных на вейвлет-преобразовании. Показано, что характерными для трехмерных вейвлет-кодеков временными искажениями при сжатии с большим коэффициентом компрессии, являются флуктуации объективных показателей качества во временных субполосах группы кадров, что вызывает неприятный для пользователя эффект мерцания. При очень низких скоростях кодирования становится заметна мешающая временная частота, связанная с накоплением ошибки в группе кадров.

Проведено профилирование кода эталонного программного обеспечения JM 13.2, отвечающего требованиям стандарта H.264/AVC. Установлено, что более 62% процессорного времени в кодере при использовании инструментов кодирования базового профиля H.264/AVC тратится на оценку движения. В декодере наиболее ресурсоемкими операциями являются интерполяционная (23,4%) и деблокинговая (22,5%) фильтрации.

Проведена оценка эффективности фильтров интерполяции в стандартах MPEG-4 Visual, H.264/AVC и AVS, применение которых необходимо для оценивания векторов движения с точностью до элемента изображения.

Импульсные характеристики данных фильтров hMPEG 4 (k ), hH 264 (k ), hAVS (k ), где k – относительные координаты, определены в соответствующих стандартах как hH 264 (k ) [1, 5, 20, 20, 5, 1] / 32. Аппроксимированные кубическим сплайном импульсные характеристики построены на рис. 1(а). Для частотных характеристик фильтров получены аналитические выражения (1)-(3), по которым произведена оценка уровня подавления муаровых искажений (табл. 1).

где – круговая пространственная частота, [, ].

Нормированные амплитудно-частотные характеристики фильтров интерполяции построены на рис. 1(б).

Рис. 1. Импульсные (а) и амплитудно-частотные (б) характеристики фильтров Согласно результатам исследования, наиболее качественный фильтр применяется в стандарте MPEG-4 Visual, в то время как фильтр стандарта H.264/AVC, обеспечивающий меньший уровень подавления муаровых искажений, имеет меньшую вычислительную сложность.

Уровень подавления муаровых искажений фильтрами интерполяции, дБ Сделан вывод о том, что наиболее серьезным пространственным искажением в системах сжатия, основанных на поблочной обработке изображения, при кодировании с высоким коэффициентом компрессии, являются блочные искажения (блокинг). Также, при циклической вставке Iкадров, становятся заметны временные искажения в виде мерцания, одной из причин которых в кодеках стандарта H.264/AVC является наличие нескольких режимов внутрикадрового предсказания.

Во второй главе проведены исследования и разработка алгоритмов устранения пространственных и временных искажений.

Рассмотрены и классифицированы алгоритмы устранения блочных искажений (рис. 2).

Изменение структуры преобразования Рис. 2. Классификация алгоритмов устранения блочных искажений Результаты анализа фильтров устранения блочных искажений позволяют сделать вывод, что достижение высокого качества восстановленного изображения отмечается при соблюдении следующих условий:

- вовлечении всех пикселей изображения в процесс фильтрации;

- осуществлении фильтрации в частотном пространстве.

Проведено сравнение эффективности работы фильтров устранения блочных искажений в стандартах H.263+, MPEG-4 Visual, H.264/AVC и VC- по критерию пикового отношения сигнал/шум (ПОСШ) и критерию структурного подобия (SSIM). Графики полученных зависимостей приведены в Приложении 1 к диссертационной работе. Измерена также вычислительная сложность алгоритмов с учетом количества инструкций, затрачиваемых на обработку одного кадра. По результатам исследования сделаны следующие выводы:

- наиболее эффективный фильтр – в стандарте H.264/AVC: он позволяет повысить качество изображения стандартной четкости в среднем до 0,46 дБ (до 0,0182 по критерию структурного подобия);

- наименее затратные по объему вычислений – алгоритмы деблокинга в стандартах H.263+ и VC-1;

- отсутствие фильтрации в петле кодирования следует признать недостатком архитектуры кодеков MPEG-4 Visual.

Предложена модификация алгоритма деблокинга, рассматривающего задачу устранения блочных искажений как задачу удаления шума из изображений. Такие алгоритмы перед обратным ДКП добавляют равномерный шум к коэффициентам преобразования, получая после обратного ДКП изображение, содержащее гауссовский шум. Любой из эффективных методов удаления такого типа шума может использоваться на заключительном шаге алгоритма.

классифицируют блоки декодированного изображения в реальной области путем подсчета их дисперсии и сравнения полученной величины с двумя заранее известными порогами. Если величина дисперсии блока ниже меньшего из порогов, то мощность добавляемого шума максимальна. При превышении дисперсией блока верхнего порога мощность шума минимальна, а в случае получения значения, лежащего между порогами, уровень добавляемого шума принимает некоторое среднее значение.

Недостатком такого подхода является необходимость обратного преобразования изображения в пространственную область для поблочного вычисления дисперсии изображения. Модификация алгоритма состоит в классификации блоков изображения в частотной области без выполнения обратного ДКП, что позволяет сократить общее время обработки. Предложено оценивать степень высокочастотного наполнения блока изображения путем подсчета количества ненулевых коэффициентов преобразования, в соответствии с которым адаптивно изменяется мощность вносимого шума.

Тестирование предложенного алгоритма проведено с использованием трех методов удаления шума из изображений: винеровской фильтрации, билатеральной фильтрации и фильтра нелокального усреднения. Применение таких методов обусловлено необходимостью предотвращения размазывания текстурных областей, границ и контуров изображения. Результаты исследования приведены на рис. 3.

Рис. 3. Эффективность работы алгоритма деблокинга с инжекцией шума По результатам исследования сделаны следующие выводы:

1) предложенный алгоритм обеспечивает увеличение объективного качества изображений до 1 дБ;

2) алгоритм имеет высокую вычислительную сложность и низкую или отрицательную эффективность работы при относительно высоком качестве изображения перед обработкой.

Полученные результаты говорят о том, что широкое внедрение алгоритмов устранения блочных искажений с инжекцией шума нецелесообразно.

Предложен алгоритм устранения блочных искажений на основе селективной частотной фильтрации, который удовлетворяет двум ранее заявленным критериям. Основой алгоритма является обработка изображения перекрывающимися блоками 16х16, которая производится согласно следующей предложенной методике.

Пусть А – область изображения 16х16 и Bi, где i 1,2,3,4, – неперекрывающиеся блоки 8х8, составляющие участок изображения А. Пусть X – матрица частотных коэффициентов, полученных после выполнения ДКП над А, и Yi - матрицы частотных коэффициентов, полученных после выполнения ДКП над Bi. Экспериментально установлено, что функция взаимной корреляции матрицы X и какой-либо матрицы Yi, увеличенной до размеров X с помощью, например, билинейной интерполяции, имеет ярковыраженный пик при нулевых смещениях (рис. 4).

Рис. 4. Типичный вид функции кросс-корреляции между матрицами коэффициентов ДКП для фонового (а) и граничного (б) участков натуральных В связи с этим возможно проведение реконструкции элементов матрицы X по элементам Yi. Однако с учетом аспектов вычислительной сложности и точности предсказания с помощью билинейной интерполяции, предложено не реконструировать значения элементов x(i, j ) матрицы X, где i {0,1,...,15}, j {0,1,...,15} - координаты элемента, а производить их фильтрацию по (4).

где z (m, n) - элементы вспомогательной матрицы Z размера 16х16, всем элементам которой изначально присваиваются нулевые значения, а элементы z(2k,2l ), где k {0,1,...,7}, l {0,1,...,7}, формируются согласно (5):

где yi (k, l ) - элемент матрицы Yi.

Описанная выше процедура позволяет эффективно устранять блочные искажения в пределах блока обработки 16х16. Для перекрытия всех границ, остающихся необработанными на изображении после первого прохода алгоритма, потребуется дополнительно 3 раза обработать все изображение со смещенным начальным положением блока обработки 16х16. В каждом из дополнительных проходов обработки верхний левый угол блока обработки будет иметь координаты (0, 8), (8, 0) и (8, 8) соответственно.

Разработка весовой функции для взвешенного суммирования экспериментального исследования и теоретического моделирования (рис. 5(а)) ошибки квантования в пространственной области при разных коэффициентах сжатия. Основываясь на полученных результатах, синтезирована весовая функция S (i, j ) (рис. 5(б)), учитывающая зависимость ошибки квантования в пространственной области от координат в пределах блока 16х16.

Рис. 5. Дисперсия ошибки квантования в пространственной области (а) и Во второй главе также определены причины возникновения эффекта мерцания в кодеках стандарта H.264/AVC: присутствие пространственновременного шума на видеопоследовательностях и наличие нескольких режимов внутрикадрового предсказания. Предложена модификация методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков в стандарте H.264/AVC с целью уменьшения эффекта мерцания.

Как известно, в стандарте H.264/AVC используются 9 режимов внутрикадрового предсказания для блоков 4х4 и 4 режима для блоков 16х16.

Лучший режим внутрикадрового предсказания I p из p возможных для каждого из 16-ти блоков 4х4 B44, составляющих текущий макроблок М, определяется по минимальному значению функции Лагранжа, вычисляемой согласно (6).

где D( I p, B44 ) - метрика искажений, определяемая как сумма квадратов разниц между значениями элементов исходного и декодированного блока, предсказанного в режиме I p ; R( I p, B44 ) - количество бит, требуемых для кодирования блока B44, предсказанного в режиме I p. Множитель MODE определяется с помощью зависимости MODE (QP) 0.85 2(QP 12)/3, где QP – параметр квантования.

Лучший режим внутрикадрового предсказания для блока B1616, составляющего текущий макроблок М, находится с помощью определения минимальной метрики искажений:

Решение о выборе режима кодирования макроблока I-кадра (Intra_4x4 или Intra_16x16) принимается также по минимальному значению функции Лагранжа:

Установлено, что наличие нескольких режимов внутрикадрового предсказания является одной из причин появления эффекта мерцания в последовательностях, сжатых только с использованием внутрикадровых методов кодирования или с циклической вставкой I-кадров. Количественной оценкой этого эффекта служит индекс мерцания, определяемый для каждого кадра:

где N - количество макроблоков в изображении, удовлетворяющих предъявленному в (10) критерию, M k - k -тый макроблок, f t и f t - исходный и декодированный кадры соответственно в момент времени t, (i, j ) - координаты элемента изображения. Порог определен экспериментально и равен 10.

Предлагаемая модификация методики принятия решений заключается в добавлении еще одного слагаемого к правой части функции Лагранжа, которое учитывает оценку величины эффекта мерцания для данного блока в текущем режиме. Таким образом, выражения (6) и (8) примут вид:

где а и b – масштабирующие множители, определенные экспериментально. В проведенных экспериментах а=10 и b=15.

В третьей главе исследован алгоритм взвешенного предсказания (ВП) в стандарте H.264/AVC, применение которого позволяет снизить вероятность определения ложного движения при наличии градационного перехода между кадрами видеопоследовательности.

ВП предусматривает возможность явного или неявного контроля относительного вклада опорных кадров в процесс компенсации движения. ВП оценивает яркость текущего пикселя мультипликативным весовым фактором w0C и аддитивной величиной o0C (15). При осуществлении межкадрового предсказания по списку опорных изображений L0, ВП производится согласно (15):

predPartC [ x, y] Clip1C {(( predPartL0C [ x, y] w0C 2logWD1) logWD) o0C }, (15) где predPartL0C [ x, y] – пиксель опорного изображения, predPartC [ x, y] результат взвешенного предсказания, индекс С может принимать значения L, Cb, Cr (для яркостного и цветоразностных сигналов соответственно), функция Clip1C ограничивает значения пикселей в соответствующем динамическом диапазоне, величина logWD фактически играет роль квантователя (ее наличие продиктовано необходимостью иметь вес w0C в целочисленной форме).

Экспериментально показано, что в случае глобального изменения яркости, т.е. при наличии градационного перехода между смежными кадрами, ВП позволяет закодировать текущее изображение, используя меньшее количество бит без потери в качестве. Однако при локальных изменениях яркости применение ВП дает неудовлетворительные результаты. В ходе экспериментов установлено, что при таких изменениях для кодирования кадра может потребоваться больше бит, чем при кодировании без ВП. Это является следствием того, что для каждого изображения возможно иметь только один набор параметров ВП.

Предложен алгоритм селективного ВП, учитывающий локальные изменения яркости и не требующий для своей реализации изменения синтаксиса битового потока в стандарте H.264/AVC.

Пусть Pтекущ и Pопорн – текущее и опорное изображения соответственно, и ( x, y ) – координаты элемента изображения. Сначала производится оценка наличия градационного перехода между Pтекущ и Pопорн : определяется межкадровая разность (16), находится дисперсия полученной разности (17).

где N – количество элементов изображения.

После определения 2 проводится сравнение отношения 2 / N с пороговой величиной T1, превышение которой означает наличие сильного движения или смены сцены. В этом случае выполнение алгоритма прерывается, т.к. в обоих случаях его применение неэффективно. Порог определен экспериментально и равен 0,025. При 2 0 алгоритм также заканчивает работу. При выполнении условия ( 2 / N ) T1 определяется критерий I (19) нормировкой дисперсии разности среднеквадратичной величиной этой разности для того, чтобы избежать определения ложных градационных переходов.

где Далее величина I сравнивается с порогом T 2, при этом, если I T 2, то фиксируется наличие градационного перехода. Порог T 2 определен экспериментально и равен 0,92. При I T 2 алгоритм заканчивает работу.

В качестве наименьшей единицы сегмента изображения принят макроблок, поскольку в его заголовке передается информация об индексе опорного изображения, по которому производится межкадровое предсказание.

Если величина DM каждого макроблока M, превышает значение отношения E / N, то этот макроблок относится к сегменту с высокой степенью относительных изменений, если нет – к сегменту с низкой степенью изменений. После вычисления величины DM для всех макроблоков производится анализ окрестности каждого из макроблоков, отнесенных к первому сегменту. При наличии менее трех макроблоков из первого сегмента, смежных с текущим, маркировка принадлежности к первому сегменту с текущего макроблока снимается. Эта операция необходима для отбрасывания ложно отнесенных к первому сегменту макроблоков, например, из-за наличия сильного движения между кадрами.

Определение параметров взвешенного предсказания предлагается производить по формулам (21) и (22).

где яркостей сегмента N k в текущем и опорном изображениях соответственно, floor () – функция округления до ближайшего целого в меньшую сторону.

Обоснована возможность внедрения предложенного алгоритма селективного взвешенного предсказания в кодеки стандарта H.264/AVC без изменения синтаксиса битового потока, благодаря предусмотренному в стандарте процессу переупорядочивания списков опорных изображений. Этот процесс имеет возможность помещать в список изображения, которые не были в изначальном списке (при инициализации слайса). Таким образом, данный процесс позволяет не только переупорядочивать индексы в списках, но и модифицировать их так, чтобы несколько индексов фактически указывали на одно опорное изображение. При наличии нескольких копий одного опорного изображения (количество копий соответствует количеству сегментов, на которые разбивается изображение) с каждым из их индексов связывается собственный набор параметров ВП. Таким образом, никакого изменения синтаксиса битового потока не требуется, и все процедуры на приемной стороне производятся в соответствии со стандартом, а значит любой декодер, соответствующий стандарту H.264/AVC, способен декодировать битовый поток, созданный с использованием разработанного алгоритма селективного ВП.

В четвёртой главе разработаны структурные схемы устройств, реализующих алгоритм деблокинга и алгоритм селективного взвешенного предсказания. Приведены результаты экспериментального исследования разработанных алгоритмов.

Алгоритм деблокинга на основе селективной частотной фильтрации встроен в программный кодек H.263+ (исходный код на языке Си для алгоритма приведен в Приложении 2 к диссертационной работе). С учетом требования минимально возможной вычислительной и структурной сложности при программно-аппаратной реализации, в качестве ДКП 16х16 предложено использовать целочисленную аппроксимацию преобразования на основе факторизации Леффлера, позволяющей вычислять ДКП блока 16х16 за операций сдвига и 27136 операций сложения. Применение целочисленной аппроксимации ДКП позволяет избежать операций с плавающей точкой и упрощает практическую реализацию алгоритма на цифровых сигнальных процессорах.

Проведено сравнение разработанного алгоритма устранения блочных искажений со штатным фильтром деблокинга H.263+ и spp деблокингом, входящим в состав библиотеки DirectShow фильтров ffdshow. Визуализация объективных метрик качества (ПОСШ и SSIM) для 100 кадров видеопоследовательности «Foreman» приведена на рис. 6 (а) и (б) соответственно. Разработанный алгоритм устранения блочных искажений позволяет повысить качество изображений до 1 дБ по критерию ПОСШ и до 0,03 по критерию структурного подобия. Встроенными средствами языка Си оценено время обработки: для видеопоследовательности формата CIF (размер кадра 352х288 пикселей) задержка составляет около 10 мс на кадр.

Экспериментальные исследования модифицированного метода выбора режима внутрикадрового предсказания и режима кодирования макроблоков проводились с использованием кодека JM версии 14.0, отвечающего требованиям стандарта H.264/AVC. На рис. 7 представлены результаты работы предложенного метода при кодировании видеопоследовательности «Waterfall»

с циклической вставкой I-кадров (25 кадров на группу) в формате IPP…P. В среднем уменьшение эффекта мерцания составило 24%. При этом потери в объективном качестве (по метрике ПОСШ) находятся в пределах 0.2 дБ.

Y-SSIM Рис. 6. Результаты сравнения алгоритмов деблокинга по критериям Рис. 7. Уменьшение эффекта мерцания при использовании модифицированной методики выбора режимов внутрикадрового предсказания и режима Экспериментальные исследования алгоритма селективного взвешенного предсказания проводились также с использованием кодека JM 14.0. В таблице приведены результаты различных вариантов кодирования 29-го кадра последовательности «Stefan» со вспышкой на переднем плане. Кодирование производилось с параметром квантования, равным 30. При использовании предложенного алгоритма потребовалось на 6% меньше бит для кодирования кадра.

Эффективность работы алгоритма селективного взвешенного предсказания В заключении изложены наиболее значимые результаты, полученные в диссертационной работе, а именно:

1. Получены аналитические выражения для частотных характеристик фильтров интерполяции в стандартах H.264/AVC, MPEG-4 Visual, AVS, на основе которых проведена оценка эффективности фильтрации.

2. Установлено, что основными искажениями вейвлет-видеокодеков при кодировании с высоким коэффициентом компрессии является размытие изображения и колебание показателей объективного качества изображения в пределах группы кадров. Основными пространственными искажениями систем сжатия на основе ДКП являются блочные искажения и размытие изображения в пределах блока обработки.

Характерным для систем сжатия на основе ДКП временным искажением является эффект мерцания, заметный для наблюдателя при достаточно использованием только I-кадров или с циклической вставкой I-кадров.

3. Сравнение эффективности работы фильтров устранения блочных искажений в стандартах H.263+, MPEG-4 Visual, H.264/AVC и VC- показало, что наиболее эффективный фильтр среди сравниваемых – в стандарте H.264/AVC.

4. Установлено, что алгоритмы устранения блочных искажений с добавлением шума имеют высокую вычислительную сложность, низкое качество работы и малопригодны для практической реализации.

5. Разработанный алгоритм устранения блочных искажений на основе селективной частотной фильтрации позволяет повысить качество изображений до 1 дБ по критерию пикового отношения сигнал/шум и до 0,03 по критерию структурного подобия.

6. Предложенная модификация методики выбора режима внутрикадрового предсказания и режима кодирования макроблоков в стандарте H.264/AVC позволяет снизить проявление эффекта мерцания в среднем 7. Предложенный алгоритм селективного взвешенного предсказания позволяет сократить объем передаваемой информации при кодировании кадра с наличием локальных изменений яркости в среднем на 6%.

Обоснована возможность внедрения предложенного алгоритма в кодеки стандарта H.264/AVC без изменения синтаксиса стандартного битового потока.

СПИСОК ПУБЛИКАЦИЙ

1. Поляков Д.Б. Сравнение алгоритмов деблокинга в стандартах видеокомпрессии H.263, MPEG-4 ASP, MPEG-4 AVC, VC-1// Инфокоммуникационные технологии. – 2008. – Т.6. – № 3. – С. 31-35.

2. Поляков Д.Б. Повышение эффективности сжатия видео с использованием селективного взвешенного предсказания // T-Comm - телекоммуникации и транспорт. – 2008. – № 6. – С. 21-23.

3. Поляков Д.Б. Методы пространственно-временного шумоподавления // Труды 14-й Всероссийской научно-технической конференции «Современное телевидение». – М.: ФГУП МКБ «Электрон», 2006. – С. 87-89.

4. Поляков Д.Б. Пространственно-временные искажения сигналов изображений со сжатым спектром // Научная конференция профессорскопреподавательского, научного и инженерно-технического состава: Tез.

докл. Книга 1. – М., 2006. – С. 135-136.

5. Поляков Д.Б. Повышение точности оценки движения динамических объектов изображения // Материалы 5-й Международной научнотехнической конференции Intermatic «Фундаментальные проблемы радиоэлектронного приборостроения». – М.: МИРЭА, 2006. – Ч.2. – С. 184-186.

6. Поляков Д.Б. Методы компенсации пространственно-временных искажений в системах со сжатием спектра сигналов изображений по стандарту MPEG-2 // Московская отраслевая научно-техническая конференция «Технологии информационного общества»: Tез. докл. – М.:

Инсвязьиздат, 2007. – С. 120.

7. Поляков Д.Б. Специфика слежения за движением в стандарте MPEG-4 // Московская отраслевая научно-техническая конференция «Технологии информационного общества»: Tез. докл. – М.: Инсвязьиздат, 2007. – 8. Поляков Д.Б. Блочные алгоритмы оценки движения // Труды Московского технического университета связи и информатики: – М.:

“ИД Медиа Паблишер”, 2008. – Т.1. – С. 463-466.

9. Поляков Д.Б. Алгоритмы поиска границ для полутоновых изображений // Труды 16-й Международной научно-технической конференции «Современное телевидение». – М.: ФГУП МКБ «Электрон», 2008. – С. 183-186.

10. Поляков Д.Б., Игнатов Ф.М. Адаптивное добавление шума в изображение для устранения блочных искажений // Труды Российского научнотехнического сообщества радиотехники, электроники и связи им. А.С.

Попова / Серия: Научная сессия, посвященная Дню Радио / Выпуск:

LXIII. – М.: Инсвязьиздат, 2008. – С. 359-361.

11. Поляков Д.Б. Исследование фильтров интерполяции в стандартах видеокодирования // Журнал научных публикаций аспирантов и докторантов. – 2008. – № 8. – С. 246-249.

12. Поляков Д.Б. Оценка качества фильтров интерполяции в стандартах видеокодирования // Материалы Международной научно-технической школы-конференции «Молодые ученые – науке, технологиям и профессиональному образованию». – М.: Энергоатомиздат, 2008. – С. 87Поляков Д.Б. Алгоритм селективного взвешенного предсказания в видеокодировании // Материалы Международной научно-технической школы-конференции «Молодые ученые – науке, технологиям и профессиональному образованию». – М.: Энергоатомиздат, 2008. – С. 146-149.