На правах рукописи

Пьянков Дмитрий Игоревич

МЕТОД ПРОСТРАНСТВЕННО-ВРЕМЕННОЙ

ОБРАБОТКИ НЕСИНХРОНИЗИРОВАННЫХ

ВИДЕОПОСЛЕДОВАТЕЛЬНОСТЕЙ

В СИСТЕМАХ СТЕРЕОВИДЕНИЯ

05.13.01 – Системный анализ, управление и обработка

информации (космические и информационные технологии)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Красноярск – 2013

Работа выполнена в ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» (СибГАУ), г. Красноярск

Научный руководитель: доктор технических наук, доцент Фаворская Маргарита Николаевна

Официальные оппоненты: Сафонов Константин Владимирович, доктор физико-математических наук, профессор, федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнёва», зав. кафедрой прикладной математики Выголов Олег Вячеславович, кандидат технических наук, начальник лаборатории ФГУП «Государственный научноисследовательский институт авиационных систем (ФГУП «ГосНИИАС»)

Ведущая организация: Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования «Сибирский государственный технологический университет»

Защита состоится 14 июня 2013 г. в 14 часов на заседании диссертационного совета Д 212.249.02 при ФГБОУ ВПО «Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнева» по адресу: 660014, г. Красноярск, проспект имени газеты «Красноярский рабочий»,

С диссертацией можно ознакомиться в научной библиотеке Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева

Автореферат разослан 29 апреля 2013 г.

Ученый секретарь А.А. Кузнецов диссертационного совета

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время стереовидеопоследовательности используются в киноиндустрии, в технических, геоинформационных системах, системах контроля и навигации. Стереовидеопоследовательность можно преобразовать под метод просмотра при помощи анаглифных очков, линейной поляризации или затворных ЖК-панелей; с другой стороны, на основе стереовидеопоследовательности можно извлечь глубину сцены и вычислить расстояние до объектов относительно центра камер. Методы оценки движения и интерполяции кадров могут применяться при сжатии изображений, преобразовании форматов видео, повышении качества видеоматериалов. Методы интерполяции видеопоследовательностей позволяют восстанавливать поврежденные кадры, делают движение объектов плавным при просмотре.

Наиболее активные разработки в сфере пространственной и временной коррекции видеопоследовательностей проводятся такими российскими университетами, как: Институт систем обработки изображений РАН (г. Самара), Московский государственный университет, СанктПетербургский государственный университет информационных технологий, механики и оптики, Ярославский государственный университет и ряд других организаций. Следует отметить вклад российских ученых, таких как чл.-корр. РАН, д.ф.-м.н. К.В. Рудаков, чл.-корр. РАН, д.т.н. В.А. Сойфер, д.т.н. В.П. Пяткин, д.т.н. Л.М. Местецкий, д.т.н. В.В. Сергеев, к.т.н.

А.А. Лукьяница, д.ф.-м.н. Ю.В. Визильтер. Большой вклад в развитие теории обработки изображений внесли A.C. Алексеев, Т.Б. Борукаев, P.E. Быков, Г.И. Василенко, Ю.Г. Васин, К.К. Васильев, Г.Л. Гимельфарб, Ю.И.

Журавлев, B.C. Киричук, Г.П. Катыс, В.Р. Крашенинников, А.П. Немирко, А.И. Перов, Ю.П. Пытьев, Ю.Г. Сосулин, A.A. Спектор, Я.А. Фурман, Н.Г.

Федотов и другие. Среди зарубежных учреждений, занимающихся данной тематикой, можно отметить University of California, Massachusetts Institute of Technology, (США), The University of Queensland (Австралия), University of Manchester, Cambridge (Англия), Soongsil University (Южная Корея), University of Muenster (ФРГ).

Однако до сих пор существуют проблемы при построении стереовидеопоследовательностей на основе несинхронизированных видеопоследовательностей. Стереокадры должны быть максимально синхронизированы между собой. С одной стороны проблема решается при помощи аппаратной синхронизации и калибровки камер до стереосъемки. С другой стороны, не всегда имеется возможность калибровки камер до начала стереосъемки, к тому же сцена может быть снята одной и той же камерой с разных ракурсов. Бюджетный вариант видеокамер не позволяет достичь синхронной записи при частоте 24-30 кадров в секунду ввиду различных факторов: различного времени доступа к устройству хранения, несинхронного старта и т. д. Это обуславливает необходимость длительной обработки и коррекции двух видеопоследовательностей в видеоредакторах, что возможно лишь с участием оператора. Таким образом, данное направление нуждается в совершенствовании методов и алгоритмов пространственновременной коррекции видеопоследовательностей в задачах стереовидения.

Целью диссертационной работы является повышение качества обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Поставленная цель определила необходимость решения следующих задач:

1. Провести анализ методов, алгоритмов и систем оценки движения и интерполяции, совмещения видеопоследовательностей.

2. Разработать метод временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей.

3. Усовершенствовать метод пространственной обработки видеопоследовательностей на основе ректификации некалиброванных видеокадров для совмещения видеопоследовательностей.

4. Создать алгоритм пространственно-временной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

5. Создать экспериментальный программный комплекс по оценке движения, интерполяции и ректификации некалиброванных видеопоследовательностей.

6. Провести экспериментальные исследования эффективности разработанных алгоритмов на тестовых выборках.

Область исследования. Работа выполнена в соответствии с пунктом 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации» паспорта специальностей ВАК (технические науки, специальность 05.13.01 – системный анализ, управление и обработка информации).

Методы исследования. При выполнении диссертационной работы использовались методы теории обработки информации, методы аналитической геометрии, теория распознавания образов, теория математической морфологии, методы объектно-ориентированного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработан метод временной обработки видеопоследовательностей, основанный на двухэтапной оценке движения видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением при помощи моментов Зернике и Ху, позволяющий скомпенсировать шумы, дрожание камеры, повысить устойчивость к аффинным преобразованиям объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

2. Разработан метод временной обработки видеопоследовательностей на основе применения статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов в задаче построения интерполированных кадров стереовидеопоследовательностей.

3. Усовершенствован метод пространственной обработки видеопоследовательностей, повышающий количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей на основе процедуры исключения ложных точек, отличающийся устойчивостью фундаментальной матрицы и точностью карт диспаритета при ректификации.

4. Создан алгоритм пространственно-временной коррекции видеопоследовательностей, позволяющий повысить качество анализа данных в задачах стереовидения при обработке несинхронизированных видеопоследовательностей.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения в программно-аппаратных комплексах видеоредактирования, для анализа данных, полученных аэрофотосъемкой и спутниковой фотографией, в системах стереозрения. На основе диссертационных исследований разработана библиотека программных модулей для создания систем оценки движения и интерполяции кадров видеопоследовательностей, для построения стереовидеопоследовательности из несинхронизированных видеопоследовательностей.

Реализация результатов работы. Разработанная программа «Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (MotionMoments v.1)» зарегистрирована в Российском реестре программ для ЭВМ г. Москва, 16 ноября 2012 г. (свидетельство № 2012660384).

Получен акт о передаче алгоритмического и программного обеспечения для редактирования видеопоследовательностей и дальнейшего использования в ООО «ДИИП» (г. Санкт-Петербург) от 18 марта 2013 года.

Получен акт об использовании материалов диссертационного исследования в учебном процессе Сибирского государственного аэрокосмического университета. Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении лекций, лабораторных и практических занятий по дисциплинам «Теоретические основы цифровой обработки изображений», «Алгоритмы обработки изображений и видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете им. академика М. Ф. Решетнева.

Основные положения, выносимые на защиту:

1. Разработанный метод временной обработки видеопоследовательностей с применением моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработанный метод временной обработки видеопоследовательностей с применением статистик высших порядков для видеопоследовательностей с медленной скоростью передвижения объектов.

3. Усовершенствованный метод пространственной обработки видеопоследовательностей для повышения качества ректификации некалиброванных кадров видеопоследовательностей.

4. Алгоритм пространственно-временной обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на XII, XIII и XVI международных научных конференциях «Решетневские чтения» (Красноярск, 2008, 2009, 2012 гг.), ХI всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий» (УланУдэ, 2012), всероссийских конференциях «Техническое зрение в системах управления» (Москва, 2012, 2013), всероссийских научных конференциях студентов, аспирантов и молодых ученых «Наука. Технологии. Инновации» (Новосибирск, 2008, 2009, 2010, 2012), 13-й и 15-й международной конференции и выставке «Цифровая обработка сигналов и ее применение»

(Москва, 2011, 2013), 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (Рязань, 2010), I всероссийской научной конференции молодых ученых «Теория и практика системного анализа» (Рыбинск, 2010), всероссийских конференциях «Актуальные проблемы авиации и космонавтики» (Красноярск, 2008, 2009), VII всероссийской научнопрактической конференции с международным участием «Информационные технологии и математическое моделирование» (Анжеро-Судженск, 2008), а также на научных семинарах лаборатории систем цифровой обработки изображений СибГАУ.

Публикации. По результатам диссертационного исследования опубликовано: 21 печатная работа, из них 3 статьи в научных изданиях из перечня ВАК, 17 тезисов докладов, 1 свидетельство, зарегистрированное в Российском реестре программ для ЭВМ.

Структура работы. Работа состоит из введения, трех глав, заключения, списка литературы и приложения. Основной текст диссертации содержит 129 страниц, изложение иллюстрируется 39 рисунками и 13 таблицами. Библиографический список включает 172 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе рассмотрены существующие методы пространственно-временной коррекции видеопоследовательностей, предназначенные для решения проблемы построения стереовидеопоследовательностей на основе несинхронизированной пары видеопоследовательностей, приведена классификация известных методов, а также проанализированы характеристики существующих систем пространственно-временной коррекции видеопоследовательностей.

Методы временной коррекции видеопоследовательностей предназначены для преобразования частоты кадров видеопоследовательностей на основе интерполяции (табл. 1).

Классификация методов преобразования частоты кадров Методы без оценки Повторение кадров (Frame Repetition) движения Линейная интерполяция (Linear Interpolation) Методы на основе Методы фазовой корреляции (Phase Correlation) оценки движения Методы глобальной компенсации движения Сопоставительные методы (Block-Matching Algorithm) Методы пространственной коррекции видеопоследовательностей предназначены для выделения и сопоставления особенностей изображений, выравнивания изображений, вычисления карты диспаритета (табл. 2).

Группа методов выделения особенностей изображений осуществляет поиск особых точек-детекторов на каждом изображении, инвариантных к масштабированию и вращению. Группа методов сопоставления особенностей изображений предназначена для нахождения дескрипторов – векторов, которые описывают локальную окрестность вокруг особой точки. Методы ректификации применяются для выравнивания и переноса изображений в одну плоскость.

Существующие программные средства, решающие задачу преобразования частоты кадров для получения интерполированных кадров и совмещения кадров, ориентированы на работу в интерактивном режиме, их возможности по автоматической обработке ограничены, коррекция видеопоследовательностей требует активного участия оператора (табл. 3).

Таким образом, проведенный анализ существующих методов и алгоритмов показал, что требуется развитие методов пространственновременной коррекции несинхронизированных видеопоследовательностей в задачах стереовидения.

Классификация методов пространственной коррекции Методы выделения особенностей сопоставления Методы, основанные особенностей на характеристичедескрипторы (моменты Ху, Зернике,

RANSAC

Методы выравнивания Во второй главе диссертации представлены методы и алгоритмы временной обработки несинхронизированных видеопоследовательностей на основе оценки движения для построения интерполированных кадров видеопоследовательностей с различной скоростью передвижения объектов. Представлен усовершенствованный метод пространственной обработки видеопоследовательностей, позволяющий повысить количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей, устойчивость фундаментальной матрицы при ректификации некалиброванных кадров видеопоследовательностей. Предложен алгоритм пространственно-временной коррекции видеопоследовательностей для повышения качества обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

Сравнительная характеристика систем пространственно-временной коррекции видеопоследовательностей VirtualDub (США) Программный исследовательский комплекс обработки видеопоследовательностей (в комплекте плагин «MSU FRC»

(РФ) для преобразования частоты кадров видеопоследовательностей) AviSynth (США) Программная исследовательская система-фреймсервер обработки видеопоследовательностей на основе скриптов (в комплекте библиотека «MVTools» c модулем «MFlowFps» (РФ) Программный коммерческий комплекс обработки видеопоRealViz Retimer (США) следовательностей для автоматической генерации высокоточных промежуточных кадров Программный коммерческий комплекс автоматизированной Adobe AfterEffects (США) обработки видеопоследовательностей с поддержкой плагинов (в комплекте плагин «Twixtor», предназначенный для синхронизации и изменения частоты видеокадров с минимальными потерями) Программная коммерческая система нелинейной обработки Adobe Premiere Pro (США) видеопоследовательностей с поддержкой плагинов (в комплекте плагин «Time Warp», позволяющий замедлять или ускорять частоту кадров видеопоследовательностей с минимальными артефактами, выбирать метод интерполяции) Программная коммерческая система, предназначенная для Mayachitra VideoReg (США) совмещения и стабилизации видеопоследовательностей Программная коммерческая система, предназначенная для Automated Image Registration (США) сопоставления кадров видеопоследовательностей и ректификации искаженных кадров Сложность задачи состоит в том, что алгоритм должен обладать устойчивостью к повороту и сдвигу объектов, также может возникать рассинхронизация кадров видеопоследовательностей, а камеры могут быть не откалиброваны. Ограничения и условия, предъявляемые к входным видеопоследовательностям, представлены в табл. 4.

Процесс пространственно-временной коррекции видеопоследовательностей представим в виде следующих этапов:

I этап. Предварительная обработка сцены видеопоследовательностей:

– устранение шумов;

– выделение переднего плана и области фона;

– морфологическая обработка полученных областей.

– поиск связанных областей с их последующим анализом.

II этап. Временная обработка сцены видеопоследовательностей:

– предварительная оценка движения на основе сопоставительных методов;

– уточненная оценка быстрого движения на основе инвариантных моментов Ху и Зернике, медленного движения на основе статистик высших порядков;

– интерполяция кадров.

III этап. Пространственная обработка сцены:

– поиск точечных особенностей изображений;

– ректификация изображений;

– совмещение видеопоследовательностей.

Ограничения и условия, предъявляемые к входным Вид объектов Изображение объектов небольшого размера на Длительность Без ограничений (в зависимости от аппаратных видеопоследовательностей возможностей) Длительность сцены Более 10 кадров Тип движения в сцене Быстрое, медленное, со смещением, допускается Яркостные изменения между Допускаются незначительные камерами Смещение между центрами Допускается до камер по оси y На этапе предварительной обработки сцены происходит вычисление статистической модели фона и разделение сцены на фон и передний план с дальнейшим преобразованием к бинарному виду методом пороговой бинаризации. Далее применяется морфологическая обработка, операции сжатия и расширения для более эффективного соединения слабосвязанных областей. После этого проводится классификация групп связанных объектов, исключая группы, не удовлетворяющие условиям геометрических признаков, либо условию накладываемой маски заданной формы. Результатом данного этапа будут области интереса переднего плана, представленные в виде графических примитивов, удобных для последующей обработки.

На этапе временной обработки сцены рассматривается видеопоследовательность VS in L z t, где L – кадр, t{0,1,2,3,…} – номер кадра, z – общее количество кадров. Между каждыми соседними кадрами необходимо вставить определенное число кадров, заданное параметром n{2,3,…}, показывающим, во сколько раз требуется увеличить частоту кадров исходной видеопоследовательности. После преобразования частоты кадров выходная видеопоследовательность VS out L z nt имеет вид:

где AC – выбор текущего Lt и последующего Lt+1 кадров; AI – алгоритм интерполяции кадров; AF – вставка интерполированных кадров Ll, l=2(n–1); l – количество интерполированных кадров; z – общее число кадров.

На предварительном этапе оценки движения применяется блочносопоставительный метод, позволяющий не только найти области движения, но и установить тип движения на протяжении нескольких кадров исходной видеопоследовательности. Вычисление вектора движения происходит при помощи блочно-сопоставительного метода с фиксированным размером блока: рассматривается текущий кадр Lt и последующий кадр Lt+1, кадры Lt и Lt+1 разбиваются на равные блоки B, размер которых кратен 2 и определяется параметром смещения. На кадре Lt+1 находится сумма sB значений яркостей пикселов данного блока B и определяется наличие движения между кадрами Lt и Lt+1 для заданного блока B по пороговому значению. Задается параметр смещения shift(p), где p – число пикселей, определяющих смещение, на кадре Lt+1 находятся соседние блоки по диагоналям, вертикали и горизонтали относительно рассматриваемого блока B с кадра Lt, смещенные от этого блока на величину shift(p). На кадре Lt аналогично находятся суммы значений пикселей соседних блоков по диагоналям, вертикали и горизонтали sB’. Для принятия решения о направлении вектора движения минимизируется функция ошибки при помощи метрики SSD:

Находится блок, содержащий минимальное значение ошибки. Он указывает направление вектора движения для блока B на кадре Lt+1. Анализируются следующие блоки на кадрах Lt и Lt+1; процедура повторяется до тех пор, пока все блоки не будут просмотрены. В результате работы данного алгоритма будет построено поле векторов движения. Из всех аффинных преобразований актуальными (в контексте задачи интерполяции) являются сдвиги и повороты; резкое изменение масштаба практически не встречается на двух соседних кадрах. Поэтому классификация движения сводится к поступательному и/или вращательному движениям. Строятся локальные векторы движений от кадра к кадру, анализируются углы векторов, и методом голосования определяется тип движения, что позволяет отслеживать траектории объектов на этапе уточненной оценки движения.

Уточненная оценка движения для видеопоследовательностей с быстрой скоростью передвижения объектов является этапом, включающим оценку движения при помощи моментов Ху (а при наличии некомпенсированных шумов и вращения объектов – при помощи моментов Зернике).

Отслеживание траекторий движения найденных объектов отчасти позволяет сократить вычисления. В качестве уточненной оценки движения для видеопоследовательностей с быстрой скоростью передвижения объектов предлагается вычислять семь инвариантных моментов Ху для блока B текущего кадра Lt, а также аналогичного блока R и соседних смещенных на величину shift блоков по диагонали, вертикали и горизонтали на последующем кадре Lt+1:

где n – моменты Ху, pq – нормализированные центральные моменты.

Каждый блок характеризуется семью значениями моментов Ху.

Метрика похожести блоков вычисляется при помощи Евклидова расстояния:

где B – блок B(x, y) текущего кадра Lt; R – блок на последующем кадре Lt+ (центральный и 8 смежных блоков).

Чем меньше значение метрики (4), тем более блоки похожи друг на друга; направление вектора движения определяется по минимуму из 9 соответствий, вычисленных на основе метрики:

Набор полиномов Зернике {Vnm(x, y)}, определенных на внутренней области единичной окружности x2 + y2 = 1, в общем виде может быть записан как:

где n – порядок полинома (положительное число или 0), m – частота полинома (должна удовлетворять условиям n – |m| четное и |m| n), – расстояние от центра единичной окружности до пиксела (x, y), – угол между вектором и осью OX в направлении против часовой стрелки, Rnm() – радиальные полиномы.

В качестве уточненной оценки движения для видеопоследовательностей с быстрой скоростью передвижения объектов предлагается вычислять девять моментов Зернике с различным порядком и частотой радиального полинома для каждого сравниваемого блока: R00(), R11(), R20(), R22(), R31(), R33(), R40(), R42(), R44() (рис. 1). Сравнение и выбор наиболее похожего блока и направления вектора движения осуществляется с использованием метрики (4).

Рисунок 1. Уточненная оценка быстрого движения методом моментов Зернике:

В качестве уточненной оценки движения для видеопоследовательностей с медленной скоростью передвижения объектов применяется метод оценки движения с использованием статистик высших порядков, в частности, эксцесса распределения случайной величины. Эксцесс выступает в качестве меры активности каждого пиксела и используется для локализации активных и статичных пикселов в видеопоследовательностях. Разность значений яркости между кадрами k и k+1 для каждого пиксела p(x,y) обозначим в виде последовательности wk(p), 1 k < N, для видеопоследовательности с общим числом кадров N. Введем две гипотезы: H0 – отсутствие движения и H1 – наличие движения в сцене:

где vk(p) – изменение яркости пикселов, связанное с движением в сцене, zk(p) – шум, p – пиксел кадра c координатами (x, y).

Накопление N–1 таких разностей для всей видеопоследовательности формирует временные ряды W i p [w1i ( p),...,wN ( p)], i {0,1}. Гипотеза H содержит временной ряд W0(p), включающий в себя шум zk(p), который часто моделируется гауссовским распределением. Гипотеза H1 содержит временной ряд W1(p), моделируемый неизвестным распределением из-за неизвестной скорости vk(p), 1 k < N, содержащий также шум zk(p). Определим эксцесс a4, являющийся классической мерой гауссовости случайной величины, для каждого пиксела p(x,y) на протяжении всей видеопоследовательности:

где wk(p) – разность значений яркости между кадрами k и k+1 для каждого пиксела p в виде последовательности, W(p) – последовательность разностей значений яркости пиксела p(x,y) между всеми кадрами текущей видеопоследовательности, M(W(p)) – арифметическое среднее значение последовательности W(p) для пиксела p(x,y), N – общее число кадров видеопоследовательности, (W(p))4 – квадрат среднеквадратичного отклонения последовательности W(p) для пиксела p(x,y), вычисляемый выражением:

В результате для каждого пиксела p(x,y) текущего кадра k вычисляется значение эксцесса. Чем больше значение эксцесса, тем более вероятно, что в данной области происходит движение. Если значение эксцесса стремится к нулевому значению, более вероятно, что в данной области шум. Поэтому, чтобы исключить ложные соответствия, введем значение порога, по которому можно будет построить маску активности кадра:

где M(a4(p)) – арифметическое среднее значение эксцесса, вычисленного для каждого пиксела p(x,y) по всем кадрам сцены, (a4(p)) – среднеквадратическое отклонение эксцесса, вычисленного для каждого пиксела p(x,y) по всем кадрам сцены.

Таким образом, считаем, что значение эксцесса для рассматриваемого пиксела, превышающее среднее значение эксцесса (больше, чем на 10%), указывает на то, что в данном пикселе происходит движение. Построим бинарную маску активности P(x,y) для заданного кадра k:

Таким образом, для каждого кадра k заданной сцены будет построена бинарная маска активности пикселов, значение 0 означает шум, движения нет, значение 1 – движение в пикселе присутствует (рис. 2).

Данные, полученные на этапе уточненной оценки движения, представляются в виде ансамбля векторов, вычисленных на основе моментов Ху или Зернике, либо эксцесса. Далее происходит поблочная интерполяция кадров, где рассматривается текущий кадр Lt и последующий кадр Lt+ с найденным вектором движения (2) для блока B. Пусть d – количество интерполированных кадров, которые необходимо добавить между кадрами Lt и Lt+1. Рассматривается каждый пиксел СВ блока B(x, y) на текущем кадре Lt(x, y) и каждый пиксел СR блока R(x, y) на следующем кадре Lt+1(x, y). В соответствии с направлением вектора движения на каждом интерполированном кадре пиксел плавно изменяет значение каждой цветовой компоненты (Y, U, V) Сin.

Рисунок 2. Уточненная оценка медленного движения на основе эксцесса для видеопоследовательности «Person23_walking_d1_uncomp»:

а) Кадр 387, б) Кадр 404, в) маска активности между кадрами, Для получения плавных интерполированных кадров используется выражение, представляющее собой линейную интерполяцию значений пикселов (отдельно для каждой цветовой компоненты):

где CB – значение цветовой компоненты (Y, U, V) пиксела (x, y) блока B(x, y) на текущем кадре Lt(x, y); CR(Y,U,V) – значение цветовой компоненты (Y, U, V) пиксела (x,y) блока R(x, y) на последующем кадре Lt+1(x, y);

Cin(Y,U,V) – значение цветовой компоненты (Y, U, V) пиксела (x, y) на интерполированном кадре Ln(x, y); t – параметр, задающий линейное смещение пикселов на каждом интерполированном кадре:

Параметр t изменяется в интервале t[0…1], что дает плавное смещение цветовых компонент для каждого интерполированного кадра. Процедура повторяется до тех пор, пока все блоки не будут интерполированы.

Таким образом, будет получено d интерполированных кадров между исходными кадрами Lt и Lt+1 видеопоследовательностей.

На этапе пространственной обработки сцены применяется усовершенствованный метод коррекции несинхронизированных видеопоследовательностей (рис. 3). Первоначально определяются особые точки, вычисляются их дескрипторы для каждого изображения при помощи алгоритма SIFT, дескрипторы сравниваются между собой. Результатом данного сравнения будет два множества дескрипторов с сопоставленными кандидатами для каждого дескриптора, содержащих как подходящие, так и ложные соответствия. После того, как для каждого особого дескриптора будут получены два соответствующих дескриптора-кандидата, производится проверка отношения расстояний между кандидатами и дескриптором. Для этого сравнивается мера расстояния относительно выбранного дескриптора и его дескрипторов-кандидатов dist(k1) и dist(k2) согласно выражению:

Если отношение расстояния первого кандидата dist(k1) и второго кандидата dist(k2) относительно выбранного дескриптора не превышает заданный порог r, обозначающий максимальное расстояние между кандидатами, то оба кандидата принимаются. Данная процедура предназначена для уменьшения количества ложных соответствий в исходных множествах дескрипторов. Полученная пара относительно хороших множеств сопоставленных дескрипторов из первого изображения ко второму и из второго к первому проходит процедуру симметричного сравнения, согласно которой из этих множеств извлекаются пары соответственные точек, которые принадлежат обоим множествам.

Рисунок 3. Этапы пространственной обработки некалиброванных видеопоследовательностей: а) исходная некалиброванная пара, б) поиск особых точек, в) ректификация, г) вычисленный диспаритет На основе соответственных пар лучших точек вычисляется фундаментальная матрица. Для более точной оценки фундаментальной матрицы пары соответственные точек должны состоять только из хороших точек, исключая ложные. Применяется процедура формирования набора наилучших сопоставленных пар точек с исключенными ложными точками методом RANSAC для формирования точной фундаментальной матрицы. На основании набора наилучших сопоставленных пар точек с исключенными ложными точками вычисляется фундаментальная матрица при помощи восьмиточечного алгоритма. Происходит ректификация изображений на основании точной вычисленной фундаментальной матрицы, вычисляется карта диспаритета для ректифицированных изображений при помощи метода полуглобального сопоставления, устойчивого к шуму.

Следующим этапом пространственной обработки сцены является совмещение откалиброванных видеопоследовательностей, позволяющее выбирать наилучшие кадры из всех интерполированных кадров для получения синхронизированной стереопары и построения стереовидеопоследовательности. Алгоритм заключается в сравнении откалиброванных интерполированных кадров левой видеопоследовательности Ll с кадром Rt правой видеопоследовательности и выборе наиболее подходящего интерполированного кадра. Осуществляется выборка интерполированных кадров левой видеопоследовательности и соответствующего кадра правой видеопоследовательности.

Находится попиксельная межкадровая разность с помощью функции, определяющей пиковое отношение сигнала/шум:

где psnr(l) – значение схожести между интерполированным кадром Ll левой видеопоследовательности и кадром Rt правой видеопоследовательности; MAX [0…255] – максимальное значение, принимаемое пикселем изображения; MSE – среднеквадратичное отклонение для каждой цветовой компоненты пикселя, вычисляемое по формуле:

где h – высота кадра; w – ширина кадра; YR, UR, VR – значения цветовых компонент пикселя (x,y) на кадре Rt правой видеопоследовательности; YL, UL, VL – значения цветовых компонент пикселя (x, y) на интерполированном кадре Ll левой видеопоследовательности.

Третья глава посвящена вопросам разработки приложений пространственно-временной коррекции видеопоследовательностей в задачах стереовидения на основе разработанных методов и алгоритмов. Приведена структурная схема экспериментального программного комплекса, представлены методика и результаты тестирования разработанных методов и алгоритмов.

В результате практической апробации методов был разработан экспериментальный программный комплекс, позволяющий осуществлять оценку движения и интерполяцию кадров, ректификацию и совмещение видеопоследовательностей. Наименования разработанных модулей и их функциональные характеристики приведены в табл. 5, а структурная схема изображена на рис. 4.

Разработанные программные модули и их назначение 1. Модуль предварительной Осуществляет разделение сцены на передний план обработки и фон, классификацию групп связанных объектов 2. Модуль временной Осуществляет оценку движения и интерполяцию 3. Модуль пространственной Осуществляет поиск особенных точек на видеопокоррекции следовательностях, ректификацию кадров, совмещение видеопоследовательностей конфигурации Рисунок 4. Структурная схема экспериментального программного комплекса Было произведено тестирование разработанного метода временной коррекции видеопоследовательностей при помощи тестовой базы видеопоследовательностей «Xiph.org Video Test Media» (США), содержащей объекты с поступательным и вращательным движением. Результаты приведены в табл. 6 и 7.

Практически на всех тестовых видеопоследовательностях метод моментов Зернике дает самую высокую точность найденных векторов (до 86%), особенно при вращении объектов. Метод Ху наиболее устойчив к вращению и повороту объекта, однако дает меньшую точность найденных векторов движения, чем метод моментов Зернике. Дольше всего вычисляется метод моментов Зернике.

Для оценки эффективности метода обнаружения движения на основе эксцесса использовался тестовый набор из базы видеопоследовательностей «Action Database» (Великобритания), содержащий объекты, движущиеся с разными скоростями.

Точность векторов движения для видеопоследовательности «Сoastguard», отображающей объект с поступательным движением Размер блока, Точность векторов движения для видеопоследовательности «Horse», отображающей объект с поступательным и вращательным движением Размер блока, Для каждой видеопоследовательности был вычислен эксцесс, а также была произведена оценка движения на основе моментов Зернике. При помощи экспериментального программного обеспечения были вычислены эталонные векторы движения каждого блока объекта. Были произведены расчеты векторов движения объектов для видеопоследовательностей, которые сравнивались с эталонными векторами движения. В табл. 8 представлены обобщенные результаты оценки движения различными методами для двух наборов тестовых видеопоследовательностей (200 видеопоследовательностей, от 400 до 1200 кадров в каждой).

Экспериментальные оценки методов обнаружения движения С медленной движения С быстрой движения Анализ полученных данных позволяет говорить о том, что метод оценки движения на основе эксцесса для видеопоследовательностей с медленной скоростью передвижения объектов дает более точный результат (88% правильных соответствий). Метод оценки движения на основе моментов Зернике для видеопоследовательностей с быстрой скоростью передвижения объектов более точен (86% правильных соответствий), но время выполнения такого метода значительно превышает время выполнения метода на основе эксцесса.

Для оценки точности фундаментальной матрицы и карт диспаритета была использована база изображений Миддлберийского колледжа (США), которая представляет множество пар ректифицированных изображений и точные карты диспаритета. Для оценки предлагаемого алгоритма были выбраны четыре пары изображений «Tsukuba», «Venus», «Teddy», «Cones» и их точные карты диспаритета. Результаты тестирования представлены в табл. 9, содержащей усредненные точные значения карт диспаритета для всех тестовых пар изображений.

Сравнение точности карт диспаритета алгоритмов поиска особенностей и оценки фундаментальной матрицы Анализ полученных данных позволяет говорить о том, что предлагаемый алгоритм совмещения некалиброванных пар видеокадров с использованием SIFT в качестве поиска особенностей превосходит другие алгоритмы на 3-4%.

В заключении сформулированы основные результаты и выводы, полученные в диссертационной работе.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Предложен метод временной обработки видеопоследовательностей с применением моментов Зернике, позволяющий эффективно (до 86%) производить оценку движения для видеопоследовательностей с быстрой скоростью передвижения объектов, поступательным и вращательным движением, зашумленными областями движения.

2. Разработан метод временной обработки видеопоследовательностей с применением статистик высших порядков, позволяющий производить оценку движения для видеопоследовательностей с медленной скоростью передвижения объектов с точностью до 88%.

3. Усовершенствован метод пространственной обработки несинхронизированных видеопоследовательностей, позволяющий повысить количество и качество точных соответствий между некалиброванными кадрами видеопоследовательностей, устойчивость фундаментальной матрицы при ректификации некалиброванных кадров видеопоследовательностей, превосходящий существующие алгоритмы на 3-4%.

4. Разработан алгоритм пространственно-временной коррекции видеопоследовательностей для повышения качества обработки несинхронизированных видеопоследовательностей в задачах стереовидения.

5. Создан экспериментальный программный комплекс, позволяющий осуществлять оценку движения и интерполяцию кадров, ректификацию и совмещение видеопоследовательностей.

Таким образом, разработанные методы и алгоритмы позволяют повысить качество обработки несинхронизированных видеопоследовательностей в системах стереозрения, видеоредактирования, геоинформационных системах.

Основные положения и результаты диссертационной работы представлены в следующих работах автора. Список статей и материалы конференций приведены в хронологическом порядке.

Статьи в рецензируемых научных изданиях и журналах, входящих в перечень ВАК:

1. Пьянков, Д.И. Оценка движения на основе инвариантных моментов в задаче интерполяции стереовидеопоследовательностей / М.Н. Фаворская, Д.И. Пьянков // Вестник компьютерных и информационных технологий. – М., 2013. – № 3. – С. 14–20.

2. Пьянков, Д.И. Пространственная обработка несинхронизированных видеопоследовательностей на основе ректификации кадров // Программные продукты и системы. – Тверь, 2013. – № 1. – С. 61–66.

3. Пьянков, Д.И. Алгоритмы пространственно-временной коррекции видеопоследовательностей в задачах стереовидения // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. – Вып. 4 (37). – Красноярск, 2011. – С. 69–74.

Материалы конференций, статьи в сборниках:

1. Пьянков, Д.И. Коррекция некалиброванных видеопоследовательностей на основе интерполяции и совмещения кадров // В материалах 15-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т. – Т. 2, – М., 2013. – С. 26–28.

2. Пьянков, Д.И. Анализ методов и систем оценки движения, сегментации и сопоставления видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии.

Инновации», в 7 ч. – Ч. 2. – Новосибирск, 2012. – С. 120–122.

3. Пьянков, Д.И. Практическая реализация методов оценки движения в задаче интерполяции видеопоследовательностей // В материалах XVI международной научной конференции «Решетневские чтения», в 2 ч. – Ч. 2. – Красноярск, 2012. – С. 636–637.

4. Пьянков, Д.И. Формирование инвариантного ансамбля векторов для оценки движения в видеопоследовательностях / Д.И. Пьянков, А.Н.

Горошкин // Теоретические и прикладные вопросы современных информационных технологий. – Улан-Удэ, 2012. – С. 402–405.

5. Пьянков, Д.И. Пространственно-временная коррекция видеопоследовательностей в задачах стереовидения / М.Н. Фаворская, Д.И. Пьянков, А.Н. Горошкин // Механика, управление и информатика. – Вып. 8. – М., 2012. – С. 122–126.

6. Пьянков, Д.И. Классификация методов сегментации видеопоследовательностей // В материалах всероссийской научной конференции молодых ученых «Наука. Технологии. Инновации», в 6 ч. – Ч. 3. – Новосибирск, 2011. – С. 70–72.

7. Пьянков, Д.И. Интерполяция кадров в задачах пространственновременной коррекции стереовидеопоследовательностей // В материалах 13-й международной конференции «Цифровая обработка сигналов и ее применение», в 2 т. – Т.2. – М., 2011. – С. 173–176.

8. Пьянков, Д.И. Оценка движения для интерполяции кадров в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В материалах 16-й международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций». – Рязань, 2010. – С. 151–152.

9. Пьянков, Д.И. Обзор методов пространственно-временной коррекции видеопоследовательностей в задачах стереовидения / Д.И. Пьянков, А.Н. Горошкин // В трудах I всероссийской научной конференции молодых ученых «Теория и практика системного анализа», в 2 т. – Т.1. – Рыбинск, 2010. – С. 105–111.

10. Пьянков, Д.И. Практическая реализация фрактального алгоритма сжатия изображений // В сборнике трудов VII Всероссийской научнопрактической конференции с международным участием «Информационные технологии и математическое моделирование». – Анжеро-Судженск, 2008. – С. 56–57.

Свидетельства о регистрации программных продуктов:

1. Пьянков, Д.И. Анализ методов оценки движения на основе инвариантных моментов в задаче интерполяции видеопоследовательностей (MotionMoments v.1) / Д.И. Пьянков, М.Н. Фаворская // Свидетельство № 2012660384. Зарегистрировано в Реестре программ для ЭВМ г. Москва, 16 ноября 2012 г.

Метод пространственно-временной обработки несинхронизированных видеопоследовательностей Формат 60х84/16. Бумага писчая. Печ. л. 1. Отпечатано в отделе копировальной и множительной техники СибГАУ 660014 г. Красноярск, пр. им. газеты «Красноярский рабочий»,