На правах рукописи

Слынько Юрий Вячеславович

РАЗРАБОТКА И ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ

ГЕОМЕТРИЧЕСКИХ ПРЕОБРАЗОВАНИЙ КАДРОВ

ВИДЕОПОСЛЕДОВАТЕЛЬНОСТИ И ИХ ПРИМЕНЕНИЕ К ЗАДАЧАМ

СТАБИЛИЗАЦИИ, СОПРОВОЖДЕНИЯ И СЕЛЕКЦИИ

ДВИЖУЩИХСЯ ОБЪЕКТОВ

Специальность 05.13.17 – «Теоретические основы информатики»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата физико-математических наук

Москва - 2008

Работа выполнена в ОАО «МАК «Вымпел», Кафедра информационных систем МФТИ (ГУ).

Научный руководитель кандидат технических наук, доцент Лагуткин Владимир Николаевич

Официальные оппоненты доктор физико-математических наук, профессор Бернштейн Александр Владимирович, Институт Системного Анализа РАН кандидат технических наук, доцент Алешин Владимир Петрович, Научно-исследовательский институт прецизионного приборостроения

Ведущая организация НТЦ «Модуль», г. Москва

Защита состоится «28» октября 2008г. в 1530 на заседании диссертационного совета Д 212.156.04 Московского физико-технического института (ГУ) по адресу: 141700, г. Долгопрудный, Московская обл., Институтский переулок, д.9., Новый корпус, 204 ауд.

С диссертацией можно ознакомиться в библиотеке Московского Физико-Технического Института (ГУ).

Автореферат разослан «» сентября 2008г.

Ученый секретарь диссертационного совета Д 212.156. кандидат технических наук, доцент Л.П. Куклев

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Задачи автоматической обработки видеоизображений принадлежат к числу наиболее востребованных задач современной математики и кибернетики. К ним относятся задачи сжатия и улучшения качества изображений, обнаружения и сопровождения объектов, построения трехмерных моделей наблюдаемых картин, распознавания образов и принятия решений на основе полученной информации.

Такие задачи решаются в системах видеонаблюдения, системах мониторинга и обнаружения опасных ситуаций, робототехнике - начиная от бытовых приложений и заканчивая космической техникой. Методы компьютерного зрения используются в протоколах передачи и стандартах хранения видеоинформации. В последнее время алгоритмы компьютерного зрения активно применяются в медицине.

Видеопоток характеризуется большим количеством информации при сравнительно низкой стоимости оборудования. Этим обусловлена возрастающая популярность видеокамер как универсальных измерительных инструментов для эффективного решения многих практических задач.

Зачастую съемка производится подвижным носителем (например, камера установлена на автомобиле, вертолете или другой нестационарной платформе).

В таких ситуациях необходима стабилизация изображения. Она целесообразна как для улучшения восприятия изображения оператором, так и в качестве предварительного шага для большей части алгоритмов компьютерного зрения, рассчитанных на работу со стационарным кадром.

Другой важной задачей обработки изображений, тесно связанной с задачей стабилизации, является задача сопровождения выделенных объектов.

Эта задача актуальна для систем видеонаблюдения и мониторинга, применяемых для контроля периметра, в милицейских системах наблюдения и т.д.

Еще одна область применения алгоритмов компьютерного зрения селекция движущихся целей. Она актуальна в космической и авиационной отраслях для наблюдения и контроля подстилающей поверхности.

Целью диссертационной работы является создание и исследование алгоритмов определения геометрических трансформаций кадров видеопоследовательности и их применение к задачам стабилизации и построения мозаики, а также алгоритмов сопровождения объектов и селекции движущихся целей.

Задачами диссертационного исследования являются:

1. Разработка, реализация и исследование методов реального времени совместного сопровождения и оконтуривания объектов в условиях существенной априорной неопределенности.

2. Создание, реализация и анализ алгоритма реального времени оценки геометрических искажений кадров видеопоследовательности в применении к задачам стабилизации и построения панорамных изображений.

3. Создание, реализация и исследование алгоритма реального времени определения качества видеопоследовательности.

4. Создание и испытание экспериментального прототипа комплекса видеонаблюдения и программного обеспечения для него.

5. Разработка и реализация алгоритма селекции движущихся целей при авиационном или космическом наблюдении, а также анализ точности и границ его применимости.

Методы исследования. Для достижения поставленной цели в диссертационной работе используются методы теории вероятностей, теории случайных процессов, теории принятия решений, вычислительной математики, а также имитационного моделирования и физического эксперимента.

Основные положения, выносимые на защиту:

неопределенности на основе критерия максимального правдоподобия.

видеопоследовательности на основе объединения трех основных существующих подходов с оценкой качества (доверительной области) решения на каждом шаге алгоритма и его применение к решению задач стабилизации и построения панорамных кадров.

3. Критерий качества видеопоследовательности на основе разработанных метрик с классификацией методами нейронных сетей.

космическом наблюдении, а также характеристики его применимости и оценка качества.

Научная новизна:

1. Выведен аналитический вид функции правдоподобия для задачи одновременного сопровождения и оконтуривания.

2. Разработана численная схема поиска максимума функции правдоподобия в многомерном пространстве.

3. Выведена зависимость качества (доверительной области) принятия решения при оценке сдвига изображения корреляционным методом.

4. Выведены аналитические зависимости точности оценок параметров геометрических преобразований при различных преобразованиях изображений.

5. Введены новые метрики для изображений, позволяющие осуществлять оценку качества видеопоследовательности.

6. Разработан метод селекции движущихся целей при авиационном и космическом наблюдении и найдены границы его применимости.

Практическая ценность и реализация результатов. Результаты работы внедрены и используются в ОАО «МАК «Вымпел» при разработке моделирующего комплекса в рамках ОКР «Фронтон», НИР «Палаццо» и при соответствующие акты внедрения. Результаты работы реализованы в «Программно - алгоритмическом комплексе стабилизации и улучшения качества видеоизображений, получаемых информационными средствами космического базирования», зарегистрированном в реестре программ для ЭВМ №2007614534. Кроме того, результаты диссертационной работы использовались в учебном процессе на Кафедре информационных систем МФТИ (ГУ) при ОАО «МАК «Вымпел».

Апробация результатов работы. Основные результаты диссертации докладывались и обсуждались на:

• Международной конференции ELMAR-2008, Задар, Хорватия.

• Международной конференции “GraphiCon”, (2008г., Москва) • Международных конференциях «Цифровая обработка сигналов и её применение» (2006г., 2008г., Москва).

• Научно-техническом семинаре молодых ученых «Проблемы обнаружения и сопровождения космических объектов в околоземном космическом пространстве» (2007г., Москва).

• Военно-научной конференции (2007г., Тверь).

• Выставках «Высокие технологии - XXI» (2007 – 2008гг., Москва).

• Выставке «МАКС» (2007г., Москва).

• Научных конференциях МФТИ (2002 - 2007гг., Долгопрудный).

Публикации. По теме диссертации опубликовано 16 научных работ. Три из них [1 - 3] в рецензируемых журналах, утвержденных в перечне ВАК. Список публикаций приведен в конце автореферата.

Структура и объем диссертационной работы. Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего наименований. Работа изложена на 133 страницах и содержит 47 рисунков и таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность работы, сформулирована основная цель, научная новизна и практическая значимость результатов, приведено краткое описание структуры диссертации.

В первой главе приводится описание алгоритма оценки геометрических преобразований кадров видеопоследовательности.

В данной работе рассматривались несколько моделей геометрических преобразований, из которых следует, прежде всего, выделить аффинные и проективные.

Рис. 1. Структура алгоритма определения геометрических преобразований существующих подходов: методе оптического потока, методе характерных точек и прямом методе на основе яркости точек кадра.

Структура решения задачи показана на Рис. 1. Сначала находится сдвиг кадра с использованием пирамиды сжатых кадров. Затем на кадре исходного размера находятся наиболее информативные участки, и определяется сдвиг по каждому из них. Далее информация о сдвиге каждого из информативных окон объединяется для получения полного вектора параметров преобразования.

Ключевым здесь является метод определения сдвига с оценкой доверительной области, который используется как для определения сдвига по пирамиде сжатых кадров, так и для оценки сдвига отдельных окон.

Оценка сдвига производится путем минимизации функции невязки двух входных кадров F (t ) и F (t 1), относящихся к моментам времени t и t 1 :

а само преобразование – в виде где Q = ( dx, dy ) - сдвиги вдоль обеих осей, D - область возможных сдвигов, по которой проводится поиск, M (dx, dy ) - область, по которой проводится вычисление невязки между кадрами (например, область, для которой точки (i, j ) и (i + dx, j + dy ) принадлежат F (t 1) и F (t ) соответственно, т.е. область пересечения кадров), S (M ) - площадь области M (dx, dy ) (число точек).

X (F 1,F 2 ) (dx, dy ), обусловленная шумом:

B – порог, определяющий доверительную вероятность ошибки.

По данной доверительной области считается ковариационная матрица ошибок оценивания сдвига каждого окна, которая потом используется при вычислении полного преобразования кадра из сдвигов отдельных окон методом наименьших квадратов.

Предложенный алгоритм был протестирован на большом количестве модельных и реальных видеопоследовательностей (в том числе и из популярных общедоступных баз данных).

Был проведен отдельный физический эксперимент по оценке сдвига кадров видеопоследовательности напрямую. Точность экспериментальной оценки составила 0.1 пиксель. Предложенный алгоритм дал результаты в пределах погрешности эксперимента.

Табл. 1 Характеристики алгоритма определения геометрических преобразований Точность определения сдвига, пиксели