На правах рукописи

ФАВОРСКАЯ МАРГАРИТА НИКОЛАЕВНА

МОДЕЛИ И МЕТОДЫ РАСПОЗНАВАНИЯ

ДИНАМИЧЕСКИХ ОБРАЗОВ НА ОСНОВЕ

ПРОСТРАНСТВЕННО-ВРЕМЕННОГО АНАЛИЗА

ПОСЛЕДОВАТЕЛЬНОСТЕЙ ИЗОБРАЖЕНИЙ

05.13.17 – «Теоретические основы информатики»

АВТОРЕФЕРАТ

диссертации на соискание ученой степени доктора технических наук

Красноярск – 2011

Работа выполнена в Государственном образовательном учреждении высшего профессионального образования «Сибирский государственный аэрокосмический университет имени академика М. Ф. Решетнева», г. Красноярск

Научный консультант: доктор физико-математических наук, профессор Попов Алексей Михайлович

Официальные оппоненты: доктор технических наук, профессор Кашкин Валентин Борисович доктор технических наук, профессор Киричук Валерий Сергеевич доктор физико-математических наук, профессор Рязанов Владимир Васильевич

Ведущая организация ФГУП «Государственный научноисследовательский институт авиационных систем», г. Москва

Защита состоится 18 февраля 2011 года в 14 часов на заседании диссертационного совета Д 212.099.11 при Сибирском федеральном университете по адресу: 660074, г. Красноярск, ул. акад. Киренского, 26, ауд. УЛК 115.

С диссертацией можно ознакомиться в научной библиотеке Сибирского федерального университета по адресу: г. Красноярск, ул. акад. Киренского, 26, Г274.

Автореферат разослан 12 января 2011 г.

Ученый секретарь диссертационного совета Л. И. Покидышева

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. Существует класс задач, где особую важность приобретает информация о структуре и движении объектов сцены (видеонаблюдение в закрытых помещениях, в местах большого скопления людей, управление движением робототехнических комплексов, наблюдение за движением транспортных средств и т.д.). Последовательности изображений являются сложным информационным ресурсом, структурированным в пространстве и во времени и объединяющим исходную информацию в виде многомерных сигналов, форму ее представления в компьютере и физические модели динамических объектов, явлений, процессов.

Анализ пространственно-временных данных позволяет выявлять не только статические, но и динамические признаки объектов наблюдения. В этом случае задачу распознавания можно определить как классификацию совокупностей состояний или как классификацию траекторий, решение которой не может быть найдено классическими методами распознавания, т.к. временные переходы могут порождать преобразования изображений, не описываемые известными аналитическими зависимостями. Также наряду с задачей распознавания динамических объектов возникают задачи распознавания активных действий объектов и событий сцены, например, для выявления несанкционированных действий в местах скопления людей или определении жанра сцены для индексации в мультимедийных базах данных. Если рассматривать задачу распознавания объектов и событий по последовательностям изображений в виде единого процесса, то наиболее целесообразным является системный иерархический подход с элементами параллельной обработки на каждом уровне.

Первые работы исследователей из США, Швеции, Франции, Японии по обработке последовательностей изображений и распознаванию динамических объектов были опубликованы в конце 1980-х гг. Позже аналогичные работы стали появляться и в России: в Москве (МГУ, МФТИ), С-Петербурге (СПбГУ, ГУАП), Самаре (СГАУ), Рязани (РГРУ), Новосибирске (НГУ), Томске (ТГПУ) и других городах. Следует отметить особый вклад выдающихся российских ученых, занимающихся в данной области, таких, как академик РАН, д.ф.-м.н. Ю. И. Журавлев, член-корреспондент РАН, д.т.н. В. А. Сойфер, д.т.н. Н. Г.Загоруйко, д.т.н. Л. М. Местецкий, д.т.н. В. П. Пяткин, д.т.н. Б. А. Алпатов и другие. На сегодняшний день достигнуты значительные успехи при построении систем видеонаблюдения, систем аутентификации личности по изображениям и т. д. Однако существуют нерешенные проблемы при распознавании динамических образов из-за сложности и многообразия поведения объектов реального мира.

Таким образом, данное направление нуждается в совершенствовании моделей, методов и алгоритмов распознавания динамических объектов и событий по последовательностям изображений в различных диапазонах электромагнитного излучения.

Целью диссертационной работы является повышение эффективности распознавания динамических объектов, их активных действий и событий в сложных сценах по последовательностям изображений для систем наружного и внутреннего видеонаблюдения.

Достижение цели предполагает решение следующих основных задач:

– Провести анализ методов оценки движения и нахождения признаков движения объектов по набору последовательных изображений, методов сегментации динамических объектов и семантического анализа сложных сцен, а также подходов к построению систем распознавания и слежения за динамическими объектами различного целевого назначения.

– Разработать модели распознавания статических и динамических образов, основываясь на иерархической процедуре обработки временных рядов, в частности, последовательностей изображений.

– Разработать метод оценки движения динамических структур по пространственно-временной информации, полученной в различных диапазонах электромагнитного излучения, позволяющий выбирать методы сегментации в зависимости от характера движения и, тем самым, выполнять адаптивное распознавание динамических образов.

– Создать модель многоуровневого движения динамических структур в сложной сцене, позволяющую на основе полученных одометрических данных строить траектории движения динамических структур и выдвигать гипотезы о существовании визуальных объектов на основе анализа предыстории движений.

– Разработать комплексный алгоритм сегментации, учитывающий совокупность выявленных признаков динамических структур при произвольных направлениях перемещений и перекрытий проекций объектов, основываясь на модели многоуровневого движения в сложных сценах.

– Разработать метод распознавания динамических образов, представленных в терминах формальной грамматики и видеографа сцены, на основе метода коллективного принятия решений, а также методы распознавания активных действий и событий в сложной сцене, использующие графы активных действий и событий (расширяющие видеограф сложной сцены) и байесовскую сеть.

– На основе разработанных методов и моделей спроектировать экспериментальные системы различного назначения, предназначенные для обработки последовательностей изображений объектов, характеризующихся фиксированным и произвольным набором 2D-проекций, и распознавания динамических образов в сложных сценах.

Методы исследований. При выполнении диссертационной работы использовались методы теории распознавания образов, дескриптивной теории распознавания изображений, теории обработки сигналов, методы векторного анализа и тензорного исчисления, а также теория групп, теория формальных грамматик.

Научная новизна диссертационной работы состоит в разработке нижеприведенных теоретических положений, совокупность которых является новым научным достижением в области распознавания динамических образов на основе пространственно-временного анализа последовательностей изображений.

1. Построена новая модель преобразования динамических изображений, отличающаяся расширенными иерархическими уровнями сегментации (по локальным и глобальным векторам движения) и распознавания (объектов и их активных действий), позволяющая находить целевые признаки для статических сцен с движущимися объектами и динамических сцен на основе понятия максимального динамического инварианта.

2. Расширена дескриптивная теория распознавания изображений введением четырех новых принципов: учет цели распознавания на начальных стадиях анализа, распознавание поведения динамических объектов, оценка предыстории, переменное количество объектов наблюдения, что позволяет повысить качество распознавания движущихся объектов за счет повышения информативности исходных данных.

3. Впервые разработан адаптивный пространственно-временной метод оценки движения в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения, позволяющий извлекать признаки движения на различных иерархических уровнях, сочетая достоинства обоих типов последовательностей изображений.

4. Разработана новая модель многоуровневого движения, позволяющая проводить декомпозицию сцены на отдельные уровни, не ограничивающаяся общепринятым разделением на передний план и фон, что позволяет выполнять более достоверную сегментацию изображений объектов в сложных перспективных сценах.

5. Обоснован и построен новый обобщенный алгоритм сегментации динамических объектов с применением множества признаков, включающих предыстории поведения, и позволяющий отслеживать как динамику отдельных визуальных объектов, так и взаимодействия объектов в сцене (перекрытия проекций, появление/исчезновение объектов из поля зрения видеодатчика) на основе групповых преобразований и впервые предложенном анализе общей части проекций объекта (взятых из двух соседних кадров) с применением интегральных и инвариантных оценок.

6. Модифицирован метод коллективного принятия решений, отличающийся нахождением признаков межкадровых проекций объекта и позволяющий учитывать предысторию наблюдений для распознавания активных действий и событий на основе байесовской сети, а также предложены четыре вида псевдо-расстояний для нахождения меры сходства динамических образов с эталонными динамическими образами в зависимости от представления динамических признаков.

Практическая значимость. Предложенные в диссертационной работе методы и алгоритмы предназначены для практического применения при мониторинге автотранспортных средств при многополосном движении в рамках государственного проекта «Безопасный город», в системах автоматизированного контроля различных технологических производственных процессов по видеопоследовательностям, в системах наружного видеонаблюдения и видеонаблюдения в закрытых помещениях, а также в системах идентификации объектов на аэрофотоснимках и распознавании ландшафтных изображений. На основе диссертационных исследований разработаны программные комплексы обработки и распознавания динамических объектов, применяемые в различных сферах деятельности.

Реализация результатов работы. Семь разработанных программ зарегистрированы в Российском реестре программ для ЭВМ (перечень прилагается в списке основных работ автора).

Получены акты о передаче и использовании алгоритмического и программного обеспечения для распознавания корпусов холодильников на сборочной линии (ОАО КЗХ «Бирюса», г. Красноярск), для идентификации изображений объектов на ландшафтных изображениях (Концерн радиостроения «Вега», ОАО КБ «Луч», г. Рыбинск Ярославской области), для сегментации лесной растительности по набору последовательных аэрофотоснимков (ООО «Альтекс Геоматика», г. Москва), для обнаружения пластин государственных регистрационных знаков автотранспортных средств в видеопоследовательностях при многопоточном движении и повышении качества их отображения (УГИБДД ГУВД по Красноярскому краю, г. Красноярск).

Разработанные алгоритмы и программное обеспечение используются в учебном процессе при проведении занятий по дисциплинам «Интеллектуальная обработка данных», «Компьютерные технологии в науке и образовании», «Теоретические основы цифровой обработки изображений», «Распознавание образов», «Нейронные сети», «Алгоритмы обработки изображений», «Алгоритмы обработки видеопоследовательностей», «Анализ сцен и машинное зрение» в Сибирском государственном аэрокосмическом университете имени академика М.Ф. Решетнева (СибГАУ).

Достоверность полученных в диссертационной работе результатов обеспечивается корректностью используемых методов исследования, математической строгостью выполненных преобразований, а также соответствием сформулированных положений и выводов результатам их экспериментальной проверки.

Основные положения, выносимые на защиту:

1. Модель обработки и распознавания динамических образов в сложных сценах, существенно расширенная иерархическими уровнями сегментации и распознавания не только объектов, но и их активных действий.

2. Расширение дескриптивной теории распознавания изображений для временных рядов (последовательностей изображений) за счет повышения информативности анализируемых данных не только в пространственной области, но и по временной составляющей.

3. Адаптивный пространственно-временной метод оценки движения на основе тензорных представлений локальных 3D объемов в синхронных последовательностях видимого и инфракрасного диапазонов электромагнитного излучения.

4. Модель многоуровневого движения в сложных сценах, расширяющая декомпозицию перспективных сцен на отдельные уровни для более достоверного анализа траекторий движения объектов.

5. Обобщенный алгоритм сегментации динамических объектов, позволяющий на основе групповых преобразований и предложенных интегральных и инвариантных оценок выявлять перекрытия проекций объектов, появление/исчезновение объектов из поля зрения видеодатчика.

6. Методы распознавания динамических образов на основе модифицированного метода коллективного принятия решений и нахождения псевдо-расстояний в метрических пространствах, а также активных действий и событий в сложных сценах.

Апробация работы. Основные положения и результаты диссертационных исследований докладывались и обсуждались на 10 международной конференции «Pattern Recognition and Image Analysis: Modern Information Technologies», (S.-Petersburg, 2010), международном конгрессе «Ultra Modern Telecommunications and Control Systems ICUMT2010» (Moscow, 2010), XII международном симпозиуме по непараметрическим методам в кибернетике и системному анализу (Красноярск, 2010), II международном симпозиуме «Intelligent Decision Technologies – IDT 2010» (Baltimore, 2010), III международной конференции «Automation, Control and Information Technology – ACIT–ICT’2010» (Novosibirsk, 2010), 10-й, 11-й и 12-й международных конференциях и выставках «Цифровая обработка сигналов и ее применение» (Москва, 2008 – 2010 гг.), X международной научнотехнической конференции «Теоретические и прикладные вопросы современных информационных технологий» (Улан-Удэ, 2009 г.), IX международной научно-технической конференции «Кибернетика и высокие технологии XXI века» (Воронеж, 2008), всероссийской конференции «Модели и методы обработки изображений» (Красноярск, 2007 г.), на X, XI и XIII международных научных конференциях «Решетневские чтения» (Красноярск, 2006, 2007, 2009 гг.), а также на научных семинарах Государственного университета аэрокосмического приборостроения (С-Петербург, г.), Института вычислительного моделирования СО РАН (Красноярск, 2009 г.), Института систем обработки изображений РАН (Самара, 2010).

Публикации. По результатам диссертационного исследования опубликовано 53 печатных работы, из них 1 монография, 26 статей (из них статей – в изданиях, включенных в список ВАК, 2 статьи – в изданиях, перечисленных в «Thomson Reuters: Science Citation Index Expanded / Conference Proceedings Citation Index»), 19 тезисов докладов, 7 свидетельств, зарегистрированных в Российском реестре программ для ЭВМ, а также 3 отчета по НИР.

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановку задач и их математические и алгоритмические решения, получены автором лично, или выполнены под его научным руководством и при непосредственном участии. Были защищены две диссертации на соискание ученой степени кандидата технических наук, при выполнении которых автор был официальным научным руководителем.

Структура работы. Работа состоит из введения, шести глав, заключения, библиографического списка. Основной текст диссертации содержит 326 страниц, изложение иллюстрируется 63 рисунками и 23 таблицами.

Библиографический список включает 232 наименования.

СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность диссертационной работы, сформулирована цель и поставлены задачи исследования, показана научная новизна и практическая ценность выполненных исследований, представлены основные положения, выносимые на защиту.

В первой главе представлена классификация задач обработки и распознавания изображений, методов оценки движения, алгоритмов сегментации движущихся объектов, методов интерпретации событий, а также рассматриваются существующие коммерческие аппаратно-программные комплексы и исследовательские разработки для систем видеонаблюдения.

Существуют три класса задач обработки и распознавания визуальной информации, классифицируемой как статические изображения, статические сцены с элементами движения и временные последовательности изображений. Последний случай является самым сложным, т. к. обладает большей информативной структурой, а динамические свойства объектов расширяют классическую постановку задач обработки и распознавания изображений, что делает непригодным использование ряда разработанных и хорошо зарекомендовавших себя классических методов распознавания.

Методы оценки движения в последовательностях изображений разделяются на сопоставительные и градиентно-ориентированные методы для различных групп физических процессов, объектов и ситуаций (табл. 1).

Большинство методов основано на предположении, что локализация шаблонов движения проведена априори до распознавания и требуется установить соответствие шаблонов для оценки расположения, скорости движения и масштаба шаблона на изображении. Реализации других методов требует определения точных границы объектов и расположение их частей, как правило, для сцен с простым фоном.

Возможность автоматического формирования классов движения объектов по тестовым выборкам является сложной проблемой. Движения в последовательностях изображений с учетом их повторяемости во времени и пространстве можно разделить на временные текстуры, активные действия, события и сложные движения (табл. 2).

Сопоставительные методы Градиентно-ориентированные методы Метод вычитания фона* Метод отслеживания краевых точек Метод сопоставления блоков* Метод слежения за точечными особенностями Анализ функций плотности Метод построения траекторий движения объектов движения* Шаблоны движений Метод вычитания фона* Метод отслеживания краевых точек Метод сопоставления блоков* Метод слежения за точечными особенностями Метод построения глобальных и локальных траекторий движения объектов и их частей Символом «» помечены быстродействующие, но менее точные методы оценки движения.

Временные Статистические Анализ турбулентности жидкостей и газов, растекстуры регулярности в про- познавание ландшафтных изображений, анализ странстве и времени движения небольших однотипных объектов Активные Повторяемые во Сопровождение объектов, системы интерактивдействия времени структуры ного взаимодействия человек–компьютер (при События Простые движения, Анализ действий людей, поиск в цифровых не повторяющиеся во библиотеках, анализ спортивных матчей, отвремени и простран- слеживание чрезвычайных ситуаций, происшестве ствий различного рода Сложные Динамические много- Анализ сложных сцен при сопровождении объдвижения уровневые движения ектов, навигации роботов, отслеживании чрезвычайных ситуаций (подвижная видеокамера) Известные методы сегментации движущихся объектов условно можно разделить на три группы: сегментация с учетом априорных сведений об ожидаемых размерах и скоростях движения объектов, сегментация объектов, изображения которых описываются аффинной (реже проективной) группой преобразований, вероятностная сегментация объектов как задача с недостающими данными. Наиболее сложными проблемами являются появление и исчезновение объектов из поля зрения видеодатчика, перекрытия изображений объектов, «быстрые» движения объектов, многоуровневые движения в сцене.

Семантический анализ сцен развивается в трех основных направлениях: обнаружение необычных действий, категоризация действий человека и распознавание событий в сцене. Распознавание событий является ключевым моментом для семантического описания сцены. Одним из наиболее широко применяемых подходов является категоризация объектов и сцен с помощью «портфеля слов» (Bag-of-Words). В ряде работ события моделируются последовательностями гистограмм, построенных на основе визуальных признаков. Такие последовательности интерпретируются как строки (фразы), в которых отдельная гистограмма является символом. Классификация строк выполняется машиной опорных векторов. Словарь формируется путем кластеризации точек в пространстве признаков по методу kсредних. Размер словаря обычно определяется жанром сцены и определяется эмпирическим путем. Признаки вычисляются в отдельных кадрах, что уменьшает вычислительные затраты и сделает их более простыми по структуре, однако такой подход не учитывает временные связи между различными признаками, что может привести к потере значимой информации.

Наиболее часто задача распознавание динамических объектов встречается в системах безопасности при распознавании лиц, несанкционированного проникновения людей на охраняемую территорию, в системах распознавания жестов с целью управления техническими средствами, в системах мониторинга транспортных средств различного назначения.

Сравнительная характеристика некоторых коммерческих систем, предназначенных для распознавания объектов техногенного происхождения и использующих программно-аппаратные решения, приведена в табл. 3.

Завершается первая глава постановкой задачи пространственновременной обработки последовательностей изображений. Низший уровень (I этап) характеризуется значительной изменчивостью формы регионов, по временным признакам регионов выявляется многоуровневое движение в сцене. Отдельные регионы изображения VR объединяются в пространственно-временные структуры SRLL, низкого уровня:

где SFR – множество пространственных признаков регионов; TFR – множество временных признаков регионов; ITR – множество отношений соседства регионов.

Средний уровень обработки пространственно-временной структуры SRML целесообразно представить в виде двух этапов: этап SRPML выявление проекций визуальных объектов VOP (II этап) и этап SRNML нормализация проекций визуальных объектов VON (III этап):

SRPML={VOP{SFP,TFP}, ITOE}, SRNML={VON{SFN,TFN}, ITOE}, где SFP – множество пространственных признаков произвольных проекций объектов; TFP – множество временных признаков произвольных проекций объектов; ITOE – множество активных действий объектов; SFN – множество пространственных признаков нормализованных проекций объектов; TFN – множество временных признаков нормализованных проекций объектов.

Характеристика систем распознавания динамических объектов Название системы Основные функциональные характеристики Программно- Мониторинг дорожного движения на городских улицах и аваппаратная система томагистралях, ситуация на парковках, идентификация лиц в Программно- Предназначен для организации безопасности на территориальаппаратный комплекс но-распределённых объектах «ForeView» (РФ) Программно- Видеонаблюдение и аудиорегистрация, возможна интеграция с аппаратный комплекс системами контроля доступа, определения автомобильных «VideoNet» (РФ) номеров, охранно-пожарной сигнализации, системой «ЧекТВ» и другими системами программный ком- автотранспортных средств при 4 полосах движения и плекс «Ураган» (РФ) архивации данных на сервере программный ком- регистрационных знаков движущихся транспортных средств и плекс «Поток» (РФ) их автоматической проверки по базам данных (обслуживание Распределенная инте- Мониторинг дорожного движения на городских улицах и рактивная система автомагистралях, сопровождение людей на улицах и в «DIVA» (США) закрытых помещениях, идентификация лиц Система «Tennis ana- Мониторинг теннисных матчей с возможностью lyzer» (США) семантического анализа игровых ситуаций Следует различать объекты техногенного (с конечным количеством проекций) и антропогенного (с произвольным количеством проекций) происхождения. В последнем случае процедура выявления пространственно-временных признаков значительно усложняется. Учет пространственной составляющей дает возможность выявить множество активных действий объектов (см. табл. 2). Приведение проекций объектов к нормализованному виду позволяет упростить процедуру распознавания, а обнаружение активных действий и событий способствует повышению достоверности распознавания.

Высший уровень обработки предполагает отслеживание сложных событий, которые инициируют сигналы о внештатных ситуациях и рекомендации их устранения. Высший уровень обработки пространственновременной структуры SRHL сцены включает этап SRPHL распознавания динамических и статических образов VP (IV этап) и этап SRSHL распознавания жанра сцены, выявление сложных событий VE при длительном видеонаблюдении (V этап):

SRPHL={VP{SFO,TFO}, ITE}, SRSHL={VE{VP, ITE}, где SFO – множество пространственных признаков объектов; TFO – множество временных признаков объектов; ITE – множество событий сцены.

Представленная постановка задачи пространственно-временной обработки сложной сцены является системным многоуровневым подходом с идентичной формой описания пространственно-временных структур, но с принципиально различным содержанием на каждом уровне обработки.

Во второй главе диссертации представлены разработанные формальные модели обработки и распознавания объектов по их статическим изображениям и последовательностям изображений, а также расширена дескриптивная теория распознавания изображений.

В табл. 4 и 5 представлен порядок отображений в соответствующих пространствах, где символом «I» обозначено множество изображений, символом «IS» – множество последовательностей изображений, символом «X» – множество признаков, индексами R,F,P,O,Z – реальные, отфильтрованные (от шумов), проекционные, нормализованные и эталонные изображения или пространственные признаки, а индексами Rs,Fs,Ps,Os,Zs – реальные, отфильтрованные (от шумов), проекционные, нормализованные и эталонные последовательности изображений или пространственновременные признаки.

Примем, что на множестве XR существует некоторое разбиение классов изображений Vr1,Vr2,...,Vrm такое, что Тогда формальную модель статического изображения можно представить как Ifij=SpPF(SpOP(SpZO(Izij)))=SpPF(SpOP(Ioij))=SpPF(Ipij), (1) где IfijIF – отфильтрованное (без учета шума) изображение i-го объекта jго образа на входном поле изображения; iNO – переменный параметр, каждое значение которого определяет единственный объект наблюдения (NO – множество объектов наблюдения); SpZO – функция описания нормализованных объектов; SpOP – функция описания объектов в различных проекциях; SpPF() – функция описания изображений; B – параметр отображения, характеризующий неопределенность при отображении объектов наблюдения (B – множество возможных значений ); hH – шум, возникающий в процессе отображения (H – множество возможных значений h);

SpFR – функция, характеризующая воздействие шума. Физический смысл параметра различен на каждом этапе описания изображений.

Допустимые отображения при распознавании статических объектов Отображения в Отображения в SpRF:IRIF тельная обработка, выявление и анализ глобальных признаков изображения в целом Допустимые отображения при распознавании динамических объектов Отображения в Отображения в пространстве по- пространстве Краткая характеристика следовательностей признаков ISpRsFs:ISRsISFs ISpPsOs:ISPsISOs ISpOsZs:ISOsISZs ISpZsEs:ISZsISEs При i=var и j=const функция SpZO описывает все возможные проекции объектов j-го образа IPij=SpZO(Izj)i. Если же принять, что и i=const, то SpZO(Izj)=Ipj, т.е. в этом случае результатом воздействия функции является сам эталон j-го образа. Тогда модель процесса описания изображений существенно упрощается и принимает вид (при этом BNO, т.е. множество возможных значений параметра существенно расширяется):

Построим аналогичную формальную модель для последовательностей изображений. Особенность рассматриваемого класса задач состоит в том, что в них отображение ISpPsFs:ISPsISFs и соответствующее ему обратное отображение ISpFsPs:ISFsISPs зависят не только от мешающего параметра, но и от времени t. Обозначим функцию отображения ISpPsFs:ISPsISFs, изменяющуюся во времени как ISpPsFs(),t, а изображение ISrsj=ISpFsRs(ISfsj,h), ISfsj=ISpPsFs(ISpOsPs(ISpZsOs(ISzsj))),t, (3) назовем динамическим изображением (последовательностью изображений) объекта наблюдения, принадлежащего образу VISj, где – параметр, учитывающий предысторию поведения объекта. Можно рассмотреть упрощенную модель при =const. (Однако, следует помнить, что преобразование ISpOsPs становится намного сложней из-за концепции многоуровневого движения в последовательности изображений.) Тогда ISrsj=ISpFsRs(ISfsj,h), ISfsj=ISpPsFs(ISpOsPs(ISzsj)),t. (4) Такая модель, отображающая динамические характеристики объектов, существенно отличается от модели статического изображения (2).

Обобщенная модель (4) отличается тем, что любые переходы (kv)Bc обладают свойством гомоморфных преобразований, но переходы tntn+ этим свойством не обладают. Именно эта особенность последовательностей изображений не позволяет применять обычные методы распознавания для их классификации, хотя постановка задачи формально не изменяет своего содержания.

Введем понятие динамического максимального инварианта для динамических изображений. Пусть ISRs – последовательность кадров {ISrst, ISrst+1, …, ISrst+N}, где t – начальный, а t+1, t+2, …, t+N – последующие моменты наблюдения, причем t может быть выбрано в любой точке гиперповерхности. При этом любые две точки Xfsk,t и Xfsv,t, соответствующие одному и тому же образу, должны лежать на гиперповерхности, соответствующей заданному значению t. Тогда динамической инвариантной функцией будем называть любую функцию от ISRs, если она не изменяется при изменении параметров и t. Предположим, что для динамической инвариантной функции E при достаточно длинных последовательностях изображений ISRs и (ISRs)c равенство выполняется только тогда, когда для каждой пары из серии наблюдений {ISRs} и {ISRs}c существует такое преобразование gG и всегда найдутся такие значения t и tc, что Функцию E{ISRs} назовем максимальным динамическим инвариантом, причем gG – преобразования, порожденные всевозможными переходами из Bc. Условия (5) и (6) выполняются только тогда, когда все наблюдения {ISRs} и {ISRs}c принадлежат гиперплоскости при отсутствии шума или они сосредоточены в окрестности гиперплоскости, определяемой распределением шума h, и всегда существует возможность сдвинуть наблюдения во времени так, чтобы выполнялись равенства (6). При обучении распознаванию динамических образов задача определения полного множества преобразований G существенно усложняется и практически не может быть решена без дополнительных ограничений.

Одним из решений является дескриптивный подход к распознаванию изображений, разработанный коллективом авторов под руководством академика Ю.И. Журавлева в 70-90-е гг. XX в. Подход предусматривает выбор основных эвристических процедур, построение соответствующей модели, параметризацию модели и переход к постановке и решению на эвристической модели оптимизационных задач. Однако дескриптивная теория распознавания изображений имеет дело со статическими изображениями.

Распознавание временных рядов, в частности, последовательностей изображений, требует формулирования дополнительных принципов, расширяющих основные положения дескриптивного подхода. Сформулируем такие принципы: учет цели распознавания на начальных стадиях обработки последовательности изображений; распознавание поведенческих ситуаций динамических объектов; оценка предыстории динамических объектов; переменное количество объектов наблюдения в сложных сценах. Отметим, что динамические изображения являются, как правило, многоплановыми и характеризуются неоднозначностью отображаемых траекторий движения.

В третьей главе представлены условия и ограничения методов пространственно-временной обработки последовательностей изображений, классифицированы допустимые преобразования изображений, обоснован новый метод оценки движения в пространственно-временном наборе данных видимого и инфракрасного диапазонов излучения на основе тензорного подхода (I этап). В табл. 6 представлены основные ограничения пространственно-временной обработки и распознавания динамических объектов и событий в сложных сценах.

Введем ряд определений, необходимых для классификации движущихся объектов в последовательностях изображений.

Определение 1. Регионом с фиксированным набором проекций Rf называется компактная область изображения, обладающая постоянными цветовыми Fc и текстурными Ft характеристиками в определенных условиях освещения и имеющая ограниченный набор проекций Ps, |Ps|const, во фронтальной плоскости, контур которых может изменяться в соответствии с аффинной или проективной группой преобразований.

Условия и ограничения метода пространственно-временной обработки последовательностей изображений Количество видеокамер Одна видеокамера Калибровка видеокамеры Отсутствует Подвижность видеокамеры Допустимо перемещение видеокамеры относительно сцены Диапазон электромагнитного Видимый, инфракрасный излучения Режим обработки Режим off-line или режим on-line с заранее оговоренной задержкой Количество целей наблюдения Теоретически не ограничено Количество фиксированных Не ограничено проекций объекта наблюдения Динамика движения Равномерное и равноускоренное движение Сложность фона Фон может быть сложным с элементами движения Сложность сцены Движение в сцене может быть многоуровневым Определение 2. Регионом с произвольным набором проекций Rc называется компактная область изображения, обладающая постоянными цветовыми Fc и текстурными Ft характеристиками в определенных условиях освещения и имеющая произвольный набор проекций Pd, |Pd|, во фронтальной плоскости с произвольно изменяющимся контуром.

Если видеодатчик установлен неподвижно, то сложная сцена представляет собой совокупность статических структур или статических и динамических структур. Если видеодатчик установлен на перемещающейся платформе, то сцена представляет набор динамических структур с признаками многоуровневого движения. В обоих случаях важно найти признаки движения, проследить динамику изменения структур и на основе накопленной информации выдвинуть гипотезу о принадлежности совокупности структур (как единого объекта) некоторому классу. Примем, что размеры динамических структур значительно меньше размеров изображения: