«СБОРНИК ТРУДОВ НАУЧНО-ТЕХНИЧЕСКОЙ КОНФЕРЕНЦИИ-СЕМИНАРА ТЕХНИЧЕСКОЕ ЗРЕНИЕ В СИСТЕМАХ УПРАВЛЕНИЯ МОБИЛЬНЫМИ ОБЪЕКТАМИ 2010 ПОД РЕДАКЦИЕЙ Р. Р. НАЗИРОВА МЕХАНИКА, УПРАВЛЕНИЕ И ИНФОРМАТИКА МОСКВА 2011 УДК ...»

ISSN 2075-6836

УЧРЕЖДЕНИЕ РОССИЙСКОЙ АКАДЕМИИ НАУК

ИНСТИТУТ

КОСМИЧЕСКИХ

ИССЛЕДОВАНИЙ

РАН

СБОРНИК ТРУДОВ

НАУЧНО-ТЕХНИЧЕСКОЙ

КОНФЕРЕНЦИИ-СЕМИНАРА

ТЕХНИЧЕСКОЕ

ЗРЕНИЕ

В СИСТЕМАХ УПРАВЛЕНИЯ

МОБИЛЬНЫМИ

ОБЪЕКТАМИ

2010

ПОД РЕДАКЦИЕЙ

Р. Р. НАЗИРОВА

МЕХАНИКА, УПРАВЛЕНИЕ И ИНФОРМАТИКА

МОСКВА

УДК [004.896:681.5](063) ISSN 2075- ББК 32.816я431(2Рос) Т Computer Vision in Control Systems of the Mobile Objects.

Proceedings of the Conference-WorkshOP- Ed. R. R. Nazirov, 16–18 March, These are the Proceedings of the scientific and technological conference-workshop “Computer vision in control systems of the mobile objects”. The conference was organized by the Space Research Institute of the Russian Academy of Sciences. Experts from the leading organizations both the industrial and academic research institutes as well as universities take part in preparation and participate in the conference-workshop. The reports, which are presented in the conference-workshop, reflect the major applications of computer vision in control systems of mobile objects as well as the development of such systems: aerospace applications of computer vision systems; computer vision systems in terrestrial and underwater robots; hardware and software of the computer vision systems. The proceedings include plenary and panel reports at the conference-workshop.

Техническое зрение в системах управления мобильными объектами-2010:

Труды научно-технической конференции-семинара Под ред. Р. Р. Назирова. Таруса, 16–18 марта 2011 г.

Настоящий сборник содержит материалы научно-технической конференциисеминара «Техническое зрение в системах управления мобильными объектами», организатором которой является Учреждение Российской академии наук

Институт космических исследований РАН. В её подготовке и проведении участвовали специалисты ведущих организаций, отраслевых и академических научно-исследовательских институтов, а также высшей школы. На конференции-семинаре были представлены доклады по основным областям применения технического зрения в системах управления мобильными объектами, а также вопросам разработки таких систем: авиационно-космические приложения систем технического зрения; системы технического зрения в наземных и подводных роботах; программно-аппаратное обеспечение систем технического зрения. В сборник включены пленарные и секционные доклады конференции-семинара.

Конференция проходила 16–18 марта 2010 г. в г. Таруса на базе гостиницы «Интеркосмос» ИКИ РАН.

Редакционная коллегия: Желтов С. Ю., Визильтер Ю. В., Платонов А. К., Соко­ лов С. М., Кропотов А. Н., Носков В. П., Мещеряков А. Ю., Гришин В. А.

Редактор: Корниленко В. С.

Компьютерная верстка: Комарова Н. Ю.

Отдельные материалы даны в авторской редакции.

© Учреждение Российской академии наук Институт космических исследований (ИКИ) РАН, Содержание Предисловие.......................................................... АвиАциоННо-коСмичеСкие ПРиложеНия СиСТем ТехНичеСкого зРеНия Визильтер Ю. В., Желтов С. Ю.

Проблемы технического зрения в современных авиационных системах....... Костяшкин Л. Н., Бабаев С. И., Логинов А. А., Павлов О. В.

Технологии систем улучшенного / синтезированного зрения для управления летательными аппаратами.............................................. Алпатов Б. А., Бабаян П. В., Костяшкин Л. Н., Романов Ю. Н.

Обработка и анализ изображений в бортовых оптико-электронных системах.. Белоглазов И. Н.

Теоретические аспекты и приложения стереоскопических систем навигации, наведения и дистанционного зондирования местности..................... Блохинов Ю. Б., Гнилицкий В. В., Инсаров В. В., Чернявский А. С.

Алгоритм анализа и принятия решения в задаче селекции объектов на изображениях наземных сцен......................................... Васильев Д. В.

Фрагменты прикладной теории систем технического зрения для беспилотных летательных аппаратов................................................. Блажевич С. В., Винтаев В. Н., Ушакова Н. Н.

Автоматическое выделение и сопровождение псевдоточечных мерцающих объектов в реальном времени — модель фоноцелевой обстановки, алгоритм работы бортового процессора и технические решения по процессору......... Соколов С. М., Богуславский А. А.

Система информационного обеспечения задач сближения, стыковки, Аванесов Г. А., Жуков Б. С., Краснопевцева Е. Б., Форш А. А.

Задачи бортовой обработки информации телевизионной системы навигации Гришин В. А.

Анализ влияния динамики космического аппарата на характеристики алгоритмов обработки изображений системы технического зрения проекта Веселов Ю. Г., Карпиков И. В.

Михайлов Б. Б.

Выголов О. В., Желтов С. Ю., Визильтер Ю. В.

Обнаружение препятствий перед наземным мобильным объектом в бортовой Овчинников А. М., Платонов А. К.

Артюхов М. Ю., Кропотов А. Н., Макашов А. А., Сахарова Е. И.

Опыт создания системы локальной видеонавигации для подводных Жданов А. А.

Биологически инспирированное техническое зрение в системах автономного Кий К. И.

Автоматическая система реального времени для обнаружения объектов и ориентиров на изображении, основанная на обработке цветных Стрельников К. Н.

Использование особенностей современного представления цифровых Пытьев Ю. П., Чуличков А. И.

Ланге М. М., Новиков Н. А.

Сегментация изображений на основе описаний кластеров Корнилов Ф. А., Костоусов В. Б., Перевалов Д. С.

Домунян А. А.

Бахшиян Б. Ц., Назиров Р. Р., Федяев К. С.

Точность оценивания координат реперных знаков на неподвижной цели Системы технического зрения (СТЗ) в настоящее время являются одним из главных средств развития автоматических систем управления движением в условиях, когда объём априорной информации не достаточен и для решения задач управления необходим анализ внешней обстановки в режиме реального времени. СТЗ находят свое применение в современных космических, авиационных, наземных, надводных и подводных мобильных объектах. Благодаря дальнодействию и достаточно высоким уровням пространственного и цветового разрешения современных линейных и матричных приемников оптического излучения СТЗ могут служить незаменимыми источниками информации при автоматическом решении задач распознавания, навигации или наведения.

Вместе с тем следует признать наличие технических трудностей внедрения зрительного информационного канала в контуры систем управления мобильными объектами. Указанные трудности связаны с проблемами преобразования зрительной информации в данные результатов распознавания, навигационной привязки или определения параметров движения этих объектов в режиме реального времени.

Требование сокращения времени преобразований зрительных сигналов при высоких скоростях движения мобильных объектов достаточно сложно в реализации, но оно — не единственное препятствие для расширения использования СТЗ.

Не менее сложные проблемы связаны с синтезом алгоритмов требуемых преобразований. Отсутствуют универсальные алгоритмы решения задач зрительного слежения, навигации, распознавания и наведения в общем случае движения аппарата или объекта зрительного слежения. Для каждой задачи СТЗ и в каждой конкретной ситуации фотометрических и траекторных условий оптимален лишь некий конкретный алгоритм, причём даже слабое изменение обрабатываемой зрительной сцены может потребовать смены используемого алгоритма преобразования фотометрического сигнала. Это вызывает необходимость обеспечения алгоритмической полноты и структурной устойчивости решения задач технического зрения на множестве возможных фотометрических ситуаций и траекторий движения.

Не менее сложная проблема алгоритмического обеспечения СТЗ связана с конструктивными недостатками их технической реализации — ограничениями динамических диапазонов свето- и цветопередачи, вопросами дискретности фотоприёмников, астигматизмом оптического канала, ошибками калибровочных характеристик и временных привязок потока видеоданных. Образно говоря, «красота алгоритма» гибнет под ударами шумов и искажений. Поэтому борьба с помехами в видеоданных является главной алгоритмической задачей при внедрении зрительной обратной связи в контур системы управления. Это требует серьёзного развития математических методов и алгоритмов зрительных преобразований в процессе решения конкретных задач управления мобильными объектами.

В свете сказанного большое значение имела организованная Институтом космических исследований (ИКИ) РАН научно-техническая конференция-семинар, посвященная обсуждению вопросов использования СТЗ в задачах управления мобильными объектами. Важная роль СТЗ и сложность перечисленных проблем их совершенствования собрали на конференции ведущих специалистов промышленности и научных организаций, известных своими результатами в создании Предисловие и внедрении отечественных СТЗ, их математического, алгоритмического и программного обеспечения. Доложенные на конференции результаты этих работ публикуются в настоящем сборнике. Большое значение для развития СТЗ имеет и то, что на конференции в плодотворном обсуждении докладов смогли принять активное участие не только крупные учёные и инженеры, но и работающие в этой области молодые специалисты и аспиранты.

В программный комитет конференции-семинара входили: Назиров Р. Р. — (председатель) заместитель директора ИКИ РАН, доктор технических наук, профессор; желтов С. Ю. — член-корреспондент РАН, генеральный директор Федерального государственного унитарного предприятия «ГосНИИАС», доктор технических наук, профессор; гришин в. А. — старший научный сотрудник Института космических исследований РАН, кандидат технических наук, доцент; Платонов А. к. — заведующий сектором Института прикладной математики им. М. В. Келдыша, доктор физико-математических наук, профессор; Соколов С. м. — ведущий научный сотрудник Института прикладной математики им. М. В. Келдыша, доктор физико-математических наук, профессор; визильтер Ю. в. — начальник лаборатории Федерального государственного унитарного предприятия «ГосНИИАС», доктор физико-математических наук, старший научный сотрудник; кропотов А. Н. — заведующий лабораторией Московского государственного технического университета им. Н. Э. Баумана, кандидат технических наук, доцент; Носков в. П. — заведующий сектором Московского государственного технического университета им. Н. Э. Баумана, кандидат технических наук;

мещеряков А. Ю. — ведущий научный сотрудник Института проблем управления РАН, кандидат технических наук, доцент.

Были заслушаны следующие доклады (соответствующие им статьи сборника могут иметь другие названия, состав авторов и разбивку по темам).

Пленарные доклады:

• Проблемы технического зрения в современных авиационных системах (Желтов С. Ю., Визильтер Ю. В.).

• Теоретические аспекты и приложения стереоскопических систем навигации, наведения и дистанционного зондирования местности (Белогла­ • Фрагменты корреляционной теории в разработках прецизионных быстродействующих систем технического зрения (Васильев Д. В.).

• Результаты создания комплексированных систем технического зрения для обеспечения управления движением (Носков В. П., Рубцов И. В.).

• Биологически инспирированное техническое зрение в системах автономного искусственного интеллекта (Жданов А. А.).

Секция 1. Авиационно-космические приложения систем технического зрения:

• Технологии систем улучшенного / синтезированного зрения для управления летательными аппаратами (Костяшкин Л. Н., Логинов А. А., Пав­ • Видеоинформационные технологии в аппаратуре бортовых оптико-электронных систем (Блохин А. Н., Костяшкин Л. Н., Романов Ю. Н., Шап­ • Обработка и анализ изображений в бортовых оптико-электронных системах (Алпатов Б. А., Бабаян П. В., Костяшкин Л. Н., Романов Ю. Н.).

• Алгоритм анализа и принятия решения в задаче селекции объектов на изображениях наземных сцен (Блохинов Ю. Б., Гнилицкий В. В., Инсаров В. В., Чернявский А. С.).

• Автоматическое выделение и сопровождение псевдоточечных мерцающих объектов в реальном времени — модель фоноцелевой обстановки, алгоритм работы бортового процессора и технические решения по процессору (Блажевич С. В., Винтаев В. Н., Ушакова Н. Н.).

• Система информационного обеспечения задач сближения, стыковки и посадки космического аппарата на основе компьютерного видения (Соко­ лов С. М., Богуславский А. А.).

• Задачи бортовой обработки информации телевизионной системы навигации и наблюдения при посадке на Фобос (Аванесов Г. А., Жуков Б. С., Крас­ нопевцева Е. Б., Форш А. А.).

• Анализ влияния динамики космического аппарата на характеристики алгоритмов обработки изображений системы технического зрения проекта ФОБОС-ГРУНТ (Гришин В. А.).

• К вопросу оценки корреляционных характеристик шума цифровых оптикоэлектронных систем видимого диапазона (Веселов Ю. Г., Карпиков И. В.).

• Система видеосклейки для беспилотных летательных аппаратов (Мака­ шов А. А., Кропотов А. Н., Артюхов М. Ю., Сахарова Е. И.).

• Построение геометрических моделей объекта и снимков с заданными параметрами (Говоров А. В.).

Секция 2. Системы технического зрения в наземных и подводных роботах:

• Повышение эффективности применения мобильных робототехнических комплексов на базе использования средств наблюдения беспилотных летательных аппаратов (БПЛА) (Аникин В. А., Ким Н. В., Носков В. П., Руб­ цов И. В.).

• Техническое зрение мобильных роботов (Михайлов Б. Б.).

• Обнаружение препятствий перед наземным мобильным объектом в бортовой системе технического стереозрения реального времени (Выголов О. В., Желтов С. Ю., Визильтер Ю. В.).

• Гиперспектральная система зрения для мобильных роботов (Овчинни­ ков А. М., Платонов А. К.).

• Опыт создания системы локальной видеонавигации для подводных аппаратов (Макашов А. А., Кропотов А. Н., Артюхов М. Ю., Сахарова Е. И.).

Секция 3. Программно-аппаратное обеспечение систем технического зрения:

• Автоматическая система реального времени для обнаружения объектов и ориентиров на изображении, основанная на обработке цветных изображений (Кий К. И.).

• Морфологические методы поиска и распознавания объектов на изображении (Пытьев Ю. П., Чуличков А. И.).

• Сегментация изображений с использованием древовидных описаний кластеров в многомерном пространстве признаков (Ланге М. М., Нови­ ков Н. А.).

• Точность оценивания координат реперных знаков неподвижной мишени по измерениям с помощью бортового оптического датчика (Бахшиян Б. Ц., Назиров Р. Р., Федяев К. С.).

Предисловие • Обнаружение прямых и окружностей на изображениях с использованием многомасштабной оценки локальной кривизны границ (Семейкина Е. В., • Обнаружение объектов с помощью поворотной IP-камеры (Стрельни­ • Быстрые алгоритмы анализа изображений со структурными искажениями (Корнилов Ф. А., Костоусов В. Б., Перевалов Д. С.).

• Программно-аппаратная реализация кортексного сканера (Домунян А. А.).

В обсуждениях большой интерес присутствующих вызвали примеры успешного практического применения СТЗ в авиационной и космической областях. Особое внимание в этих работах было привлечено к средствам анализа последовательности видеоданных в режиме реального времени для решения сложной проблемы малого числа дискретных элементов зашумлённой сцены, приходящихся на объект интереса. В опытных разработках зрения мобильных роботов и подводных аппаратов внимание привлекли проблемы расширения состава средств получения зрительных данных (лазерные дальномеры, гиперспектрометры, системы подводного зрения), связанные с расширением областей применения робототехнических систем.

Алгоритмическая сторона процессов преобразований зрительных данных в публикуемых докладах связана с анализом математических свойств преобразований двумерных растровых изображений. Была убедительно продемонстрирована эффективность использования классических корреляционных методов в стереосистемах, в системах дистанционного зондирования поверхности Земли, при идентификации и сопровождении плохо видимых объектов.

В последнее время всё большее внимание уделяется методам сегментации зрительной сцены. В связи с этим на конференции оживлённо дискутировалась проблема «контур или область?» в задачах распознавания зрительных образов, а в докладах была показана эффективность использования новых математических методов описания областей изображения в алфавите специфических характеристик яркости или цвета. К этому направлению относятся и поиски формальных методов морфологического или структурного анализа сцен. Следует заметить, что предложенные на конференции методы сегментации изображения вполне пригодны для их параллельной реализации. Это связано с развитием современной элементной базы — программируемых логических интегральных схем (ПЛИС), цифровых сигнальных процессоров (ЦСП), многопроцессорных и многоядерных вычислительных средств, обеспечивающих возможность многопоточной и параллельно-конвейерной обработки данных видеопотока.

Безусловно, предлагаемый сборник принесёт заметную пользу специалистам в области создания систем технического зрения.

АвиАциоННо-коСмичеСкие ПРиложеНия СиСТем ТехНичеСкого зРеНия УДК 535.8 : 629.7 : 621. в СовРемеННых АвиАциоННых СиСТемАх Федеральное государственное унитарное предприятие «Государственный научноисследовательский институт авиационных систем» (ФГУП «ГосНИИАС»), Статья посвящена основным проблемам построения систем технического зрения в современных и перспективных авиационных системах. Рассмотрены основные типы датчиков, используемых в таких системах, и основные требования, предъявляемые к алгоритмам технического зрения. Описаны задачи и методы обнаружения объектов в сцене наблюдения; анализа изображений на этапе планирования авиационных операций; получения, обработки и комплексирования многоспектральных видеоданных. Отдельно рассмотрен класс систем улучшенного видения для самолётов гражданской авиации. Перечислен ряд теоретических и практических результатов, полученных в ГосНИИАС в области разработки перспективных методов технического зрения.

Работа выполнена при поддержке РФФИ (проект № 09-07-13551-офи_ц).

Ключевые слова: авиация, техническое зрение, обработка изображений, анализ изображений.

Системы управления современными летательными аппаратами (ЛА) предназначены для управления сложными многофункциональными объектами, действующими в сложной окружающей обстановке. При этом канал зрительного восприятия является одним из наиболее важных источников информации как в автоматических, так и автоматизированных (человеко-машинных) системах управления.

Вследствие этого в последние годы на передний план всё в большей степени выходят задачи создания систем технического зрения (СТЗ) для различных типов ЛА двойного назначения.

Как показывают исследования Всемирного фонда безопасности, почти 75 % аварий самолётов при заходе на посадку и посадке происходят в аэропортах, где недоступны или отсутствуют приборы точного захода на посадку, в условиях плохой видимости. В связи с этим одним из важных направлений совершенствования бортовой авионики является разработка аппаратно-программных комплексов «улучшенного видения» (Enhanced Vision Systems, EVS). В качестве источников информации в таких системах могут использоваться телевизионные видеодатчики, инфракрасные (ИК) датчики различных диапазонов, миллиметровые радары (МР), лазерные локаторы (ЛЛ), базы данных рельефа местности вдоль маршрутов полёта, базы данных аэропортов и объектов взлётно-посадочной полосы (ВПП), навигационные параметры и ряд других. Сформированная системой EVS оперативная графическая информация далее представляется пилоту в реальном времени на соответствующем устройстве отображения — индикаторе на лобовом стекле визильтер Юрий валентинович — начальник лаборатории компьютерного машинного зрения, доктор физико-математических наук, старший научный сотрудник, e-mail: [email protected].

желтов Сергей Юрьевич — член-корреспондент РАН, генеральный директор, доктор технических наук, профессор.

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

(ИЛС) или многофункциональном индикаторе (МФИ), представляющем собой компьютерный дисплей, входящий в состав бортовой системы отображения информации. По функциональным характеристикам системы улучшенного видения разделяются на три типовых класса: системы улучшенной визуализации, системы синтезированного видения и системы автоматизированного видения. При этом в составе EVS выделяются две основные подсистемы: система технического зрения (СТЗ), выполняющая операции ввода и обработки видеоинформации, и система компьютерной визуализации (СКВ), непосредственно формирующая и представляющая пилоту графические образы закабинной обстановки.

В то же время во многих областях применения авиационной техники речь сегодня идёт уже не об улучшении каких-то отдельных характеристик единичных ЛА, а о наиболее эффективных способах построения и использования целостной системы управления, связи, обработки и сбора информации (так называемые системы С4I). Эта система включает множество ЛА, а также целый ряд подсистем, служб и сетей, в том числе связанных с изображениями и географическими данными. В неё входят космические и авиационные платформы получения данных, службы географической поддержки, наземные системы сбора информации, системы планирования операций, моделирования, навигации, управления движением, целеуказания и ряд других. Неотъемлемой частью построения системы С4I является сбор и комплексирование информации, поступающей от датчиков различной физической природы, таких как космоснимки, авиаснимки, видео- и ИК-данные, данные от радаров, лазерных систем и т. д. С учётом этого самолёт начала XXI в. должен обеспечивать быструю и помехоустойчивую передачу больших объёмов данных, высокую точность навигационных систем, сверхбольшую дальность применения, всепогодность, высокую точность и гибкость при выполнении поставленных задач. Создания и применения различных технологий анализа изображений требуют сегодня системы сбора информации на базе космических, авиационных и БЛА носителей, системы подготовки полётных заданий, системы высокоточной геопространственной привязки, системы автономного управления высокоточных беспилотных ЛА и летающих робототехнических комплексов.

В данной статье мы постараемся дать обзор основных задач, методов и технологий технического зрения, связанных с авиационными приложениями. При этом в качестве примеров будут приведены некоторые теоретические и практические результаты, полученные в данной области в ГосНИИАС.

1. обНАРужеНие объекТов и идеНТификАция целей 1.1. Автоматическое и автоматизированное обнаружение целей Назначение автономной системы навигации и целеуказания сводится к максимально эффективному обнаружению определённых объектов на местности, их классификации (идентификации) в пределах установленных классов и выдаче соответствующих директив исполнительной системе управления. В автоматизированной системе те же задачи решаются человеком-оператором на основании информации, предоставленной ему системой обработки и комплексирования информации. При этом основные функции систем машинного зрения и состав необходимых алгоритмов анализа изображений оказываются в обоих случаях достаточно сходными.

Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах Для зарубежных исследований в области технологии автоматического обнаружения целей (ATR — Automatic Target Recognition) было характерно чередование относительных успехов и неудач примерно до 1987 г., когда научно-технический комитет МО США окончательно признал её перспективной в рамках программы LANTIRN (Low Altitude Navigation and Targeting Infrared for Night). В ходе реализации этой программы были преодолены трудности, связанные с распознаванием воздушных и крупных стационарных целей в условиях отсутствия или наличия незначительных местных помех. В настоящее время исследования технологии АТR ведутся главным образом с точки зрения её применения в оптико-электронных системах, РЛС и системах с комбинацией датчиков. Именно в этих направлениях сосредоточены усилия научных лабораторий и промышленных фирм, причём основное внимание уделяется усовершенствованию алгоритмов, датчиков и процессоров.

Анализ разработок зарубежных фирм в области создания систем АТR показывает, что практическое применение находят четыре основные группы алгоритмов распознавания цели:

• алгоритмы согласованной фильтрации с проверкой совпадения, использующие шаблоны для целей, которые необходимо обнаружить;

• алгоритмы статистического распознавания образов, предусматривающие выборку изображений целей с учётом их конкретных характерных признаков;

• алгоритмы технического зрения на основе моделей, с помощью которых сравниваются характерные признаки наблюдаемой цели с хранящимися в памяти ЭВМ моделями данного изображения;

• нейросетевые алгоритмы, предполагающие обучение на примерах искусственной нейронной сети, имитирующей структуру мозга человека.

Выбор того или иного способа распознавания целей так же, как и разработка системы ATR в целом, требует чётко определённой основы, предусматривающей ответы на следующие вопросы:

• каковы требования к выполнению задачи данным ЛА?

• насколько сложна классификация целей для разрабатываемой системы?

• потребуется ли для выполнения поставленной задачи дедуктивный или индуктивный метод рассуждений?

• если в процессе принятия решений предусматривается участие человека, какова должна быть степень подробности «подсказок» со стороны машины?

• какие характеристики датчиков являются в данном случае ключевыми?

• как совмещать разнородную информацию от датчиков, установленных на различных платформах, имеющих разную внутреннюю геометрию и представленных в различных форматах?

Фирмы Martin Marietta и Texas Instruments ведут разработку подсистем обнаружения и алгоритма распознавания целей для системы самонаведения крылатых ракет (КР), предназначенных для автономного поиска и уничтожения особо важных объектов. Подсистема фирмы Martin Marietta включает РЛС миллиметрового диапазона и систему FLIR. Фирма Texas Instruments в качестве средства обнаружения избрала лазерный локатор LADAR и систему FLIR. Алгоритмы распознавания целей обеих конкурирующих фирм используют сопоставление их трёхмерного

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

изображения с моделью, введенной в память системы обработки данных, или же их сигнатур, полученных под различными углами обзора. Весь процесс распознавания занимает доли секунды. В случае недостатка данных КР может сойти с маршрута, сблизиться с объектом и совершить его облёт. По заявлению представителей фирмы Texas Instruments, разработанный фирмой алгоритм АТR позволяет различать пусковые установки ЗРК и ракет класса «поверхность – поверхность»

или же транспортные автомашины и подвижные пункты связи. По утверждению представителей фирмы Martin Marietta, разработанный ею алгоритм с вероятностью 85 % обеспечивает распознавание трёх типов армейских транспортных средств с примерно равными размерами и сходной конструкцией.

Алгоритмы распознавания целей с использованием нейронных сетей разрабатываются в США управлением DARPA. В центре исследований — отработка алгоритмов на основе абстрактного представления целей вместо использования детальных изображений. Это особенно важно в тех случаях, когда возникает необходимость в усовершенствовании систем ATR с включением изображений новых целей, так как значительно сокращает время на сбор информации и отработку алгоритма.

В 1999 г. на вооружение палубной авиации ВМС США поступила тактическая крылатая ракета Boeing AGM-84H SLAM-ER — первая американская система оружия, обладающая способностью автоматического распознавания целей — режим ATR. По сравнению с режимом автоматического захвата цели (АТА — Automatic Target Acquisition), реализованным ранее в ряде авиационных средств поражения, в режиме ATR изображение потенциальной цели, получаемое бортовыми датчиками, в реальном масштабе времени сравнивается с её цифровым образом, заложенным в память БЦВМ, что позволяет осуществлять автономный поиск объекта, его идентификацию и нацеливание ракеты при наличии лишь приблизительных данных о местонахождении цели. Автономные ЛА типа КР JASSM также снабжаются комбинированной системой наведения — инерциально-спутниковой на маршевом участке полёта и тепловизионной, с режимом автоматического распознавания цели — на конечном. Такая комбинированная система позволяет, в частности, реализовать режим перенацеливания в полёте.

Однако, несмотря на явный прогресс в области разработки систем ATR, за рубежом по-прежнему наблюдается большой интерес к созданию автоматизированных человеко-машинных систем управления ЛА с элементами технического зрения. Авиационные специалисты не торопятся переходить на полностью автоматические системы целеуказания. На наш взгляд, такая осторожность во многом оправдана, и это связано с двумя следующими основными факторами. Во-первых, решение о нанесении удара по цели слишком ответственно, и потому необходима гораздо более высокая степень уверенности обнаружения и распознавания, чем та, которая обеспечивается в настоящее время лучшими системами ATR. Во-вторых, в условиях постоянно обновляющейся номенклатуры изделий, принимаемых на вооружение (как в нашей стране, так и за рубежом), для поддержания боеспособности систем ATR в каждой из них необходимо создать и постоянно обновлять банк моделей объектов, подлежащих точному распознаванию, что является достаточно тяжелой задачей в техническом, экономическом и организационном плане. Поэтому на настоящем этапе представляется более целесообразным ориентироваться на включение элементов ATR в системы информационной поддержки автоматизированных систем управления ЛА. При этом требования к надежности распознавания немного смягчаются, поскольку окончательное решение приниЮ. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах мает человек-оператор, который может проигнорировать или уточнить информацию, если она покажется ему недостаточно достоверной. В этом случае оператору в обязательном порядке должна быть доступна и «сырая» информация от датчиков, которую он мог бы интерпретировать самостоятельно, «в обход» системы ATR. В автоматизированных системах снижаются и требования к «разрешению»

распознающих алгоритмов. Системе информационной поддержки достаточно привлечь внимание оператора к определённому участку сцены, после чего распознавание точного типа объектов и принятие решения о необходимости тех или иных действий осуществит сам оператор. При такой постановке задачи нет необходимости поддерживать сверхподробную базу моделей возможных целей, как это имеет место в случае «чистого» ATR. База моделей может включать лишь общее описание крупных классов целей. В то же время уменьшение подробности выдаваемых оператору «подсказок» позволяет резко увеличить скорость обработки информации, что ведёт к высвобождению вычислительных ресурсов для решения других задач управления ЛА.

В заключение данного раздела необходимо ещё раз отметить, что задача автоматического или автоматизированного обнаружения целей является безусловно базовой, но всё же частной технологической задачей по отношению ко всему комплексу задач машинного зрения в перспективных ЛА, которые в общих чертах могут быть сформулированы следующим образом:

• обнаружение объектов и изменений в сцене наблюдения;

• высокоточные измерения элементов сцены;

• слежение за объектами;

• самоориентация и самопозиционирование ЛА;

• реконструкция наблюдаемых поверхностей и обнаружение трёхмерных • описание сцены и идентификация объектов.

1.2. Требования к алгоритмам обнаружения и идентификации в СТз лА В последние годы использование цифровых видеодатчиков с высоким разрешением позволило существенно приблизить информативность искусственных зрительных устройств к соответствующим характеристикам человеческого глаза. При этом аппаратные возможности, предоставляемые последними достижениями электроники и вычислительной техники, настолько высоки, что вычислительные мощности перспективных бортовых ЭВМ уже сегодня вплотную приближаются к характеристикам «вычислительных мощностей», используемых для обработки изображений в мозгу. Таким образом, на пути к осуществлению некогда фантастической мечты будущего — созданию полностью автоматизированных и автоматических ЛА, способных выполнять любые самые сложные боевые или хозяйственные задания, — сегодня в значительной степени стоит необходимость решения лишь одной технической задачи — разработки методов и алгоритмов «понимания»

изображений, получаемых по различным каналам информационного обеспечения современного ЛА. Однако именно эта задача во многих случаях оказывается и наиболее трудной.

Специфика разработки конкретных систем технического зрения ЛА определяется следующими основными особенностями. Во-первых, при разработке подсистем информационного обеспечения ЛА требуется решать не общую проблему автоматического понимания изображения произвольной сцены, а гораздо более

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

определённую и узкую задачу проблемно-ориентированной интерпретации изобра­ жения. Наиболее часто эта задача сводится к обнаружению и идентификации на изображении некоторого набора объектов заранее известных типов, присутствие которых может повлиять на формирование управления. Во-вторых, к алгоритмам обработки изображений в подсистемах информационного обеспечения предъявляются специальные требования, связанные с назначением и конкретными характеристиками разрабатываемой или уже существующей системы управления. В зависимости от специфики конкретной задачи, система автоматического управления предъявляет к подсистеме анализа изображений такие требования как робаст­ ность, локализация и вычислительная реализуемость в рамках заданной аппаратной архитектуры. При этом одна из центральных проблем, отличающих область обработки изображений, например, от теории обработки сигналов, заключается в разработке методов обнаружения объектов, слабо чувствительных к разнообразным видам изменчивости, характерным только для изображений, таким как различные типы искажений оптических сенсоров, блики, затенения, загораживания, искажения формы, ракурсные искажения, шумовые компоненты. В то же время необходимо отметить, что существенное расширение возможностей подсистем технического зрения ЛА может быть достигнуто при совместном использовании датчиков различной физической природы (ДРФП). При этом финальная эффективность решения задачи управления будет зависеть как от используемого набора и параметров датчиков, так и от характера алгоритмов обработки и комплексирования информации.

Рассмотрим требования к методам и алгоритмам технического зрения в системах управления ЛА на примере наиболее специфической группы алгоритмов — алгоритмов обнаружения и идентификации объектов на изображениях.

Робастность. Алгоритмы технического зрения часто отрабатываются на математических моделях характерных целей, которые могут быть получены искусственным путём с помощью ЭВМ. Этот метод считается более быстрым и дает возможность отрабатывать алгоритмы в отношении объектов, реальные изображения которых отсутствуют. Однако создаваемые алгоритмы должны работать не только на модельных, но и на реальных изображениях. Между тем, каждый, кто конструировал алгоритмы обработки реальных изображений, хорошо знает, насколько изменчивы и неформализуемы могут быть факторы, влияющие на качество реальных изображений от датчиков и соответственно — на вероятность обнаружения и распознавания объектов на этих изображениях.

Перечислим эти факторы более подробно:

• шумовые эффекты — имеют десятки видов источников возникновения, к числу которых можно отнести несовершенство сенсоров приёмо-передающей аппаратуры, аппаратуры оцифровки изображений, трудные условия съёмки, недостаток освещения и ряд других;

• сложный текстурированный фон, на котором должно происходить обнаружение объектов, например, обнаружение штриховой наклейки на газетной • эффекты загораживания (заслонения) одних объектов другими, как правило, не определённой заранее формы, например — облако на космофотоснимке и т. п., загораживающие помехи;

• искажающие оптические эффекты в виде различных расфокусировок и дисторсий, ракурсные искажения и др.;

Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах • эффекты резкой смены освещения, блики, тени, особенно в динамически меняющихся сценах;

• разнообразие или изменчивость самих объектов обнаружения — переменная структура (как у штриховых кодов), дефекты, временные изменения формы, вегетационные циклы для растительности и т. п.;

• эффекты изменения среды между сенсорами и объектами наблюдения — задымления, атмосферные осадки, пыль, искусственные помехи и многие • несинхронная запись и обработка данных в динамических задачах обнаружения, связанная с ограничениями компьютерных средств хранения и анализа изображений, особенно критическими для приложений с требуемыми высокими временами реакции системы обнаружения объектов; сюда можно отнести также сбои в компьютерных программах обработки.

Даже беглый анализ приведенных факторов демонстрирует практическую невозможность их полного формального математического описания — вероятностного, радиометрического или геометрического. Отсутствие формализованного описания ключевых факторов, вносящих неопределённость в процесс обработки, приводит к тому, что говорить о существовании единственного оптимального алгоритма для решения той или иной задачи обработки изображений в подобных случаях будет невозможно ещё многие годы. Представим себе, что существует несколько алгоритмов, достигающих примерно одинаковых результатов на «идеальных» (неискажённых) изображениях. Тогда возникает естественный вопрос, как сравнить эти алгоритмы по качеству их работы. При разработке реальных алгоритмов в настоящее время стандарт де-факто состоит в проверке эффективности работы сконструированных алгоритмов на огромных выборках реальных данных или изображениях, содержащих по возможности все неприятные ситуации. Такие алгоритмы, которые обладают устойчивостью к значительным искажениям и меняющимся факторам, принято называть робастными. Робастность следует отнести к основным практическим требованиям, предъявляемым при разработке алгоритмов обнаружения объектов и других алгоритмов машинного зрения.

Локализация. Важное отличие, присущее собственно проблеме обнаружения объектов на изображениях по сравнению с задачами распознавания или интерпретации заранее сегментированного образа, заключается в том, что обнаружение в практических задачах всегда связано с процедурой поиска объекта. Именно реализация процедуры поиска объекта связана с угрозой взрывообразного роста необходимого объёма вычислений. Проиллюстрируем это на примере простой задачи поиска объекта путём сравнения текущего изображения сцены с растровым эталоном или шаблоном формы объекта. Если построить какой-либо функционал соответствия между объектом размером MM и фрагментом MM из изображения размера NN, то простой перебор фрагментов требует количества вычислений не менее чем M2N2 операций, что, например, при размере объекта 5050, а изображения — 20002000 элементов составляет 10 миллиардов операций. Даже с учётом значительного увеличения мощности современных БЦВМ, такие объёмы вычислений по-прежнему далеко выходят за пределы возможностей реализации бортовых систем реального времени, предназначенных для таких задач как навигация и наведение ЛА. Более того, реальные задачи обработки визуальной информации, как правило, изобилуют дополнительными степенями свободы, когда искомая

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

яркостно-геометрическая структура на изображении может иметь не только произвольные положение, угловую ориентацию и масштаб, но и подвергаться разным преобразованиям, не только аффинным или проективным, но и гораздо более сложным, таким как различные «резиновые» модели или «коробление» (warping).

Всё это катастрофически увеличивает потребное для корреляционного перебора время расчётов и требует применения качественно иных идей по организации процесса обнаружения.

В связи с этим второе важнейшее свойство, которым должны, как правило, обладать алгоритмы обнаружения объектов на изображениях, можно определить как точную локализацию. Это понятие означает, что необходимо не только обнаружить объект, но и точно указать в системе координат изображения (или сцены) его положение в каком-либо смысле. Несколько неясное толкование понятия «локализации», приведенное выше, связано с тем, что по сравнению со своей эталонной моделью объект на реальном изображении может быть заметно искажён геометрически, причём аналитическая модель искажения может отсутствовать. В этих случаях локализация объекта является нетривиальной задачей. В более простой ситуации, при аналитически известной с точностью до параметров геометрии искажений, под точной локализацией можно понимать знание о положении какойлибо характерной точки объекта и параметрах геометрии искажения (углы поворота, элементы проективного преобразования и т. п.). При этом встречающиеся случаи ошибок локализации целесообразно разделить на две группы — нормальные и аномальные ошибки. Нормальная ошибка — это правильная локализация объекта с некоторой позиционной или параметрической неточностью, характеризуемой количественными оценками. Для объектов, характеризуемых габаритными размерами, большими 33…55 элементов изображения, позиционные нормальные ошибки могут быть значительно меньше размера элемента изображения, уменьшаясь с величиной объекта. В этом случае принято говорить о возможности субпиксельной локализации. Это особенно важно для задач стереообнаружения, так как при малых параллаксах 3D-объектов субпиксельная локализация самым существенным образом определяет точность их пространственного положения.

К аномальным ошибкам следует отнести ситуацию перепутывания объектов или возникновение артефактов (ложных объектов) на фоне, что связано с фатальными количественными ошибками позиционирования или просто ложным обнаружением. Требования по исключению или ограничению уровня аномальных ошибок составляют очень важную часть требований к алгоритмам обнаружения, так как ошибочное целеуказание непосредственно приводит к формированию неэффективного управления.

Вычислительная реализуемость. Несмотря на отмеченный ранее колоссальный прогресс вычислительной техники и создание обширной специализированной процессорной базы для обработки изображений, для основной массы бортовых приложений реального времени характеристики вычислителей и их свойства всё ещё далеки от желаемых. Даже в случае реализации простейших алгоритмов оконной фильтрации изображения с минимальной апертурой 33 элемента объём вычислений составляет десятки операций на точку изображения. При обработке более высокого уровня необходимый объём вычислений колеблется в пределах от сотен до тысяч операций на пиксел. Если размер анализируемого изображения составляет порядка 10001000 элементов, что не является чем-либо необычным для современных видеодатчиков (можно вспомнить, что бытовые цифровые Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах фотоаппараты давно превзошли отметку 5 Мпикс. в ПЗС-матрице), мы получим оценку количества потребных вычислений порядка нескольких гигабайтов операций на кадр. Между тем, для приложений реального времени необходимо выполнять эти вычисления в темпе кадровой развертки (не менее 25 кадров в секунду), что приводит к оценке быстродействия около 50 Гфлопс. Сами по себе эти оценки сегодня не являются запредельными для ЭВМ последнего поколения, однако следует учесть, что в случае создания систем управления перспективных ЛА массогабаритные характеристики конструируемых вычислительных устройств должны быть весьма ограничены. Таким образом, вычислительная реализуемость алгоритмов по-прежнему относится к числу наиболее важных факторов, учитываемых при их разработке.

1.3. Современный подход к обнаружению объектов в сцене наблюдения Вплоть до 80-х гг. прошлого века основным классом алгоритмов обнаружения и идентификации объектов, использовавшихся в бортовых системах технического зрения ЛА, являлся класс корреляционно-экстремальных алгоритмов [Красовский и др., 1979]. Однако по мере возрастания требований к точности и надежности алгоритмов обнаружения всё более сложных объектов во всё более сложной реальной обстановке недостатки данной группы методов стали проявляться всё более явно. Это прежде всего высокая вероятность аномальных ошибок, необходимость иметь большое число эталонов для описания разноракурсных образов трёхмерных объектов, неустойчивость по отношению к яркостно-геометрической изменчивости изображений, имеющей место в реальных условиях регистрации. Таким образом, наметился переход от корреляционных детекторов заданных образов к методам и алгоритмам структурного анализа изображений.

В настоящее время последовательность процедур обработки изображений принято рассматривать в соответствии с так называемой парадигмой Марра [Марр, 1987]. Эта парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений опирается на несколько последовательных уровней восходящей информационной линии «иконическое представление объектов (растровое изображение, неструктурированная информация) — символическое представление (векторные и атрибутивные данные в структурированной форме, реляционные структуры)» и должна осуществляться по модульному принципу посредством следующих этапов обработки:

• предобработка изображения;

• первичная сегментация изображения;

• выделение геометрической структуры видимого поля;

• определение относительной структуры и семантики видимой сцены.

Связанные с этими этапами уровни обработки обычно называются соответственно обработка нижнего уровня, среднего уровня, высокого уровня. В то время как алгоритмы обработки нижнего уровня (фильтрация простых шумов, гистограммная обработка) могут рассматриваться как хорошо проработанные и детально изученные, алгоритмы среднего уровня (сегментация) продолжают сегодня оставаться центральным полем приложения исследовательских усилий. За последние годы значительный прогресс достигнут по отношению к проблемам сопоставления точек и фрагментов изображений (matching) [Gruen, Baltsavias, 1988; Schenk,

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

1996], выделения признаков внутри малых фрагментов [Grimson, 1990; Marr, Hil­ dreth, 1980; Mumford, 1987], высокой точности 3D-позиционирования точек [Gruen, Baltsavias, 1985; Haralick, Chu, 1984], что подразумевает соответствующее моделирование и калибровку датчиков и их комбинаций, выделение простых яркостно-геометрических структур типа «точка», «край», «пятно», «прямая линия», «угол» [Burns et al., 1986; Canny, 1986; Kitchen, Rosenfeld, 1982; Marr, Hildreth, 1980;

Seeger, Seeger, 1994]. Эти «первичные» особенности изображения, также называемые характерными чертами (ХЧ) (рис. 1), играют базовую роль и при составлении яркостно-геометрических моделей объектов и разработке робастных алгоритмов их выделения. Ввиду высокой значимости характерных черт для разработки алгоритмического обеспечения задач управления ЛА, в ГосНИИАС были проведены исследования свойств различных типов ХЧ на типичных сюжетах — авиационных снимках местности.

Приведём классификацию характерных черт, которые могут присутствовать на изображениях и иметь следующие виды атрибутов:

1) положение: концы отрезка, центр отрезка, центр тяжести области, вершины многоугольников;

2) геометрические атрибуты: ориентация, длина, кривизна, площадь, периметр, ширина линии, минимальный и максимальный диаметр области, оси симметрии, число и положение особых точек, показатель компактности и др.;

3) радиометрические атрибуты: контраст, статистика распределения яркости, знак и величина края, автокорреляция;

4) текстурные атрибуты: матрица смежности, показатель однородности, энергия, энтропия, статистика градиентов текстуры, результаты применения текстурных фильтров, моменты;

5) топологические атрибуты: связность, соседство, общие точки, пересечение, параллельность, перекрытие, включение;

6) цветовые / многозональные атрибуты: вектор атрибутов для каждого канала;

7) динамические атрибуты: атрибуты статических и движущихся объектов;

8) временные атрибуты: функции изменения атрибутов со временем.

Выбор конкретных ХЧ и их атрибутов для построения алгоритмов обнаружения должен основываться на следующих основных критериях:

Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах 1) присутствие / плотность: наличие данных ХЧ на всех используемых изображениях, достаточная плотность ХЧ для покрытия интересующего района;

2) редкость / уникальность: редкость конкретной ХЧ на изображении, уникальность ХЧ в окрестности;

3) инвариантность / устойчивость: робастность по отношению к геометрическим и радиометрическим искажениям, нечувствительность к шуму;

4) локализация: возможность точной локализации;

5) интерпретация: возможность быстрого распознавания и интерпретации;

6) скорость: время выделения данного класса ХЧ из исходного изображения.

При работе с реальными изображениями перечисленные критерии являются противоречивыми. Поэтому конкретный выбор ХЧ и их атрибутов зависит от доступной вычислительной мощности и от минимальной требуемой робастности описания модели объекта в терминах ХЧ.

Методы обработки высокого уровня, относящиеся собственно к «пониманию изображений», находятся ещё в начальной фазе развития и по-прежнему представляют собой «вызов» для сообщества исследователей в области компьютерного зрения и искусственного интеллекта. Безусловно, перспектива создания будущих поколений интеллектуальных систем управления в основном зависит от дальнейшей разработки именно этого круга алгоритмов.

Если говорить о методах и алгоритмах обнаружения сложных объектов, то одна из центральных проблем, отличающих методы обработки изображений от хорошо изученной теории обработки сигналов, заключается в разработке методов обнаружения объектов, слабо чувствительных к разнообразным видам изменчивости, характерным лишь для изображений. Такими специфическими видами изменчивости являются ракурсные и радиометрические искажения, а также различные виды искажений, не сводимые к вероятностным моделям (шумы формы). На пути борьбы с ними были предложены как огромное множество эвристических алгоритмов обнаружения конкретных типов объектов, так и ряд подходов, обладающих большей общностью: методы корреляционного обнаружения [Василенко, Цибулькин, 1985; Левшин, 1987; Ярославский, 1987], преобразование Хафа [Davies, 1987; Duda, Hart, 1972; Hough, 1962; Illingworth, Kittler, 1987], морфологические подходы Пытьева [Пытьев, 1983, 1984] и Серра [Serra, 1982, 1986]. Значительный вклад в разработку методов и алгоритмов обработки изображений и машинного зрения применительно к обсуждаемым задачам обнаружения внесли работы Л. П. Ярославского, В. К. Злобина, В. Л. Лёвшина, Р. Харалика, Е. Дэвиса, Р. Неватиа, Е. Дикманнса, В. Фёрстнера и многих других. Однако, несмотря на достигнутые результаты, общее состояние проблемы выделения и идентификации сложноструктурированных объектов на моноскопических изображениях можно охарактеризовать как неудовлетворительное. Ещё сложнее выглядит задача обнаружения трёхмерных структур на стереоскопических изображениях. Здесь только намечаются подходы к более общим постановкам.

Рассмотрим, например, часто встречающуюся задачу обнаружения зданий (см., например, известные работы [Forstner, 1995; Huertas, Nevatia, 1988]). На рис. (см. с. 22) представлены этапы работы реализованного в ГосНИИАС модульного алгоритма автоматического обнаружения зданий с борта летательного аппарата [Zheltov et al., 1997]. Данный алгоритм включает следующие основные этапы: выделение контурного препарата, выделение первичных линеаментов, выделение крупных и / или параллельных линеаментов, отбор линеаментов по размеру, поиск

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

П-образных структур, формирование окончательной 2D-модели сцены, установление межкадрового соответствия между 2D-моделями, формирование окончательной 3D-модели наблюдаемой городской сцены (рис. 3), определение целевых зданий в составе наблюдаемой 3D-модели городской сцены.

Рис. 2. Пример модульного алгоритма автоматического обнаружения зданий с борта летательного аппарата: а — исходное авиационное изображение; б — контурный препарат;

в — первичные линеаменты; г — крупные и / или параллельные линеаменты; д — окончательный список линеаментов; е — П-образные структуры; ж — 2D-модель сцены; з — стереоотождествление 2D-моделей Рис. 3. Сформированная 3D-модель наблюдаемой городской сцены Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах 1.4. методы и подходы, развиваемые в госНииАС На протяжении последних десятилетий в ГосНИИАС ведутся регулярные исследования и разработки, связанные с созданием перспективных систем технического зрения ЛА. За это время, помимо ряда прикладных систем технического зрения, был создан и ряд новых теоретических подходов к построению алгоритмов анализа изображений. Ниже приводится краткое описание основных направлений работ, ведущихся в данной области, и полученных при этом результатов.

Разработка методов анализа свидетельств на изображениях. Для непосредственного описания и разработки алгоритмов обнаружения сложных структурированных объектов был предложен обобщённый метод совместного анализа свиде­ тельств на изображениях [Visilter, 1996a, b]. Данный метод изначально основан на теоретико-вероятностном подходе, причём обнаружение сводится к проверке гипотезы о нахождении изображения объекта на реальном изображении. При этом любой яркостно-геометрической модели объекта ставится в соответствие некоторая экспертная вероятностная модель, описывающая статистические зависимости между различного рода особенностями изображения и гипотезой о принадлежности наблюдаемого объекта данной яркостно-геометрической модели. Полученная вероятностная модель используется уже на этапе обнаружения объекта, непосредственно в ходе низкоуровневого анализа конкретного предъявляемого изображения. При этом каждая обнаруженная особенность данного изображения (характерная черта) рассматривается как событие, свидетельствующее в пользу гипотезы (ряда гипотез) о наличии и характеристиках искомого объекта. Инвариантность к условиям регистрации и робастность обнаружения обеспечиваются за счёт соответствующего выбора типа используемых свидетельств (ХЧ), таких, что их связь с оцениваемыми параметрами регистрации не зависит или слабо зависит от значений параметров, которые на этапе обнаружения не оцениваются.

Было показано, что обобщённый метод анализа свидетельств определяет следующие основные возможности повышения вычислительной эффективности алгоритмов детектирования: независимое аккумулирование свидетельств, декомпозиция вектора параметров, редукция вектора параметров, загрубление модели объекта. Соответствующая модульная схема обобщённого алгоритма обнаружения объектов содержит по крайней мере три основные процедуры, применяемые последовательно: обработка изображения по схеме голосования с целью выделения объектов или их составляющих; анализ аккумулятора с целью определения положения и/или ориентации объектов; повторный анализ изображения с целью проверки природы обнаруженных объектов и уточнения их параметров. Для реализации процедур анализа свидетельств в виде модульных алгоритмов обработки изображений предложена формальная последовательность шагов разработки алгоритмов обнаружения, позволяющая разрабатывать эффективные процедуры инвариантного детектирования конкретных классов объектов на изображениях.

Необходимо отметить, что, в отличие от общих вероятностных, информационных, алгебраических, нейросетевых и т. п. подходов, предложенная в ГосНИИАС технология анализа свидетельств имеет чётко очерченную область применения в задачах обнаружения и локализации сложных структурных объектов на цифровых изображениях. Данный метод предполагает наличие яркостно-геометриче­ ской модели двумерного образа искомого объекта, исходя из которой он позволяет стандартным образом порождать необходимые яркостно-геометрические модели

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

подлежащих обнаружению характерных черт («событий») и устанавливать их гео­ метрическую связь с параметрами модели объекта для последующей локализации и идентификации объекта на изображении. При этом о содержательной яркостногеометрической модели объекта можно говорить только в том случае, если существует определённая неоднородность внутри самого изображения объекта, которая позволяет выделить некоторые характерные черты и затем выявить их пространственные отношения, которые послужат основой для локализации объекта.

Разработка методики автоматизированного конструирования процедур анализа изображений. Как было отмечено, условием применимости метода анализа свидетельств на изображениях является наличие известной яркостно-геометрической модели объекта. В литературе описан широкий спектр таких моделей — от простейших признаковых описаний до высоко специализированных и изощренных структурных моделей. Однако общий метод составления работоспособных моделей для новых классов объектов до сих пор не известен. Отсюда следует, что разработка и использование яркостно-геометрических моделей, пригодных для эффективного решения задачи обнаружения соответствующих объектов, в значительной степени остается на грани науки и искусства, т. е. требует особого know-how или, другими словами, знания предметной области, отражающего многолетний опыт исследований по решению частных задач. В связи с этим в ГосНИИАС была поставлена задача разработки методики полностью автоматического конструирования модульных алгоритмов анализа изображений на основе моделей, включая и автоматическую генерацию самих исходных моделей на основе базы эталонных изображений объекта.

С этой целью была разработана методика автоматизированного конструирования процедур обнаружения и идентификации объектов на основе их структурновероятностного описания [Буряк, Визильтер, 2002б]. В рамках данной методики модели искомых объектов описываются разработчиком при помощи специально ориентированного на работу с изображениями декларативного языка логического программирования (типа ПРОЛОГ). После того как модель описана, осуществляется автоматическое преобразование исходного описания модели к одной из известных системе форм описания, соответствующих различным классам типовых алгоритмов вероятностно-логического вывода на изображениях (голосование, прослеживание, привязка и т. п.), включая и класс алгоритмов, основанных на анализе свидетельств.

Также была разработана методика автоматизированного конструирования близких к оптимальным модульных процедур обнаружения и идентификации объектов на изображении с использованием генетических алгоритмов [Буряк, Визиль­ тер, 2002а]. Метод основан на «генетическом отборе» информативных элементов эталонных изображений в процессе обучения. Критерием отбора является функция качества, вычисляемая по значениям точности, надежности и времени работы процедуры на изображениях обучающей выборки.

Разрабатываемые в рамках данного направления методики позволят в будущем существенно упростить и ускорить цикл разработки алгоритмического обеспечения при создании различных систем компьютерного и машинного зрения.

Разработка методов оценки движения видимых объектов в движущемся видимом поле. Системы технического зрения, использующие технологии анализа движения, как правило, предполагают выделение подвижного объекта на неподвижном Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах (относительно датчика) фоне. Между тем, для мобильных технических средств (ЛА, автомобили, поезда, мобильные роботы и т. п.) фон изображения сцены также изменяется со временем за счёт относительного движения приёмника изображения. Разработанный в ГосНИИАС подход к выделению движущихся объектов по признаку их движения [Визильтер и др., 2006] характеризуется следующими основными особенностями: быстрая корреляционная привязка фона по пирамиде изображений либо по набору динамически выделяемых особых точек; пытьевское морфологическое проецирование яркости; сравнение текущей межкадровой разности с накопленной разностной матрицей; опора на несколько динамически формируемых базовых кадров. Разработанные алгоритмы обеспечивают автоматическую оценку и компенсацию движения камеры относительно сцены наблюдения.

Для адаптивной настройки алгоритмов на крупно-, средне- и мелкоразмерные объекты, в зависимости от задачи наблюдения, поля зрения и текущих настроек камеры предложен так называемый модифицированный метод оптических потоков. В рамках данного метода на этапе предобработки используются временные разностно-накопительные схемы, оптический поток вычисляется по разности накопленных изображений, движущиеся элементы изображения определяются на основе оценки накопленного оптического потока. Для задачи оценивания параметров видимого движения и размеров объектов на изображениях разработана процедура повторной сглаживающей авторегрессионной фильтрации. Для вычислительно эффективной реализации процедуры анализа оптических потоков предложен способ исследования пиксельного временного сигнала на базе вычисления так называемых кратнорегрессионных псевдоспектров [Визильтер, Вишняков, 2008].

Разработка методов стереообнаружения объектов в сценах наблюдения. Для решения данного класса задач был предложен так называемый метод дифферен­ циального ортофото [Желтов и др., 2002], основная идея которого заключается в следующем. По известной аналитической модели поверхности строятся ортоскопические проекции данной поверхности на некоторую удобную плоскость с использованием двух изображений, синхронно регистрируемых откалиброванной стереоскопической системой. Вычисление дифференциальной разности полученных ортоскопических изображений приводит к появлению характерных яркостно-геометрических структур в окрестности 3D-объектов, не лежащих на исследуемой поверхности. Поскольку ортоскопические проекции устраняют искажения, вызванные криволинейностью поверхности, существенная дисперсия яркости на разностном изображении проявляется только в окрестности 3D-объектов. В случае простых объектов с прямолинейными краями на разностном изображении образуются чёткие структуры с формой угла. При этом величина и форма угла являются известными функциями от положения объекта и не зависят от формы объекта. В случае объектов более сложной формы (с большим количеством краев) на разностном изображении возникает комбинация угловых структур, зависящих только от положения объекта. Поэтому алгоритм обнаружения, основанный на согласованной фильтрации угловых структур, близок в данной задаче к оптимальному. Таким образом, метод дифференциального ортотрансформирования позволяет свести задачу обнаружения 3D-объектов к задаче обнаружения на синтетическом изображении 2D-структур с предсказанными свойствами.

Разработка современных морфологических методов анализа цифровых изобра­ жений. Морфологический подход к задачам анализа данных отличается от других

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

схем анализа данных тем, что в качестве обязательного этапа предполагает обосно­ ванное (т. е. в некотором смысле оптимальное) построение модельного описания ги­ потетического (скрытого) прообраза наблюдаемых данных. Иными словами, обязательным этапом решения любого типа задач здесь является модельная сегментация данных, допускающая их последующую полную или частичную реконструкцию.

Легко заметить, что морфологический подход не является ни единственно возможным, ни наиболее объемлющим по отношению к остальным методам анализа данных, однако на сегодня он представляется единственным универсальным, т. е.

функционально полным подходом, обеспечивающим возможность единообразного решения всех типов задач обработки и анализа данных, возникающих в реальных технических приложениях, а именно: фильтрации (преобразования) данных, сжатия / декомпрессии (сегментации / реконструкции) данных, классификации данных (тестирования гипотез, распознавания образов), обнаружения объектов (локализации гипотез в пределах одного наблюдения), обучения алгоритмов анализа данных (автоматического конструирования моделей).

В последние годы в области математической морфологии и морфологического анализа изображений вновь наметился существенный прогресс, и во многом он связан с теоретическими и практическими разработками, ведущимися в ГосНИИАС.

В рамках математической морфологии Серра был предложен ряд принципиально новых направлений [Visilter, 2000, 2002; Визильтер, 2005]. Предложен формализм «монотонной математической морфологии» (МММ), представляющий собой схему построения новых операторов математической морфологии Серра на базе произвольных неморфологических операторов при помощи специального оператора «монотонизации». Предложена математическая морфология в смысле Серра, построенная на базе преобразования Хафа и его модификаций (Хаф-морфология).

Разработан метод анализа морфологических свидетельств [Визильтер, 2007], объединяющий в рамках единого математического формализма процедуры анализа свидетельств и процедуры морфологического анализа изображений и таким образом позволяющий в едином ключе конструктивно и содержательно описывать логико-вероятностные и яркостно-геометрические составляющие таких подходов к анализу изображений как преобразование Хафа, обобщенное преобразование Хафа, математическая морфология Серра, морфологическое сравнение изображений Ю. П. Пытьева. Разработана теория проективных морфологических разложений, опирающаяся на однородные структурные модели, представляющие изображения в виде объединения независимых линейных проекций на образующие (структурные примитивы) из некоторого набора, причём коэффициенты линейной связи образующих и анализируемого образа составляют регулярный вектор морфологического разложения, характеризующий данный образ. Определены морфологические корреляционные меры и соответствующие схемы сравнения и яркостно-геометрической привязки изображений на основе их морфологических разложений.

Предложен единый подход к построению алгоритмов структурной фильтрации, сжатия и сегментации цифровых изображений, а также обнаружения и идентификации объектов на изображениях, основанный на проективных морфологических разложениях [Визильтер, Желтов, 2008а, б; Визильтер, 2008в]. Предложен и обоснован новый широкий класс проективных морфологий на базе структурной интер­ поляции [Визильтер, 2008б].

В качестве наиболее общего на сегодняшний день морфологического формализма был предложен математический аппарат критериальной проективной морфологии Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах [Визильтер, 2008а], позволяющий использовать как однородные, так и неоднородные модели данных. Предложена и исследована схема построения критериальных морфологических операторов анализа изображений на основе критерия максимальной достоверности, включающего критерий соответствия проекции и проецируемого образа, модельный критерий проекции, характеризующий её принадлежность модели, и структурирующий параметр, обеспечивающий компромисс между требованиями соответствия и качества. Определены достаточные условия проективности критериальных морфологических операторов. Показано, что структурирующий параметр морфологического критерия определяет морфологическую сложность по Пытьеву соответствующей модели. Разработаны эффективные реализации критериальных морфологических фильтров на основе метода динамического программирования [Визильтер и др., 2009].

Результаты данного направления находят практическое применение в таких задачах как автоматическое и полуавтоматическое обнаружение искусственных объектов при дешифрировании аэро- и космофотоснимков, информационное обеспечение автономных ЛА и ряде других.

2. АНАлиз изобРАжеНий земНой ПовеРхНоСТи НА эТАПе ПлАНиРовАНия АвиАциоННых оПеРАций В последние годы трёхмерное изображение местности с точной координатной привязкой характерных объектов и целей становится необходимой основой планирования авиационной операции (рис. 4). Принципиальный выигрыш от использования таких «виртуальных» 3D-представлений заключается в максимальной наглядности геопространственных данных и совершенно новых интерактивных Рис. 4. Изображение местности с точной координатной привязкой

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

информационных возможностях, которые обеспечивают компьютерные технологии машинной графики по сравнению с обычными бумажными картами и схемами.

Помимо этого, рассматриваемые в данном разделе технологии реконструкции поверхностей и обнаружения трёхмерных структур применяются для создания высокоточных метрических геопространственных данных при навигации и наведении ЛА, для точной координатной привязки целей, для использования стереоскопических демаскирующих факторов с целью повышения вероятности обнаружения объектов, а также при создании реалистических авиационных тренажеров нового поколения.

Разработанный в ГосНИИАС набор методов, алгоритмов и программных средств построения 3D-описания сцены и методов обнаружения объектов позволил создать автоматизированные средства обработки данных отечественной аэрокосмической съёмки для построения «виртуальных» моделей реальных территорий. При этом был спроектирован и реализован программно-алгоритмический пакет Z-Space, включающий:

• быструю генерацию цифровых моделей рельефа (ЦМР) в виде регулярной матрицы высот по стереопарам космических снимков или аэроснимков;

• создание цифровых ортофотопланов;

• съёмку векторных контуров по стереопарам и ортофото;

• визуализацию элементов рельефа с использованием разнообразных возможностей компьютерной графики.

В составе пакета реализованы как стандартные фотограмметрические процедуры ориентирования, геометрической и радиометрической коррекции снимков, так и новые, оригинальные процедуры автоматического выделения объектного состава. В частности, для решения задач реконструкции поверхностей и обнаружения трёхмерных структур предложен вычислительно эффективный метод поиска соответствующих (сопряженных) точек стереопары изображений трёхмерной сцены с учётом априорной информации об их приблизительном положении [Zheltov, Sibiryakov, 1997]. Особенность разработанного метода стереоотождествления заключается в том, что соответственные точки находятся с максимальной (субпик­ сельной) точностью и снабжаются коэффициентом надежности стереоотождествления. Алгоритм стереоотождествления состоит из следующих этапов:

1) выбор наиболее информативных участков изображений;

2) стереоотождествление с пиксельной точностью;

3) стереоотождествление с субпиксельной точностью (субпиксельное уточнение).

При этом большие области поиска ограничиваются за счёт применения пирамиды изображений, использования эпиполярной геометрии и априорного оценивания диапазона высоты рельефа видимой сцены. Выбор уникальных эталонов осуществляется на основе анализа информативности фрагментов изображений, тем самым преодолевается проблема сходства близлежащих эталонов. Трудности в выборе начального приближения положения соответствующих образов преодолеваются применением иерархической стратегии построения карты диспаратностей.

Геометрические искажения образов устраняются геометрическими преобразованиями изображений. Яркостные искажения образов устраняются явным введением параметров искажений и их оценкой. Ложное отождествление (аномальные ошибки) выявляется с помощью анализа формы корреляционной функции. Для Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах Рис. 5. Интерфейс пользователя программного пакета Z-Space решения задачи выбора информативных участков изображений разработан новый статистический метод определения информативности на основе анализа статистических свойств шума по оптическому клину, который представляет собой изображение с плавным нелинейным изменением яркости.

На рис. 5 представлен вид рабочего окна разработчика ЦМР в пакете Z-Space при работе с космическими фотоснимками.

На рис. 6 (см. с. 30) показана типовая последовательность обработки данных авиационной съёмки для получения 3D-модели местности с объектовым составом с помощью пакета Z-Space. На рис. 7 (см. с. 30) приведён пример синтеза модели «Каир» (Египет) по данным отечественной космической съёмки камерами ТК (стереоданные) и КВР1000 (панорамная съёмка), а на рис. 8 (см. с. 31) — комбинация моделей, построенных по данным космических (общий план) и авиационных снимков (детали аэропорта).

Апробация разработанных технологий проводилась на комплексах полунатурного моделирования авиационных приложений в ГосНИИАС. Анализ показал, что, например, для демонстратора системы подготовки полётного задания перспективных самолётов могут быть значительно сокращены сроки подготовки полётного задания.

Необходимо также отметить роль компьютерного моделирования изображений земной поверхности в процессе разработки авиационных систем технического зрения различного назначения. В настоящее время средствами компьютерного моделирования могут быть получены достаточно реалистичные изображения любой конкретной местности, включая все необходимые объекты инфраструктуры, имитирующие результаты регистрации в видимом диапазоне длин волн. К сожалению, программное обеспечение, позволяющее осуществлять высококачественное и натуралистическое моделирование изображений других диапазонов, на рынке практически отсутствует или крайне труднодоступно. Тем не менее, даже возможность моделирования изображений видимого диапазона (или, точнее, трёхмерной

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

Рис. 6. Последовательность обработки данных в пакете Z-Space Рис. 7. Результат моделирования. Каир, Гиза, район пирамид Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах Рис. 8. Результат моделирования. Аэропорт в горах яркостно-геометрической информации на базе таких моделей) является весьма существенным подспорьем при разработке СТЗ, которые должны функционировать в чрезвычайно широком диапазоне условий, определяемых множеством факторов:

все сочетания этих факторов крайне трудно и экономически нецелесообразно пытаться зарегистрировать в реальном лётном эксперименте. Отметим хотя бы такие факторы изменчивости обстановки как различные траектории подлёта, различный характер окружающего рельефа, различные погодные и другие условия видимости, наконец, различные ситуации в связи с наличием и положением различного рода подвижных объектов. Все эти факторы целесообразно моделировать, и программа моделирования должна быть достаточно обширной, чтобы гарантировать надежность работы СТЗ в реальных условиях. Естественно, качество моделирования должно постоянно проверяться на соответствие реальным регистрациям, получаемым от датчиков в натурных условиях. Создание практической СТЗ путём отработки на одних лишь модельных данных пока остается принципиально невозможным.

3. ПолучеНие, обРАбоТкА и комПлекСиРовАНие Как в процессе функционирования автономной системы машинного зрения, так и в работе человека-оператора автоматизированной системы управления, многие проблемы возникают вследствие естественной низкой различимости целей на оптическом изображении (дождь, туман и т. д.), либо возможного присутствия активных видов противодействия (маскировка, пиротехнические средства, прожекторы и т. п.). Значительную роль в снижении характеристик обнаружения играют также шумовые компоненты сигналов, образующиеся из-за особенностей применяемых датчиков и неидеальности каналов передачи данных. Большинство разработчиков перспективных систем управления ЛА видят основной путь борьбы с этой группой проблем в совместном использовании датчиков различной физической природы.

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

Изображения, получаемые от различных ДРФП, имеют свои характерные яркостно-геометрические особенности, которые обусловлены как физикой формирования самого изображения, так и характеристиками оптико-электронных трактов. Данные особенности в значительной степени определяют выбор алгоритмов предварительной обработки и распознавания. Так, существенные сложности при обработке изображений в оптическом диапазоне представляют затемнённые участки, на которых теряют эффективность локальные и градиентные алгоритмы. В то же время изображение в ИК-диапазоне обладает свойством отсутствия теней, что дает возможность выделить тени на оптическом изображении в случае совместной обработки изображений, получаемых от ТВ- и ИК-датчиков. Изображения, получаемые в миллиметровом диапазоне, характеризуются хорошим качеством в условиях дождя, тумана, облачности, однако геометрические размеры объектов сцены на таких изображениях значительно отличаются от действительных.

Таким образом, комплексная обработка изображений в различных спектральных диапазонах предоставляет дополнительные возможности при автоматизации обработки и распознавания.

В табл. 1 приведены основные характеристики и наиболее известные признаки восьми двумерных датчиков, обладающих существенной разделительной способностью по отношению к типовым объектам интереса ЛА. Все перечисленные датчики могут практически использоваться при решении задач управления и выпускаются серийно по существующим технологиям.

Тепловизионный 2D-тепловое изобра- Форма, max / min эмиссия, количество и расдатчик жение положение горячих пятен, окружение (среда) Радар миллиметрово- • 1D-отражённый • Распределение и степень протяженности расго диапазона профиль сеивателей • 1D или 2D-поляри- • Чётный и нечётный номер и расположение Лазерный локатор • 3D-изображение • Размер, 3D-форма, расположение объектов • доплеровская моду- • Пульсация, структурная и поверхностная • 2D-поле скоростей • Пространственное распределение движущихся участков сцены Локатор с синтезиро- 2D-изображение Размер и расположение объектов ванным раскрывом Телевизионный 2D-полутоновоевидео- Форма, размеры, текстура, внутренняя структудатчик изображение ра объектов, окружение Микроволновый • Доплеровская моду- • Скорость, частота пульсации и ширина пучка Акустический датчик Отражённый звуковой Частоты пульсации, гармоники отношения Интерферометр Спектральная и вре- Частота, частотная модуляция, амплитудная менная зависимость модуляция, продолжительность пульсации, Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах Для экспериментальной съёмки ДРФП в ГосНИИАС был создан целый ряд специальных аппаратно-программных стендов. Ниже приводятся примеры различных многоспектральных регистраций (телевизионные, лазерно-локаторные, инфракрасные). На рис. 9 представлены ТВ-, ЛЛ- и ИК-регистрации движущегося объекта на малой дальности (150 м). Пример демонстрирует надежную селекцию объекта на ЛЛ-изображении, а также яркое пятно от выхлопных газов двигателя в ИК-диапазоне. На рис. 10 показаны ТВ-, ЛЛ- и ИК-изображения‚ полученные при наблюдении объекта на средней дальности (400 м). На ЛЛ-изображении селектируется только подвижный объект. На рис. 11 (см. с. 34) представлены ТВ-, ЛЛ- и ИК-регистрации изображений объекта на большой дальности (2000 м).

Объект наблюдается на изображениях всех трёх датчиков‚ но форма объекта визуально не различима. На рис. 12 (см. с. 34) представлены изображения городской сцены в ТВ- и двух ИК-диапазонах (3…5 и 8…14 мкм).

Как видно из приведенных примеров, изображения, получаемые от датчиков различных диапазонов, имеют существенную корреляцию из-за естественных взаимосвязей между физическими величинами, которые измеряются этими датчиками. Это означает, что со статистической точки зрения данные, формируемые различными каналами многоканальных систем дистанционного наблюдения, не могут рассматриваться как независимые источники свидетельств об объектах сцены наблюдения. Тем не менее, каждый диапазон несет и определённую специфическую информацию об объекте наблюдения, что позволяет системам машинного Рис. 9. ТВ-, ЛЛ- и ИК-изображения движущегося объекта

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

зрения, использующим несколько различных датчиков, демонстрировать лучшие результаты по сравнению с системами, основанными на одном спектральном диапазоне.

Комплексирование данных различной физической природы может осуществляться на основе логического или вероятностного объединения поканальных решений, полученных в ходе раздельного анализа информации, поступающей от каждого датчика. Известны также схемы комплексирования, основанные на классификации объединенных наборов признаков, формируемых по совокупности признаков, выделяемых в ходе анализа изображений разных каналов. Однако большинство современных подходов к построению многоканальных систем машинного зрения предполагают уже не «комплексирование» многозональной информации в прежнем, узком, смысле, а сложный многоэтапный процесс со­ вместного анализа данных, на различных этапах которого в центре рассмотрения оказываются изображения от различных датчиков, происходит их перекрестный опрос, запрашиваются различного рода подтверждения и уточнения и т. д. Разработанный в ГосНИИАС оригинальный подход к классификации алгоритмов и структур для работы с данными различной физической природы получил название ПОМИ (платформа обработки многоспектральной информации) [Stepanov и др., 1995, 1996]. Он позволяет в едином ключе описывать, анализировать и разрабатывать наиболее широкий спектр схем обработки и комплексирования многозональной информации. Для того чтобы описать общую структуру ПОМИ, необходимо сначала определить набор типов данных, а затем, опираясь на них, — набор типов процедур обработки.

Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах В последние годы в области комплексирования данных существует принятая концепция семантических уровней представления данных, включающая уровень из­ мерений, признаковый уровень, уровень оценок достоверности, символьный уровень.

Упомянутые оценки достоверности представляют собой векторы вероятностного или нечёткого описания принадлежности объекта некоторому классу или типу объектов. В то же время любой тип данных в вычислительных системах есть совокупность элементов, организованная в некоторую структуру. Соответствующая схема уровней организации данных включает: растровые данные, 2D-структурированные данные, 3D-структурированные данные, а также данные, структурированные во времени.

Таким образом, любой практический тип данных может быть описан путём использования двух «координат» — семантического уровня и организационного уров­ ня. Комплексирование также может выполняться на любом уровне первой схемы и одновременно на любом уровне второй схемы. Перечислим вкратце, какие виды процедур обработки и комплексирования можно определить для представленного таким образом набора типов данных. Семантические межуровневые процедуры сохраняют структуру, изменяя тип содержащихся в ней элементов. Структурные межуровневые процедуры сохраняют типы элементов при изменении структурной организации данных. Процедуры попарного комплексирования объединяют две входные структуры в одну выходную структуру того же типа. Необходимо также выделить два различных типа комплексирования: комплексирование элементов и комплексирование структур. Эти процедуры должны применяться для каждой из структур данных, поддерживаемых системой обработки данных различной физической природы, с использованием следующих процедур комплексирования структур: объединение, пересечение и ранговое комплексирование структур. Про­ цедуры фильтрации являются внутриуровневыми процедурами с одним входом и одним выходом. Они всегда сохраняют размерность элементов данных. В их число входят: преобразование элементов — преобразование каждого элемента единообразным способом, часто используются на измерительном и признаковом уровнях, например, гистограммные преобразования полутоновых изображений или отображение признаковых пространств; линейные и нелинейные преобразова­ ния — обработка растровых данных в пространственной или частотной областях;

геометрические преобразования — преобразуют любые пространственные данные, используя некоторую геометрическую модель. Может быть использован широкий набор таких процедур, в частности, они могут применяться для обеспечения условий взаимной привязки и синхронизации данных при регистрации.

В частности, на основании проводившихся в ГосНИИАС численных экспериментов по комплексированию многоспектральных данных на уровне векторов достоверности оказалось возможным сделать следующие выводы.

1. Комплексирование всегда обеспечивает более высокую достоверность распознавания, чем каждый из каналов в отдельности. При отказе одного из каналов решение практически принимается по одному оставшемуся каналу.

2. При комплексировании по методу Демпстера–Шафера [Dempster, 1967;

Shafer, 1976] больший вес придается показаниям канала с меньшим коэффициентом неуверенности.

3. В присутствии помех высокой интенсивности комплексирование на уровне векторов достоверности позволяет принять решение даже тогда, когда ни по одному из каналов в отдельности его принять невозможно.

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

Последний вывод можно проиллюстрировать следующим числовым примером (табл. 2).

Здесь k1 и k2 — исходные значения оценок принадлежности наблюдаемого объекта одному из двух близких классов, формируемых независимо по каждому спектральному каналу алгоритмами обнаружения и идентификации объектов. После этого на их основе рассчитывается нормированный вектор оценок достоверности Sf. Как видно, в данном примере коэффициент неуверенности распознавания типа цели Sf () по каждому из каналов в отдельности много больше оценки достоверности принадлежности цели обоим классам (Sf (1) и Sf (2) соответственно). В то же время по результатам комплексирования мы вправе принять решение об обнаружении объекта класса 2, так как достоверность распознавания объекта этого класса оказывается больше, чем достоверность неопределённого решения:

Sf (2) = 0,366 > 0,326 = Sf ().

В настоящее время на рынке присутствует ряд известных систем улучшенного видения (EVS, EFVS).

Компания Kollsman, Inc. (США) предлагает два EVS-решения — Kollsman All Weather Window (рис. 13, см. с. 37) и Kollsman Night Window. Первая система предназначена для работы во всепогодных условиях. В состав системы входят: охлаждаемый ИК-датчик (cooled FLIR), спецвычислитель, дисплей с подогревом, ПО обработки и визуализации изображений. Система Kollsman Night Window представляет собой более компактное и дешевое решение, предназначенное для работы в тёмное время суток, но при хороших погодных условиях. В состав системы входит неохлаждаемый микроболометр, работающий в диапазоне 8…14 мкм.

Компанией Gulfstream Aerospace Corporation разработана система EVS (рис. 14, см. с. 37) в составе: ИК-датчика Kollsman FLIR с сапфировым экраном; ИЛС компании Honeywell, оригинального ПО обработки и визуализации изображений.

Компания CMC Electronics (Канада) предлагает два вида систем: CMA- I-Series™ и более компактный и дешевый вариант CMA-2610 M-Series™. В I-Series используется охлаждаемый, двухдиапазонный (1…3 и 3…5 мкм) ИК-датчик, в случае M-Series — неохлаждаемый, работающий в диапазоне 8…14 мкм. В стадии разработки находится система на базе миллиметрового радара. Индикация изображений выполняется на ИЛС и/или на многофункциональном индикаторе (дисплее).

Также может устанавливаться подсистема синтезированного зрения (SVS), предоставляющая данные о рельефе местности.

Компания Max-Viz, Inc. (США) предлагает систему EVS 2500 на базе двух ИК-датчиков: длинноволнового — для формирования изображений рельефа Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах Рис. 13. Примеры работы системы Kollsman All Weather Window: EVS View — синтезированное изображение; Window View — вид из кабины пилота Рис. 14. Примеры работы системы Gulfstream EVS. Показаны изображения, формируемые EVS (with EVS), и вид из кабины пилота без EVS (without EVS) Рис. 15. Пример работы системы Rockwell Collins EVS Рис. 16. Пример обнаружения элементов ВПП на основе преобразования Хафа:

а — изображение аккумулятора; б — выделенные прямые линии

АВИАЦИОННО-КОСМИЧЕСКИЕ ПРИлОЖЕНИя СИСТЕМ ТЕХНИЧЕСКОгО ЗРЕНИя

и потенциальных препятствий и коротковолнового — для обнаружения ярких сигнальных огней ВПП. Информация с обоих датчиков поступает на спецвычислитель, где комплексируется и выдается на МФИ лётчику. Благодаря использованию неохлаждаемых ИК-датчиков EVS 2500 имеет компактные размеры, небольшую массу и достаточно проста в установке. Кроме того, отсутствие криогенной системы охлаждения значительно уменьшает её стоимость. Компания также предлагает более дешёвое решение на базе одного неохлаждаемого ИК-датчика EVS 1000 для вертолётов и бизнес-самолётов.

Система Rockwell Collins EVS (рис. 15, см. с. 37) формирует ИК-изображения внешней среды, которую видит пилот, и выводит их на дисплей навигационной системы на лобовом стекле HGS®-4000, разработки этой же компании. Интерфейс EVS-системы обеспечивает взаимодействие ИК-датчика и навигационной системы HGS с целью предоставления пилоту оптимального по качеству ИК-изображения.

Следует отметить, что все перечисленные сертифицированные коммерческие системы EVS первого поколения представляют собой простые неинтеллектуальные системы датчик – дисплей, обеспечивающие передачу на индикатор в кабине изображения, полученного от датчиков. Только некоторые системы предоставляют возможность визуализации синтезированных географических данных с использованием GPS. Лишь в одной из систем используется комплексирование изображений от различных датчиков, причём оба датчика ИК (различных диапазонов). Задача комплексирования и отображения данных, одновременно поступающих от ТВ, ИК, МР, ЛЛ, не рассматривается и не решается ни в одной из этих систем. Также ни в одной из коммерческих систем EVS не рассматриваются задачи автоматического выделения ВПП, препятствий и распознавания объектов из базы геопространственных данных. Тем более не рассматриваются задачи стыковки EVS с системой автоматического управления посадкой. В то же время известно, что работы по всем указанным направлениям активно ведутся. Таким образом, на повестке дня сейчас стоит создание EVS следующего поколения, представляющих собой авиационные системы многоспектрального технического зрения и улучшенной компьютерной визуализации закабинной обстановки, существенно превосходящие ныне известные EVS гражданского назначения по набору функций комплексирования, и особенно — в части интеллектуальной обработки видеоданных.

Важнейшую роль в таких EVS нового поколения должна играть СТЗ, выполняющая следующие основные функции:

• получение и оцифровка многоспектральной видеоинформации;

• комплексирование многоспектральной видеоинформации;

• автоматическая привязка оперативной видеоинформации к априорной информации о закабинной обстановке с учётом имеющихся навигационных • автоматическое обнаружение ВПП и других типовых объектов интереса в отсутствие навигационных данных и априорной информации о закабинной обстановке;

• автоматическое обнаружение препятствий на ВПП.

В состав аппаратного обеспечения СТЗ могут входить: телевизионные видеодатчики (ТВ) различного разрешения; инфракрасные (ИК) видеодатчики различных диапазонов; миллиметровые радары (МР); лазерные локаторы (ЛЛ); специализированные бортовые вычислители.

Ю. В. Визильтер, С. Ю. Желтов. Проблемы технического зрения в современных авиационных системах В состав программно-алгоритмического обеспечения перспективной бортовой многоспектральной системы технического зрения должны входить следующие основные модули: управления видеодатчиками различных диапазонов; обмена информацией с другими бортовыми подсистемами; организации информационного обмена, синхронизации захвата и обработки многоспектральных видеоданных;