На правах рукописи

Вашкелис Вадим Владимирович

АВТОМАТИЗАЦИЯ ПРОЦЕССОВ ВЫСОКОРАЗРЕШАЮЩЕГО

ПОФРАГМЕНТНОГО ВВОДА ИЗОБРАЖЕНИЙ

Специальность 05.13.06 – Автоматизация и управление

технологическими процессами и производствами (сфера услуг)

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург – 2001

Работа выполнена на кафедре «Теоретических основ инноватики» в Санкт-Петербургском государственном техническом университете.

Научный руководитель - кандидат физико-математических наук, cт.н.с.

Пятышев Е.Н.

Научный консультант - доктор технических наук, профессор Туккель И.Л

Официальные оппоненты - доктор технических наук, профессор Игнатьев М.Б.

кандидат технических наук, доцент Манцветов А.А.

Ведущая организация - НИИ космоаэрогеологических методов

Защита состоится «19» декабря 2001 года в 16 часов на заседании диссертационного совета Д 212.229.21 в Санкт-Петербургском государственном техническом университете по адресу: Политехническая ул., д.29.

С диссертацией можно ознакомится в библиотеке СПбГТУ.

Автореферат разослан «19» ноября 2001 года.

Ученый секретарь диссертационного совета Черненькая Л.В.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность проблемы Цифровая или математическая обработка изображений на сегодняшний день используется практически во всех областях человеческой деятельности, так или иначе связанных с анализом визуальной информации.

Преимущества, которые может дать анализ изображений, приведенных к цифровой форме, прежде всего, связаны с применением возможностей современных ЭВМ, производительность которых увеличивается с каждым годом.

Непременным условием для представления изображения в электронном виде, является оцифровка – перевод аналоговых изображений в цифровую форму. Несмотря на бурное развитие электронной и фотоэлектронной техники, этап оцифровки изображений до сих пор таит в себе немало сложностей. Одной из наиболее сложных задач является работа с оригиналами крупного формата или ввод изображений с большим числом элементов разложения.

Существующие на сегодняшний день высокоразрешающие сканеры для издательской и полиграфической деятельности, а также высокоразрешающие цифровые камеры, как правило, очень дороги и, при этом, далеко не всегда способны удовлетворить всем требованиям, которые выдвигают по отношению к ним задачи по оцифровке изображений.

Все вышесказанное показывает актуальность разработки и создания специальных средств для автоматизированного ввода, обработки и сохранения графической информации, которые позволили бы оцифровывать изображения с высокими оптическими разрешениями и могли работать с крупноформатными носителями информации.

Целью работы является исследование и реализация новых подходов к автоматизации процессов оцифровки изображений.

Предлагаемый принцип заключается в объединении процесса оцифровки крупных сцен малыми фрагментами и их последующего автоматического объединения в единый технологический цикл.

Среди задач, которые необходимо решить для эффективной реализации данного метода, можно выделить следующие:

• определить возможные механические схемы таких устройств;

устройствах пофрагментного ввода изображений;

• проанализировать существующие методы объединения изображений с точки зрения возможности их использования в представляемых системах;

• решить задачу устранения возможных визуальных дефектов, связанных с объединением фрагментов в единое изображение;

• опробовать данный подход в конкретных устройствах ввода изображений.

К основным методам исследований, которые используются в данной работе, можно отнести моделирование задач совмещения фрагментов изображений путем подготовки специальных тестовых кадров, а также работа с изображениями, полученными в ходе исследований экспериментальных моделей устройств, реализующих принцип пофрагментной оцифровки. Качество получаемых изображений анализировалось как визуальными методами, так и методами аппаратных измерений.

В ходе выполнения диссертационной работы получены следующие новые научные результаты:

высокоразрешающих систем ввода изображений, основанная на применении пофрагментного способа сканирования;

• оценка технических характеристик, которые могут иметь данные устройства;

взаимосвязанной группы кадров;

• способ объединения набора кадров, минимизирующий геометрические искажения по полю изображения;

• методика устранения граничных дефектов между объединенными фрагментами;

• способ анализа соответствий между изображениями, имеющими угловые и масштабные отклонения.

Практическая ценность полученных результатов состоит в следующем:

• разработана методика, позволяющая эффективно создавать высокоразрешающие системы ввода изображений;

устройств пофрагментного ввода изображений.

Реализация результатов работы. Материалы диссертации были использованы в инновационно-инвестиционном комплексе обработки широкоформатных аэрокосмических снимков, а также при реализации экспериментальной модели высокоразрешающей студийной цифровой камеры.

работы докладывались на IV Всероссийской научно-методической конференции «Фундаментальные исследования в технических вузах» (Санкт-Петербург, 2000г); на V Санкт-Петербургской ассамблее: «Молодые ученые промышленности Санкт-Петербурга»

(Санкт-Петербург, 2000), в периодических научных изданиях.

Публикации. Всего по результатам работы опубликовано печатных работ.

Структура и объем диссертации. Диссертация состоит из введения, трех глав и заключения, изложенных на 148 страницах приложений. Всего 164 страницы.

СОДЕРЖАНИЕ РАБОТЫ

Определены цели и задачи исследования, определены основные научные результаты, которые выносятся на защиту.

Первая глава диссертации посвящена аналитическому обзору задач оцифровки изображений, основных типов оцифровывающих устройств, датчиков оптического излучения, форматов графических файлов, а также методов предварительной обработки изображений.

Глава начинается с описания основных задач, в которых требуется оцифровка изображений с высоким разрешением, или космической и аэрофотосъемки; оцифровка различных материалов изображений для медицины; для научной фотосъемки, например в астрономических и астрофизических исследованиях; цифровая рекламная и художественная фотография.

планшетные, барабанные, роликовые и слайд-сканеры, а также является сложность изготовления ПЗС-структур с большим числом светочувствительных элементов. При этом с ростом линейных размеров кристалла, выход годных ПЗС уменьшается примерно пропорционально восьмой степени, что ведет к аналогичному повышению его цены.

Кроме этого, барабанные и некоторые планшетные сканеры, обладают достаточно сложной механикой, что также приводит к усложнению их производства и росту их стоимости.

сканирующих датчиков - ПЗС, контактных сенсоров, а также фотоэлектронных умножителей.

графических файлов, схем цветового представления и методов практически всегда используется в оцифровывающей технике и направлена на упрощение и повышение эффективности процесса ввода изображений.

внимание уделено способам совмещения фрагментов изображения (или их взаимной регистрации).

Процедура совмещения изображений основывается на анализе области их взаимного перекрытия. Из данной области выбираются части сигнала, которые сравниваются между собой. Определив наиболее подходящие друг другу выборки, определяется и взаимное положение самих изображений.

Наиболее распространенными способами сравнения сигналов (размера N) являются следующие:

1) анализ сверток Фурье образов двух сигналов В данном случае t – обобщенная координата. Если между сигналами существует некоторое трансляционное смещение, т.е.

максимум в точке 0.

2) Анализ взаимной корреляции двух сигналов 3) Анализ функции абсолютной разности сигналов 4) Анализ морфологической корреляции 5) Стандартное отклонение разности сигналов минимальных, значений в точке 0 тогда, когда f 1 (t) = f 2 (t- 0 ), поэтому задача определения максимально соответствующих друг другу выборок, сводится к нахождению экстремума функции R(), взятой в одном из вышеперечисленных представлений.

Кроме этого, возможно выявление подобия двух изображений на основе анализа их признаков. В качестве признаков могут быть объектов. Положение объектов мало зависит от изменений яркости, зашумленности и прочих искажений. При этом для эффективности анализа системы, образованной центрами масс объектов, важно учитывать и их размеры. Набор углов при узлах ориентированного инвариантным по отношению к угловым и масштабным изменениям.

Кроме этого, возможно включение и выключение произвольного числа узлов без изменения всего набора углов, что позволяет сравнивать наборы, состоящие из различного числа объектов.

Вторая глава работы посвящена разработке и исследованию (СФС). Главное отличие СФС от обычных систем сканирования состоит в принципе позиционирования оптического датчика.

На рис.1 представлены два способа формирования изображений, общепринятый: когда все изображение проецируется на матричную ПЗС или сканируется линейной ПЗС (рис.1.а), и пофрагментный, когда изображение сканируется при помощи ряда проекций ПЗСматрицы.

Рис.1. Способы формирования изображений Данный подход позволяет получать практически любую величину оптического разрешения. Разрешение, в данном случае, будет зависеть от соотношения между размером светочувствительного элемента регистрирующего устройства (в данном случае ПЗС-матрицы) и размером изображения формируемого оптической системой. Например, при использовании оптики стандартной 35-мм камеры (принятый формат изображения 35х24мм) и ПЗС с размером светочувствительного элемента 10х мкм получаемый кадр будет иметь разложение - 3600х2400 точек (8,64 млн. пикселей), при применении широкоформатной оптики (12,5х12,5см) возможно получение кадра с разложением 12500х12500 элементов или 156,25 млн. пикселей. Использование ПЗС-матриц с более компактной упаковкой светочувствительных ячеек, например таких, элемент которых имеет размеры 7х6 мкм, позволяет получать изображения с числом точек порядка 300 млн.

Сегодня такое оптическое разрешение недоступно ни одному из серийно выпускаемых устройств.

Рассмотрим задачи, которые должна решать типичная СФС:

• Автоматический ввод набора кадров;

• Определение взаимного положения соседних кадров относительно друг друга;

• Нахождение точек вставки для каждого кадра в общую сцену с минимальными геометрическими искажениями;

• Контроль качества процедуры объединения;

• Устранение эффекта границ между отдельными кадрами.

Автоматический ввод должна обеспечивать механическая часть СФС, работающая под управлением ЭВМ. Программное обеспечение (ПО) ЭВМ должно синхронизировать работу механического блока и блока ввода изображения, который в свою очередь, состоит из ПЗС матрицы (или любого другого матричного датчика излучения) и преобразующей платы (видеоконтроллера).

Таким образом, СФС можно представить в виде нескольких модулей:

• механического, обеспечивающего позиционирование оригинала и сканирующей матрицы;

• ввода изображения, состоящего из ПЗС матрицы и видеоконтроллера;

• модуля математической обработки, который обеспечивает автоматическое объединение вводимых кадров в единое изображение;

• координирующего, обеспечивающего синхронизацию работы всех перечисленных модулей и предоставляющего интерфейс пользователя СФС.

Управляющий модуль, как и модуль обработки и ввода данных, использует ресурсы персонального компьютера.

Механический блок может иметь собственную микропроцессорную систему, которая будет работать автономно, обмениваясь данными с ЭВМ. За счет такого распределения ресурсов объединение кадров может производиться одновременно с процессом оцифровки во время перемещений в механическом блоке.

Для эффективной реализации СФС, необходимо использовать наиболее эффективные методы совмещения фрагментов, поэтому было проведено сравнительное тестирование методов (2-5) в различных условиях. Метод Фурье-анализа не рассматривался в связи с тем, что при схожей, по сравнению с другими методами, точностью, расчет преобразований Фурье требует значительно большего времени, чем расчет всех остальных целевых функций, что серьезно сказывается на производительности всей системы.

Методы тестировались на специально подготовленных изображениях, которые подвергались яркостно-контрастным, шумовым и прочим искажениям, которые часто возникают при оцифровке изображений.

При тестировании оценивалась как точность определения взаимного положения кадров, так и, при прочих равных условиях, характер поведения целевой функции метода. Поведение целевой функции оценивалось по остроте и глубине минимума, наличию ложных пиков и т.д.

Рис.2. Поведение целевых функций регистрации в случае различных искажений Как показали исследования, различные виды целевых функций ведут себя по-разному при различных видах искажений. Тем не менее, можно говорить, что с учетом реальных условий наиболее предпочтительным оказывается использование функции морфологической корреляции RM. Данная функция легко реализуема, обладает наиболее четким минимумом в точке регистрации и достаточно устойчива к основным видам искажений.

Помимо определения взаимного положения пар кадров ПО сканирующего устройства должно обеспечивать совмещение этих кадров в единую сцену, с минимальными геометрическими и визуальными искажениями, а так же производить контроль качества совмещения изображений.

Контроль качества совмещения двух кадров можно обеспечить путем их взаимной регистрации по нескольким выборкам. Если из области перекрытия кадров выбирается m образцов s i (для которых определяются соответствующие им выборки, принадлежащие другому изображению), то мы получим m пар значений (Px,Py) i, обозначающих смещение одного кадра относительно другого.

Контроль качества может осуществляться по разбросу значений: Px = max(Px i )-min(Px i ) и Py = max(Py i )min(Py i ).

Чем шире разброс (Px, Py), тем ниже вероятность получения правильного результата. Искомые значения можно выбирать как средние по всем наборам При этом для повышения достоверности результата, возможна реализация механизма исключения ложных значений (Px,Py) i, т.е.

тех, которые значительно отличаются от усредненных значений.

По полученным ( Px, Py ) определяются точки вставки кадров в общую сцену. Для определения координат вставки каждого из фрагментов в сцену, состоящую из NxM кадров, достаточно рассчитать (N-1)+(M-1) параметров ( Px, Py ), если в качестве опорного кадра выбирается какой-либо угловой (например левый верхний в наборе). При этом объединение всех фрагментов будет производиться цепным, или рекурсивным способом, когда положение каждого последующего фрагмента определяется исходя из положения предыдущего (рис.3.а). Недостаток данного способа в том, что при рассчете положения каждого следующего кадра, учитываются все ошибки, возникающие при рассчете положений предыдущих. С этой точки зрения более эффективным может оказаться взаимная регистрация каждого из кадра с каждым из своих соседей (рис.3.б).

В том случае, когда производится полная регистрация набора кадров, т.е. определяются все (Px,Py), возможно определение координат вставки каждого из кадров - (X,Y), на основании нескольких альтернативных наборов (Px,Py). При этом возможны два случая. В первом, (X,Y) для каждого кадра выбираются исходя из того набора значений (Px,Py), суммарный разброс которых Px и Py минимален среди всех возможных наборов. Во втором случае, выбираются усредненные X и Y, полученные по нескольким наборам (Px,Py). При этом целесообразно учитывать степень достоверности каждого набора, т.е. брать их с определенными весовыми коэффициентами. Поскольку в идеальном случае при регистрации двух кадров по нескольким выборкам разброс в значениях должен отсутствовать Px = Py = 0, то весовые коэффициенты предлагается определять, как Тогда положение кадра, стоящего в М-м столбце и N-й строке от опорного, вычисляется как где На практике, в реализованных системах ввода изображений, применяется упрощенный, полурекурсивный вариант. В данном средневзвешенная сумма, получаемая из значений рассчитанных по двум соседям, стоящим ближе к опорному кадру.

получаемых изображений могут и граничные эффекты – проявление видимой границы разделения между соседними кадрами. Практика показала, что наиболее часто данный эффект проявляется из-за перепадов уровней яркости между соседними фрагментами. Такие перепады, в основном, возникают при нестабильности внешнего экспонируются во времени последовательно, т.е. разные фрагменты освещения.

использовать яркостную нормировку фрагментов с применением накопительной гистограммы яркости изображения. Накопительная гистограмма (или полигон яркости) определяется как где h(b’) – число элементов изображения имеющих яркость b’.

Преимущество накопительной гистограммы в том, что она обладает однозначностью представления P(b)b, а также то, что при линейных изменениях яркости bb, значение Р не изменяется, т.е.

P(b) = P(b’).

Используя это свойство, можно предложить принцип яркостной нормировки фрагментов, т.е. приведение яркостных уровней отдельных кадров в соответствие друг другу (рис.4).

Рис.4. Выбор отсчетов яркостей по совпадали. Коэффициенты нормировки можно определить по b и b’ выбираемых при одинаковых значениях P: P(b) = P’(b’).

Тем не менее выбирая всего две пары значений (b,b’), из-за влияния шумов, ошибок округления и т.д., можно не достичь верного результата, поэтому целесообразно определять А и В по методу наименьших квадратов (МНК). Систему линейных уравнений, определяющих А и В, можно определить как Согласно МНК, ее можно привести к невырожденному виду взаимного перекрытия, т.е. для граничных областей. Каждый кадр граничных условия (А i,В i ), с учетом этого можно записать W, H – ширина и высота фрагмента.

Помимо яркостной нормировки для устранения эффекта границ предлагается использовать параметрическое усреднение данных в зоне перекрытия соседних кадров. Если область перекрытия имеет ширину Px, то величину сигнала s(x,y) внутри Рис.5. Два кадра с областью перекрытия всей области перекрытия. В случае, когда усреднение происходит в области принадлежащей, например, трем кадрам (вертикальный и горизонтальный соседи), усреднение производится с учетом трех весовых коэффициентов.

Третья глава работы посвящена описанию двух устройств, оцифровки.

Первое из них – специализированный программно-аппаратный комплекс для оцифровки аэрокосмических снимков (СПАК). Данное имеющие до 40 см в ширину и протяженностью до нескольких разрешением 1200-1600 dpi, скорость оцифровки ~1,8 Мб/с. СПАК координат к координатам изображения и наоборот. Процедура фрагментов.

предназначена для оцифровки изображений с высоким разрешением в студийных условиях. Камера позволяет получать полутоновые изображения с форматом разложения до 3500х3500 элементов. Цикл времени. Время экспозиции составляет ~6 c. Время объединения и обработки кадров зависит от производительности ЭВМ и для компьютера класса PII-300 составляет порядка 20 с.

результаты, оцениваются перспективы дальнейшего улучшения применения принципа пофрагментной оцифровки в будущем.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. В работе предложена и рассмотрена концепция автоматизации процессов пофрагментного ввода изображений, позволяющая способность сканирующих устройств.

использующих данную методику.

3. Исследован широкий класс методов совмещения изображений и определены условия для наиболее эффективного использования каждого из них.

4. Предложен принцип объединения группы фрагментов в единое изображение с минимизацией геометрических искажений и объединения.

5. Разработан принцип нормировки яркостных искажений, повышающий качество получаемых изображений.

изображений путем применения параметрических усреднений по пограничным областям фрагментов.

7. Реализованы образцы двух устройств, использующих принцип пофрагментного сканирования: специализированный комплекс для обработки аэрокосмических снимков и высокоразрешающая студийная цифровая камера.

8. Предложен принцип определения степени соответствия между изображениями, имеющими угловые и масштабные искажения.

Основное содержание диссертации отражено в следующих работах:

1. Вашкелис В.В., Пятышев Е.Н., Специализированный комплекс Фундаментальные исследования в технических вузах: Тез.докл.

IV Всероссийской научно-методической конф. Санкт-Петербург:

СПбГТУ. 2000. С.41.

полутоновых растровых изображений// Фундаментальные исследования в технических вузах: Тез.докл. IV Всероссийской научно-методической конф. Санкт-Петербург: СПбГТУ. 2000.

С.42-43.

3. Вашкелис В.В., Высокоразрешающие устройства оцифровки плоских и трехмерных объектов// Пятая Санкт-Петербургская ассамблея молодых ученых и специалистов. Тез.докл., СанктПетербург, 2000, с.32.

4. Вашкелис В.В., Методика устранения визуальных дефектов для многофрагментных изображений// Пятая Санкт-Петербургская ассамблея молодых ученых и специалистов. Тез.докл., СанктПетербург, 2000, с.33.

5. Вашкелис В.В., Методы быстрого объединения фрагментов крупноформатных изображений для сканирующих систем // С.Петерб. гос. технич. ун-т. – СПб., 2000. Деп. ВИНИТИ № 3017В00 от 28.11.2000.

6. Вашкелис В.В., Способы определения масштабных и угловых отношений между изображениями, на основе анализа весового и геометрического распределения объектов // С.-Петерб. гос.

технич. ун-т. – СПб., 2000. Деп. ВИНИТИ №3017-В00 от 28.11.2000.

7. В.В.Вашкелис, В.П.Вашкелис, Е.Н.Пятышев, Специализированный комплекс для автоматизированной оцифровки широкоформатных фотоматериалов// Инф. бюллетень ГИСассоциация №4(26), Ноябрь, Москва, 2000, с.58-61.

8. В.В.Вашкелис, Принципы построения высокоразрешающих приборостроение, т.11, №1, Январь, Санкт-Петербург, 2001, с.57В.В.Вашкелис, Методы определения угловых и масштабных технологии, №6, Июнь, Москва, 2001, с.32-38.