«Васильев Антон Игоревич ПРОГРАММНОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ СИСТЕМ КОМПЬЮТЕРНОГО ВИДЕНИЯ С НЕСКОЛЬКИМИ ПОЛЯМИ ЗРЕНИЯ 05.13.11 – Математическое и программное обеспечение вычислительных машин, комплексов и ...»

Рис. 4.2.1. Внешний вид двух объективной камеры и конструктивные особенности Поскольку в данной задаче (п. 1.2) требовалось оперативное построение фотосхемы по набору снимков не более 5 пар кадров, то был разработан и реализован алгоритм, оптимизированный для GPU архитектуры GT200/Fermi. В качестве аппаратного обеспечения системы применялся персональный компьютер: центральный процессор Intel Core i7 930 2. ГГц, оперативная память 8Гб RAM, графический процессор NVidia GF GTX 480. Программное обеспечение функционировало на ОС Windows XP.

Рис. 4.2.2. Алгоритм построения фотосхемы местности по снимкам с двух объективной камеры БПЛА (зеленым цветом отмечены этапы реализованные на GPU).

Алгоритм построения фотосхемы включает два этапа: этап оценки параметров преобразования между смежными кадрами и этап трансформирования снимков и построения фотосхемы [63].

В качестве геометрического преобразования между смежными кадрами разных (соседних) пар будем использовать – гомографию: допущение о съемке плоской местности (перепад высот на местности незначителен по сравнению с удаленностью центра фотографирования от наблюдаемой сцены). Преобразование между смежными кадрами одной пары также будем рассматривать в виде гомографии, поскольку можно ввести допущение о совпадение центров фотографирования камер в связи с конструктивными особенностями взаимной ориентации объективов (рис. 4.2.1).

Этапы оценки параметров преобразования показан на рисунке 4.2.2 и включает следующие действия:

1) Все растровые данные считываются в оперативную память CPU (не более 10 кадров размером 2008x1336 пикселей в цветовом пространстве ARGB, 4 байта на пиксель занимают ~100Мб).

2) Поиск характерных точек и вычисление дескрипторов для каждого кадра обрабатываемого набора;

3) Сопоставление дескрипторов смежных кадров. Для этого были реализованы следующие последовательности обработки кадров:

сопоставление смежных кадров каждой пары;

сопоставление кадров смежных пар, обозначенных индексом "0" на рис. 4.2.2;

сопоставление кадров смежных пар, обозначенных индексом "1" на рис. 4.2.2.

4) Оценка параметров гомографии между смежными кадрами.

5) Оценка количества найденных связующих точек между смежными кадрами. При недостаточном количестве точек, обработка выполняется только тех пар кадров, между которыми найдены 6) Определение преобразование каждого снимка в СК базового снимка (базовый снимок не подвергается коррекции, этот снимок задает СК фотосхемы).

Сопоставление снимков осуществлялось на основе разработанной параллельной реализации алгоритма SIFT. Программная компонента для сопоставления изображений (п. 2.8) использовалась в качестве высокоуровневой оболочки. С целью ускорения обработки выполнялось сопоставление дескрипторов половины кадра (актуальной), а также учитывались физические ограничения, описанные в п. 3.6.

Второй этап, включающий трансформирование снимков, выравнивание яркости и создание бесшовных единых кадров был реализован на GPU.

Рис. 4.2.3. Радиальная взвешивающая функция для выравнивания яркости изображения.

Для выравнивания яркости изображений применялась радиальная взвешивающая функция (рис. 4.2.3). Построение бесшовных единых кадров было реализовано на основе применения линейного взвешивания яркостей изображений на области перекрытия кадров [82]:

где R, G, B – обрабатываемые каналы изображения, [0 1] – коэффициент влияния каналов первого изображения в зависимости от удаленности от границы второго изображения и приближенности к границам первого (см. рис. 4.2.4).

Рис. 4.2.4. Смешивание изображений с линейным взвешиванием яркостей, при построении бесшовных изображений Результаты обработки трех пар снимков с применением и без применения цветовой коррекции показаны на рис. 4.2.5. Обработка трех пар кадров занимает порядка 10-15 секунд.

Рис. 4.2.5. Пример построения фотосхемы по снимкам с камеры БПЛА, размеры фотосхемы 4200x2600 пикселей, время формирования фотосхемы – 12 секунд.

4.3. Приложение для калибровки систем компьютерного видения с несколькими полями зрения По теме алгоритмического и программного обеспечения калибровки видеокамер можно опубликован ряд печатных работ [27,34,30,40,42], а также имеются доступные программные средства [83,84], в том числе в библиотеке OpenCV [25]. Во многих из этих работ рассматриваются вопросы автоматизации процесса поиска тестового объекта, методы оценки начального приближения и различных условий применения камер в прикладных задачах. В имеющихся доступных реализациях [83,84] можно отметить отсутствие некоторых функциональных возможностей, существенных для решения рассматриваемых прикладных задач:

1) коррекция местоположения меток тест-объекта (точек калибровочного стенда) в случае, если автоматический поиск завершился 2) выбор способа учета и модели дисторсии.

Рис. 4.3.1. Главное окно приложения для калибровки видеокамер.

При решении прикладных задач требуется провести корректную оценку параметров камеры, при этом модель камеры следует выбирать в соответствии с требованиями прикладной задачи.

Для решения перечисленных проблем было разработано приложение для калибровки видеокамер, а также приложение для определения взаимного ориентирования видеокамер в системах компьютерного видения с несколькими полями зрения.

На рис. 4.3.1 показано главное окно приложения для калибровки видеокамер. Приложение позволяет реализовать следующую технологию калибровки видеокамер:

1) Чтение видеоданных с образами тестового объекта.

2) Маркирование тестового объекта в двух режимах:

в ручном режиме (приложение позволяет добавлять, удалять, редактировать положение, индекс маркера, а также его положение в СК тестового объекта);

в автоматическом режиме тестовых объектов в виде набора шахматных клеток (используется реализация OpenCV).

3) Задание параметров камеры (возможно задание параметров поумолчанию):

указание типа камеры (аналоговая/цифровая);

указание данных спецификации датчика изображений: размеры пикселя, фокусное расстояние;

выбор способа учета дисторсии (подходы (2.1.3), (2.1.4)) для модели дисторсии Брауна (2.1.5).

4) Вычисление параметров камеры – при этом формируется список точек c указанием величины ошибки перепроецирования.

Для определения параметров дисторсии независимо от задачи минимизации ошибки перепроецирования был реализован подход на основе метода отвесных линий [34]. Этот метод применим только при учете дисторсионных искажений с помощью восстановления идеальной проекции (2.1.4). Он заключается в фотографировании плоского тестового объекта, на котором можно явно идентифицировать прямые линии и множество точек лежащих на тестовом объекте. Далее для множества наборов точек, принадлежащих различным линиям, формируется система нелинейных уравнений, параметры прямых являются неизвестными где 0 – расстояние от начала координат до прямой; – угол, задающий вектор нормали; p – координаты точки на плоскости изображения, p0 – координаты главной точки, D – вектор-функция, определяющая модель дисторсии (2.1.5).

Рис. 4.3.2. UML-диаграмма программного модуля калибровки видеокамеры.

При реализации приложения были разработаны два модуля: модуль для отображения и редактирования маркеров и модуль для определения параметров камеры (он построен на базе программной компоненты для определения параметров камеры, п. 2.4). На рис. 4.3.2 показан класс CDistortionCalibration, унаследованный от класса I_DiffVecFunction (дифференцируемая вектор-функция). Класс CDistortionCalibration отвечает за формирование системы нелинейных уравнений (4.3.1), при этом используется модель дисторсии Брауна, реализованная в классе CBrownDistortion.

Для решения задачи минимизации ошибки перепроецирования с учетом модели дисторсии, обеспечивающей искажение идеальной проекции, использовалась реализация OpenCV.

Рис. 4.3.3. Пример последовательности изображений для калибровки цифровой Для разработанных реализаций было выполнено сравнение результатов определения внутренних параметров камеры. На рис. 4.3.3 показаны снимки, для которых выполнялось сравнение. Рассматривались следующие реализации подходов к определению параметров камеры:

минимизация ошибки перепроецирования для модели камеры, учет дисторсионных искажений (модель Брауна) которой выполняется на основе восстановления идеальной проекции (графики показаны красным цветом);

минимизация ошибки перепроецирования для модели камеры, учет дисторсионных искажений (модель Брауна) которой выполняется на основе искажения идеальной проекции (OpenCV). Модель камеры задается в OpenCV следующим образом (дисторсия применяется только к относительным значениям проецирующих векторов; графики показаны синим цветом);

метод отвесных линий для модели камеры, учет дисторсионных искажений (модель Брауна) которой выполняется на основе восстановления идеальной проекции (графики показаны зеленым Рис. 4.3.4. Оценка фокусного расстояния, при калибровке камеры двумя методами.

Рис. 4.3.5. Оценка положения главной точки (векторы показывают тренды для каждого метода, при увеличении количества кадров).

Рис. 4.3.6. Оценка параметров радиальной дисторсии (OpenCV).

Рис. 4.3.7. Оценка параметров тангенциальной дисторсии (OpenCV).

Рис. 4.3.8. Оценка параметров радиальной дисторсии на основе калибровки и метода отвесных линий.

Рис. 4.3.9. Оценка параметров тангенциальной дисторсии на основе калибровки и Результаты сравнения приведены на рис. 4.3.4-4.3.9, при этом следует учитывать, что маркеры были указаны с точностью 1-2 пикселя в полуавтоматическом режиме, а ошибка обратного перепроецирования для обоих методов калибровки варьировалась в диапазоне 0.5-2.5 пикселя (при рассмотрении 12 снимков). На основе графиков можно сделать следующие выводы:

1) Для различных способов учета влияния дисторсии, на основе минимизации ошибки перепроецирования найденные величины фокусного расстояния и координаты главной точки отличаются на величину порядка 1 пиксела (рис. 4.3.4, 4.3.5), что соизмеримо с точностью указания маркеров.

2) Сравнение параметров дисторсии реализации OpenCV и разработанной реализации (на основе минимизации ошибки перепроецирования для модели камеры, учет дисторсионных искажений которой выполняется на основе восстановления идеальной проекции) нецелесообразно вследствие применения различных математических моделей (рис. 4.3.6- 4.3.9).

3) Координаты главной точки снимка и параметров тангенциальной дисторсии, определяемые на основе метода отвесных линий, не применимы для независимой оценки (рис. 4.3.5, 4.3.9).

4) Параметры радиальной дисторсии, определяемые на основе метода отвесных линий, применимы для независимой оценки, а расхождения результатов не превышали 5% (рис. 4.3.8).

Рис. 4.3.10. Главное окно программы для взаимной калибровки камер стереосистемы.

С целью калибровки систем компьютерного видения с несколькими полями зрения применялась следующая технология:

1) Калибровка внутренних параметров каждой камеры.

2) Внешняя калибровка каждой камеры относительно наблюдаемой статической сцены (либо в случае синхронизированных камер возможна внешняя калибровка относительно подвижного тестового объекта).

3) Определение матрицы перехода от СК системы камер к СК каждой камеры.

На рис. 4.3.10 показано главное окно приложения для взаимной калибровки камер стереосистемы. Для маркирования тестового объекта применялось рассмотренное выше приложение (рис. 4.3.1). Это приложение обеспечивает возможность записи результатов маркирования в файл.

В заключении следует отметить, что с помощью рассмотренных в параграфе приложений была выполнена калибровка цифровых и аналоговых широкоугольных камер общего назначения, а также определены параметры взаимного ориентирования стереосистем для измерений. Ручная корректировка маркеров, найденных с использованием автоматических методов, требовалась в 90% случаев. При этом для аналоговых широкоугольных камер маркирование в автоматическим режиме успешно выполнялось только для половины обрабатываемых снимков.

4.4. Система компьютерного видения для оперативного картографирования Технологическая схема оперативного картографирования (п. 1.3) состоит из этапов подготовки, включающих калибровку стереосистемы и задание связи БИНС и СК стереосистемы, а также непосредственного этапа обработки – картографирования в режимах on/off-line. Для камеральной обработки данных (off-line режим) использовалась следующая технология:

1) формирование файла-проекта для обработки в режиме off-line;

2) нанесение маркеров, определение их координат и выполнение измерений (рис. 4.4.1);

3) запись результатов в файл.

Рис. 4.4.1. Главное окно программы для выполнения стерео измерений off-line.

На этапе подготовки для калибровки стереосистем применялось приложение, описанное в п. 4.3. Для стереоизмерений было разработано новое приложение, главное окно которого показано на рис. 4.4.1.

Модуль стерео измерений обеспечивает вычисление координат объектов сцены и применяется в приложениях on-line и off-line обработки где K [n1 T n 2 ] и G [n1 T n 2 ] – вспомогательные матрицы образованные на основе проецирующих векторов n1 и n 2 от двух полей зрения;

E – единичная матрица; – матрица поворота из СК камеры 1 в СК камеры 2; B – базис фотографирования в СК камеры 1; R – координаты наблюдаемой точки сцены, для которой определены проецирующие вектора n1 и n 2 двух соответствующих полей зрения на основе указанных пиксельных координат.

В качестве модели камеры была выбрана модель, на основе восстановления идеальной проекции (2.1.4), обеспечивающая возможность стерео измерений без дополнительной коррекции растрового изображения.

Рис. 4.4.2. Ошибка измерения размеров объектов.

Рис. 4.4.3. Измеренное расстояние до объекта интереса.

Рис. 4.4.4. Ошибка обратного перепроецирования.

Результаты стерео измерений объекта размером ~2.5 м, при движении к нему транспортного средства с установленной бортовой стереосистемой, показаны на рис. 4.4.2-4.4.5. По этим данным об ошибке измерения размеров объекта можно заключить, что точность измерения ~10% от размера объекта достигается на расстояниях до 30-40м. При низком разрешении изображения (720x576 пикселей), на расстояниях более 30м оператору довольно трудно идентифицировать границы объекта, что приводит к существенным ошибкам измерений. При этом указание соответствующих точек на изображениях выполняется достаточно стабильно – средняя ошибка перепроецирования составляет ~1.5 пикс. (рис. 4.4.4).

4.5. Система для автоматизации процесса регистрации трещин в хрупких тензочувствительных покрытиях Совместно с ИМАШ им. А.А. Благонравова РАН была разработана методика автоматизации процесса регистрации трещин в хрупких тензочувствительных покрытиях. Автором было реализовано необходимое программное обеспечение для апробации методики.

Методика включает подготовительный этап, заключающийся в калибровке камеры общего назначения с использованием приложения, описанного в п. 4.3, и этап автоматизации процесса регистрации трещин. Этап автоматизации состоит из следующих шагов обработки:

1) Получение изображений трещин при направлении оптической оси камеры под углом 30-60° к наблюдаемой поверхности.

2) Формирование 3D-модели исследуемого элемента конструкции.

3) Выбор точек модели на снимке.

4) Внешняя калибровка камеры относительно наблюдаемого объекта.

5) Ортографическое трансформирование снимка на основе 3Dмодели.

6) Визуализация результатов обработки.

Рассмотрим применение разработанной методики на примере картин трещин (в оксидном тензочувствительном покрытии), полученных при испытаниях образца авиационной панели на растяжении (рис. 4.5.1).

Рис. 4.5.1. Пример трещин в хрупких тензочувствительных покрытиях, полученных при испытании образца авиационной панели на растяжение.

Каркасная модель выделенного элемента панели была сформирована на основании прямых замеров с использованием графического комплекса 3DStudio Max 8 (рис. 4.5.2). Далее модель экспортировалась в текстовый ASCII формат (*.ASE) и с помощью программы 3D Object Converter v4. конвертировалась в триангуляционную модель (*.tin), изображение которой приведено на рисунке 4.5.3.

Рис. 4.5.2. Проекция каркасной модели Рис. 4.5.3. Триангуляционная модель образца авиационной панели в 3D Stu- проекции авиационной панели.

Рис. 4.5.4. Стрелками отмечены точки, используемые для внешней калибровки На рис. 4.5.4 стрелками показаны выбранные опорные точки, на основе которых было рассчитаны линейные и угловые параметры камеры относительно образца. Далее на основе имеющейся триангуляционной модели было выполнено ортографическое трансформирование снимка [24] (рис. 4.5.5).

Рис. 4.5.5. Ортографическая трансформация снимка на основе спроектированной Рис. 4.5.6. Визуализация результатов обработки данных. Оператором найдено Результаты обработки показан на рис. 4.5.6. Для визуализации и расчетов было разработано специальное приложение (рис. 4.5.3). Рендеринг и текстурирование модели были выполнены на GPU средствами OpenGL [85]. Время обработки в рассмотренном примере составило порядка ~ минут (на ПК с процессором Intel Core Duo 6600 и графическим процессором NVidia GeForce 260 GTX), ошибки измерения линейных и радиальных размеров объекта менее 5%.

4.6. Выводы В главе описаны системы компьютерного видения с несколькими полями зрения для решения различных прикладных задач, имеющих важное научно-практическое значение.

В рассмотренных системах используются унифицированные программные компоненты и интенсивно применяются параллельные реализации алгоритмов обработки. Для новых специализированных многообъективных камер предложены новые алгоритмы, оптимизированные для графических процессоров общего назначения.

Для каждой рассмотренной системы показаны практические результаты применимости, а также оценки временных затрат и оценки точности измерений.

ЗАКЛЮЧЕНИЕ

Основные результаты работы состоят в следующем:

1. Разработана новая архитектура программных компонент для определения параметров камеры и для сопоставления изображений. На основе этой архитектуры реализованы унифицированные повторно используемые программные компоненты, использовавшиеся в программном обеспечении прикладных систем компьютерного видения с несколькими полями зрения.

2. Разработаны новые параллельные реализации алгоритмов сопоставления аэрофотоснимков оптимизированные для архитектуры GPU семейств NVidia GT200/Fermi и обеспечивающие обработку изображений большего размера, по сравнению с существующими аналогами.

3. Разработаны новые алгоритмы для новых специализированных камер, оптимизированные для архитектуры GPU семейств NVidia GT200/Fermi:

алгоритм для сопоставление узкополосных снимков, полученных при аэрофотосъемке с помощью много-объективной камеры бокового обзора;

алгоритм для построение обзорных изображений по снимкам, получаемым с двух-объективной камеры БПЛА.

4. Спроектированы и реализованы системы компьютерного видения для решения четырех прикладных задач обработки зрительных данных:

построение фотосхемы местности по данным аэрофотосъемки с много-объективной камеры бокового обзора;

программно-технический комплекс для мониторинга местности в реальном времени с использованием БПЛА;

оперативное картографирование местности на основе системы камер и БИНС, установленных на ТС;

автоматизация процесса регистрации трещин в хрупком тензопокрытии, применяемом для анализа НДС исследуемой конструкции.

БЛАГОДАРНОСТИ

Автор выражает благодарность научному руководителю А.А.Богуславскому, проф. С.М.Соколову из ИПМ им. М.В.Келдыша РАН, проф. В.Ф.Чекалину и В.А.Мышляеву из ОАО НИИ ТП, а также коллеге и соавтору ряда публикаций – А.В.Крылову из ОАО НИИ ТП за плодотворные совместные обсуждения идей диссертации.

ЛИТЕРАТУРА

1. Платонов А.К., Соколов С.М., Сазонов В.В., Богуславский А.А., Трифонов О.В., Васильев А.И., Куфтин Ф.А., Моксин К.А. Программно-аппаратный комплекс средств навигации мобильных систем. // Вопросы оборонной техники. Серия 9. Специальные системы управления, следящие приводы и их элементы. Вып. 1(242)-2(243), 2010. с. 47-55.

2. Махутов Н.А., Васильев И.Е., Богуславский А.А., Васильев А.И. Автоматизация процесса регистрации трещин в хрупких тензочуствительных покрытиях. // Заводская лаборатория. Диагностика материалов, №11, 2010, с. 45-50.

3. Соколов С.М., Богуславский А.А., Васильев А.И., Трифонов О.В., Назаров В.Г., Фролов Р.С. Методические и практические аспекты разработки систем компьютерного видения для навигации и измерений // Известия ЮФУ. Технические науки, № 3, март 2012, ISSN 1999-9429, с.76-85.

4. Васильев А.И., Крылов А.В., Вахонин А.В. Применение графических процессоров NVIDIA в задачах фотограмметрической обработки результатов ДЗЗ. // Сборник материалов Юбилейной конференции, посвященной 50-летию полета в космос Ю.А.Гагарина, НИИ ТП, 20- апреля, 2011, Москва, с. 114-117.

5. Васильев А.И., Крылов А.В., Судоргин А.С. Разработка программноматематического обеспечения для поиска совпадающих точек на аэрофотоснимках. Применение технологии NVIDIA CUDA в задаче поиска совпадающих точек. // Сборник материалов Юбилейной конференции, посвященной 50-летию полета в космос Ю.А.Гагарина, НИИ ТП, 20-21 апреля, 2011, Москва, с. 118- 6. Васильев А.И., Крылов А.В., Логутко Д.А., Павленко Г.П. Разработка программно-технического комплекса для проведения аэрофотосъемки и наземной обработки результатов съемки на примере БПЛА "Типчак". // Сборник материалов Юбилейной конференции, посвященной 50-летию полета в космос Ю.А.Гагарина, НИИ ТП, 20- апреля, 2011, Москва, с. 86-90.

7. Васильев А.И., Судоргин А.А. Построение обзорных изображений местности по снимкам БПЛА. // Сборник материалов молодежной конференция "Новые материалы и технологии в ракетнокосмической технике", 22-24 июня, 2011, Звездный городок, T. с. 226-229.

8. Vasilyev A.I., Boguslavskiy A.A., Sokolov S.M. Parallel SIFT-detector implementation for images matching. // Proc. of the 21st Conference on Computer Graphics and Vision, GraphiCon’2011, September 26-30, 2011, Moscow, pp. 173-176.

9. Vasilyev A. I., Krylov A.V., Sudorgin A.A. Application of NVIDIA GPU for the mosaic formation according to the aerial photography data. // Proc.

of the 11th International Scientific and Technical Conference "From Imagery to Map: Digital Photogrammetric Technologies", 2011, September 19-22, 2011, Spain, Tossa de Mar, pp. 43-44.

10. Makhutov. N.A., Vasil`ev I.E., Boguslavskii A.A., Vasil`ev A.I. Automation of crack recording in brittle tensosensitive coatings. // Inorganic Materials, № 15, vol. 47, 2011 p. 1707-1712.

11. Соколов С.М., Богуславский А.А., Трифонов О.В, Васильев А.И.

Методические и практические аспекты разработки СТЗ для оперативного мониторинга объектов инфраструктуры и подвижного состава на железнодорожном транспорте. // Труды 3-ей Российская конференция с международным участием "Технические и программные средства систем управления, контроля и измерения" (УКИ-12) 16 - 19 апреля 2012 года в ИПУ им. В. А. Трапезникова РАН. с. 972Hinz A., Drstel Ch., Heier H. DMC The Digital Sensor Technology of Z/I Imaging. // Photogrammetric Week, D. Fritsch, R.Spiller Ed. Wichmann-Verlag, Heidelberg. pp. 93-104., 13. Krpfl M., Gruber M. UltraCam: Calibration Geometry and Radiometry Analysis, http://www.gtbi.net/export/sites/default/GTBiWeb/productos/descargas/V excelUltracamD-Calibracion-en.pdf (2012) 14. Kheiri M. Digital Aerial Cameras. // International Archives of the Photogrammetry, Remote Sensing and Spatial Information Science, Volume XXXVI, Part 6, Tokyo Japan 2006, pp. 229-234.

15. Фотограмметрический пакет Erdas Imagine. http://www.erdas.com (2012) 16. Фотограмметрический пакет Photomod. http://www.racurs.ru (2012) 17. Формат хранения растровых данных – TIFF. http://www.libtiff.org/ (2012) 18. Формат хранения растровых данных – JPEG. http://www.jpeg.org/ (2012) 19. БПЛА "Типчак". http://ru.wikipedia.org/wiki/Типчак_(БПЛА) (2012) 20. Картографическая система координат – WGS-84. http://earthinfo.nga.mil/GandG/publications/tr8350.2/tr8350_2.html (2012) 21. Пригоровский Н.И., Панских В.К. Метод хрупких тензочувствительных покрытий.– М.: Наука, 1978. – 184 с.

22. НПО "Регион". http://www.nporegion.ru/ (2012) 23. Лобанов А.Н. Фотограмметрия: Учебник для вузов. 2-е изд., перераб.

и доп. — М.: "Недра", 1984. - 552 с.

24. Назаров А.С. Фотограмметрия: учеб. пособие для студентов вузов.

— Мн.: ТетраСистемс, 2006. — 368 с.: ил.

25. Open Computer Vision Library. http://opencv.org/ (2012) 26. Bradski G., Kaehler A.. Learning OpenCV. // OReilly. ISBN: 978-0-596Zhang Z. A flexible new technique for camera calibration. // IEEE Trans.

on PAMI, 2000, Vol. 22(11), pp. 1330- 28. Intel Integrated Performance Primitives. http://software.intel.com/enus/articles/intel-ipp (2012) 29. Hartley R., Zisserman A. Multiple View Geometry in computer vision. // Cambridge University Press. ISBN 0-521-54051-8, 30. Whler C. 3D Computer Vision: Efficient Methods and Applications. // X.media.publishing, 31. Forsyth D.A., Ponce J. Computer Vision, A Modern Approach. // Prentice Hall. ISBN 0-12-379777-2, 32. Шредер Г., Трайбер Х. Техническая оптика. — М.: Техносфера, 2006г. — 424.с. ISBN 5-94836-075-Х 33. Русинов М.М. Техническая оптика: учеб. пособие для вузов. — Л.:

Машиностроение. Ленинградское отд., 1979 г. — 488 с.

34. Brown D. C. Close-Range Camera Calibration. // Photogrammetric Engineering vol. XXXVII, no. 8, 1971, pp. 855- 35. Бард Й. Нелинейное оценивание параметров. / Пер. с англ. В.С. Дуженко и Е.С.Фоминой; Под ред. и. с предисл. В.Г. Горского — М.:

Статистика, 1979 — 349с.

36. Поляк В.Т. Введение в оптимизацию. — М.: Наука, 1983. — 384 с.

37. Васильев Ф.П. Методы оптимизации. — М.: Факториал Пресс, 2002.

38. Triggs B., McLauchlan P. F., Hartley R. I., Fitzgibbon A. W. Bundle adjustment - a modern synthesis. // In:ICCV ’99: Proceedings of the International Workshop on Vision Algorithms, Springer-Verlag, London, UK, pp. 298–372., 39. Distortion tester.

http://www.zeiss.com/C1257569004B5D2C/EmbedTitelIntern/Distortion Tester/$File/Carl_Zeiss_Distortion_Tester.pdf (2012) 40. Tsai R. Y. A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses. // IEEE J. of Robotics and Automation RA 3(4), pp. 323–344, 41. Clarke T.A., Fryer J.G. The Development of Camera Calibration Methods and Models. // Photogrammetric Record, 16(91): 51-66, April 42. Михайлов А.П. и др. Применение цифровых неметрических камер и http://www.racurs.ru/www_download/articles/Camaras_digitales_rus.pdf (2012) 43. Abidi IM. A., Chandra T. A New Efficient and Direct Solution for Pose Estimation Using Quadrangular Targets: Algorithm and Evaluation. // IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol 17, No. 5, pp. 534-538, 1995.

44. Long Q., Zhong-Dan L. Linear N-Point Camera Pose Determination. // IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol.21, No.7, pp. 774-780, 1999.

45. Longuet-Higgins H.C. A Computer Algorithm for Reconstructing a Scene From Two Projections. // Nature, vol. 293, pp. 133–135, Sept 1981.

46. Nister D. An Efficient Solution to the Five-Point Relative Pose Problem.// CVPR, 195-202, 2003.

47. Schaffalitzky F., Zisserman A., Hartley R. I., Torr P.H.S. A Six Point Solution for Structure and Motion. // ECCV (1) 2000: 632- 48. Szeliski R. Computer Vision: Algorithms and Applications. Springer, New York, 2010.

49. Конушин А.С.

Автореферат диссертации. Алгоритмы построения трехмерных компьютерных моделей реальных объектов для систем виртуальной реальности, 2005, http://www.keldysh.ru/council/1/konushin.pdf (2012) 50. Шапиро Л. Компьютерное зрение : Учебное пособие для вузов : Пер.

с англ. / Л. Шапиро, Дж. Стокман ; пер. : А.А. Богуславский ; ред.

пер. : С. М. Соколов. — М.: БИНОМ. Лаборатория знаний, 2006. — 51. Harris C., Stephens M. A combined corner and edge detector. // Fourth Alvey Vision Conference, 52. Corner Detection Algorithms.

http://kiwi.cs.dal.ca/~dparks/CornerDetection/algorithms.htm (2012) 53. Hu M.K. Visual Pattern Recognition by Moment Invariants. // IRE Trans.

Info. Theory, vol. IT-8, pp.179–187, 54. Lowe D.G. Distinctive Image Features from Scale-Invariant Keypoints. // International Journal of Computer Vision, 60, 2, pp. 91-110, 2004.

55. Bay H., Ess A., Tuytelaars T., Gool L.V. SURF: Speeded Up Robust Features. // Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 56. Ke Y., Sukthankar R. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. // Computer Vision and Pattern Recognition, 2004.

57. Matas J., Chum O., Urban M., Pajdla T. Robust wide baseline stereo from maximally stable extremal regions. // Proc. of British Machine Vision Conference, pages 384-396, 2002.

58. Fischler M.A., Bolles R.C. Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. // Comm. of the ACM 24 (6): 381–395. June 1981.

59. Choi, Kim, Yu. Performance Evaluation of RANSAC Family. // BMVC, 2009, doi:10.5244/C.23. 60. Luong Q.T., Faugeras O.D. The Fundamental Matrix: Theory, Algorithms, and Stability Analysis. // International Journal of Computer Vision 17 (1): 43–75. doi:10.1007/BF00127818, 61. Хартсхорн Р. Основы проективной геометрии. — М.: Мир, 1970.

62. Grn A. Adaptive least squares correlation: a powerful image matching technique. // In: South African Journal of Photogrammetry, RS and Cartography, Vol. 14 (3), pp. 175-187, 63. Zitova, B., Flusser, J. Image registration methods: a survey. In: Image and Vision Computing, Vol. 21, Issue 11, pp. 977-1000, 64. Гонсалес Р., Вудс Р. Цифровая обработка изображений. — М.: Техносфера, 65. Rosenfeld A., Vanderbrug G.J. Coarse–ne template matching. // IEEE Transactions on Systems, Man and Cybernetics 7 (1977) 104–107.

66. Rodrigues R., Pellegrino S. An Experimental Evaluation of Algorithms for Aerial Image Matching. // 17th International Conference on Systems, Signals and Image Processing (IWSSIP). – 2010. – P.416 – 419.

67. Lindeberg T. Detecting salient blob-like image structures and their scales with a scale-space primal sketch: a method for focus-of-attention. // International Journal of Computer Vision, 11(3):283-318. 68. Lindeberg T. Scale-space theory: A basic tool for analysing structures at different scales. // Journal of Applied Statistics, 21(2):224-270. 69. NVIDIA, CUDA technology, http://www.nvidia.com/object/cuda_home_new.html (2012) 70. Боресков А.В., Харламов А.А. Основы работы с технологией CUDA.

– Москва, ДМК Пресс, 71. Sanders J., Kandrot E. CUDA by Example: An Introduction to GeneralPurpose GPU Programming. 2010. Addison-Wesley Professional. 312 p.

ISBN: 978-0131387683, 72. Harris detector source code (matlab), http://www.cs.illinois.edu/~slazebni/spring11/harris.m (2012) 73. Sinha S., Frahm J., Pollefeys M., Genc Y. Feature tracking and matching in video using programmable graphics hardware. // Machine Vision and Applications, 74. Hosseini F., Fijany A., Fontaine J.-G. Highly Parallel Implementation of Harris Corner Detector on CSX SIMD Architecture. // the 16th International European Conference on Parallel and Distributed Computing (Euro-Par), August 31-September 3, 2010, Ischia - Naples, Italy 75. Claus C., Huitl R., Rausch J., Stechele W. Optimizing the SUSAN corner detection algorithm for a high speed FPGA implementation. // Field Programmable Logic and Applications, 2009.

http://www.vlfeat.org/ (2012) 77. Warn S., Emeneker W., Cothren J., Apon A. Accelerating SIFT on Parallel Architectures. // Cluster Computing and Workshops, 78. Heymann S., Muller K., Smolic A., Frohlich B., Wiegand T. SIFT Implementation and Optimization for General-Purpose GPU. // in WSCG 79. Wu C. SIFTGPU: A GPU implemenatation of scale invariant feature transform (SIFT). http://www.cs.unc.edu/~ccwu/siftgpu/#lowesift (2011) 80. Bjorkman M. A CUDA implementation of SIFT http://www.csc.kth.se/~celle/ (2011) 81. Kayombya G.-R. Implementation and Optimization of SIFT on an OpenCL GPU, http://beowulf.csail.mit.edu/18.337/projects/reports/Kayombya_report.pdf (2010) 82. Burt P.J., Adelson A.H. A multiresolution spline with application to image mosaics. // ACM Transactions on Graphics, 83. V.Vezhnevets, A.Velizhev, N. Chetverikov, A. Yakubenko. GML C++ Camera Calibration Toolbox.

http://graphics.cs.msu.ru/ru/science/research/calibration/cpp (2012) 84. Multi-Camera Self-Calibration, http://cmp.felk.cvut.cz/~svoboda/SelfCal/ (2012) 85. Open Graphic Library, http://www.opengl.org/ (2012)