«Г.В. АЛФЕРОВ, Ф.М. КУЛАКОВ, А.И. НЕЧАЕВ, С.Э. ЧЕРНАКОВА ИНФОРМАЦИОННЫЕ СИСТЕМЫ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В МЕХАТРОНИКЕ И РОБОТОТЕХНИКЕ Учебно-методическое пособие Санкт-Петербург 2007 2 УДК 517.9+519.8 М34 Р е ц е н з е н ...»

e) Формирование добавленной реальности, т.е. формирование изображения реальной рабочей зоны и рук, дополненного изображением виртуального объекта; этот процесс включает формирование изображений виртуального объекта геометрической модели рабочей зоны, а также рук человека для случая, если виртуальным объектом является тело, перемещаемое руками; масштаб и ракурс изображений соответствует позиции/ориентации левых TV камер для обзора рабочей зоны и рук человека.

Локализация 2D-областей, принадлежащих не загороженным от наблюдателя (видимым) фрагментам изображений модели рабочей зоны, модели виртуального тела, а также моделям рук (рис. 2.6) в случае, если тело перемещается руками, и замена выделенных фрагментов этими же фрагментам изображений реальной внешней среды и рук, полученных с помощью видео камер; при замене должны быть точно совмещены границы соответствующих фрагментов изображений моделей и реальных объектов.

2D-область, принадлежащая изображению геометрической 2D-область, принадлежащая изображению геометрической 2D-область, принадлежащая изображению геометрической Рис. 2.6 Локализация 2D-областей, принадлежащих изображениям геометрических f) вывод дополненной реальности на левый дисплей головного шлема, т.е. вывод сформированного изображения реальной рабочей зоны и рук дополненной изображением виртуального объекта на левый дисплей головного шлема.

Кроме перечисленных функций программное обеспечение графической станции должно выполнять часть функций по реализации тактильно-силового аспекта погружения виртуального объекта в реальную внешнюю среду, а именно:

а) выявления факта столкновения рук человека с перемещаемым ими виртуальным телом, если виртуальным телом является копирующий манипулятор, выявление столкновений виртуального манипулятора с объектом внешней среды;

б) формирование данных, необходимых для вычисления ожидаемых величин векторов силы и момента взаимодействия виртуального манипулятора с объектами внешней среды.

Блок 8 Графическая станция 2. Ее программное обеспечение реализует те же самые функции, что и программное обеспечение станции 1. Отличие состоит в том, что в данном случае формируется изображение реальной рабочей зоны и рук, дополненное изображением виртуального объекта, выводимое на правый дисплей головного шлема, т.е.

предназначенное не для левого, а для правого глаза. Кроме того, оно формирует данные, необходимые для имитации тактильно-силового эффекта «погружения».

Блок 9 Специальное устройство для имитации тактильно-силового эффекта погружения виртуального тела в реальную внешнюю среду. В случае, если виртуальным объектом является манипулятор, оно включает:

задающую руку с 6-ю степенями суставами, оснащенную 6-ю приводами руки, а также 6-компонентным запястным датчиком, измеряющим векторы момента и силы, прикладываемых к рукоятке на конце руки;

устройство управления приводами задающей руки, основной функцией программного обеспечения является вычисление векторов момента и силы взаимодействия виртуального манипулятора с препятствием и другими предметами реальной рабочей зоны.

В случае, если виртуальным объектом является произвольное тело, перемещаемое руками человека, специальное устройство включает:

робото-подобный механизм с шестью степенями свободы, оснащенный 6-ю приводами, захватным устройством, в которое помещается сменные муляжи виртуального тела, а также 6-ти компонентным датчиком, измеряющим векторы момента и силы, прикладываемые к муляжу рукой человека;

устройство управления приводами робото-подобного механизма, программное обеспечение которого формирует управление приводами, обеспечивающее такое перемещение муляжа тела в пространстве, как будто это реальное тело, имеющее заданную массу и матрицу инерции.

Изображения реальной рабочей зоны и рук оператора, должны быть получены с помощью специальной оптической системы, которая формирует стерео пару оптических изображений сцены на полупрозрачном экране.

Стереопара изображений виртуального объекта требуемых масштаба и ракурса должна быть сформирована программным обеспечением графических станций. Эти изображения должны находиться на том же самом полупрозрачном экране, что позволит наблюдать виртуальное тело как будто оно реальное и присутствует среди объектов рабочей зоны совместно с руками человека.

В качестве дисплеев для представления компьютерно-синтезированного изображения виртуального тела, погруженного в оптическое изображение внешней среды целесообразно использовать специальные дисплеи, вмонтированные в головной шлем.

Помимо дисплеев, он имеет для каждого из глаз и оптическую систему, которая накладывает в соответствующем масштабе стереопару оптических изображений внешней среды и рук на стереопару компьютерно-синтезированных изображений виртуального объекта.

§2.4 Прототип экспериментального комплекса для проверки предложенной технологии погружения виртуального объекта в реальный мир Для экспериментальной проверки предложенной технологии был создан прототип аппаратно-программного комплекса, структура которого изображена выше на рис.2.3. Он соответствует варианту технологии, когда виртуальным объектом является телеуправляемый манипулятор. На рис.2.7 показан общий вид прототипа комплекса, находящегося в лаборатории ЛИТУР СПИИРАН. В качестве вышеописанных функциональных блоков, входящих в этот комплекс, использованы следующие аппаратные средства.

Блок 1. В качестве стереопары подвижных TV-камер для формирования изображения рабочей зоны использованы две TV-камеры типа SANYO VCC-43-112P, а в качестве перемещающего их робото-подобного устройства применен антропоморфный электромеханический манипулятор типа «Пума». Его схват заменен специальной платформой, на которой смонтирована пара TV-камер вышеуказанного типа.

Основные характеристики манипулятора:

- число степеней свободы – 6;

- максимальный вес переносимого груза – 25 кг;

- точность повторения позиции конца манипулятора ± 0,1 мм;

- скорость движения с максимальным весом: по произвольной траектории – 1 м/сек., по линейной траектории – 0,5 м/сек.;

- рабочее пространство – сфера с радиусом 0,92 м.

Блок 2. Стандартное устройство управления типа «Сфера-36», предназначенное для управления роботом типа «Пума», используется для управления позицией/ориентацией платформы с TV-камерами обзора рабочей зоны.

Устройство имеет два иерархически связанных управляющих уровня и шесть управляемых сервоприводов степеней свободы манипулятора.

Верхний уровень реализован в виде так называемого центрального процессора, который выполняет следующие функции:

- обеспечивает ввод по каналу типа R-232 шести координат текущей позиции/ориентации головы оператора, формируемых блоком 3;

- вычисляет шесть суставных координат манипулятора, перемещающего сдвоенные TV-камеры, используя введенные шесть координат позиции/ориентации головы.

Рис. 2.7 Общий вид аппаратуры комплекса телеуправления Второй уровень, реализованный в виде шести микропроцессоров, формирует управления каждым из шести суставных приводов, используя в качестве входных задающих сигналов вычисленные верхним уровнем значения суставных координат, а в качестве сигналов обратной связи – текущие значения суставных координат манипулятора.

Блок 3. Оптико-телевизионная система отслеживания позиции/ориентации головы использует в качестве маркерного устройства четыре точечных инфракрасных источника типа…., расположенных в виде ромба на лобовой ленте-повязке; - в качестве устройства для получения изображений маркеров – видеокамеру типа КРС-700, а в качестве устройства обработки видеоизображений – персональный компьютер. Его характеристики: Pentium III 733 MГц, Chipset Intel's 440 Bx, Diskmemory 30 GB, RAM Mb, Videoadapter ASUS AG... 7100 DDR SGRAM32Mb, Monitor 15'' Sony E100.

Выходными данными компьютера являются координаты текущего положения/ориентации головы, которые являются входными величинами для устройства управления позиции/ориентации платформы с видеокамерами (блок 2).

Блок 4. В качестве блока для представления левому и правому глазам стереоизображения виртуального манипулятора, «погруженного» в изображение реальной внешней среды, используются оптический микродисплейный модуль, приспособленный для использования совместно с головным шлемом. Он имеет два микродисплея, которые обеспечивают SVGA разрешение 800600, имеет диагональное поле зрения 31,2 °, позволяет регулировать межглазное расстояние, может быть связан непосредственно с любым компьютером, имеющим VGA порт, позволяет параллельно выводить изображения и на собственные микродисплеи и на мониторы графической станции.

Блоки 5 и 6. В качестве графических станций, формирующих изображения реальной рабочей зоны, дополненные изображениями виртуального объекта (для левого и правого глаза, соответственно), используются два персональных компьютера со следующими техническим характеристиками: два Pentium III 800 MГц, Chipset Intel's 440 Bx, Videoadapter ASUS-V6800, DDR SG RAM32Mb, Monitor 19'' Sony E400, Videoinput – AVERMEDIA EZ MAKER.

Блок 7. В качестве задающей руки, входящей в состав устройства для имитации силового взаимодействия виртуального манипулятора с объектами внешней среды используется стандартный электромеханический манипулятор типа «Пума», кинематически подобный виртуальному манипулятору. Стандартный схват манипулятора заменен рукояткой, с помощью которого оператор задает позицию/ориентацию рабочего инструмента виртуального манипулятора во время обучения.

Кроме того, в запястье манипулятора установлен специальный силомоментный датчик, который измеряет силу и момент, возникающие в запястье и воспринимаемые рукой человека-оператора, перемещающего задающую руку, когда имеет место столкновение виртуального манипулятора с объектом внешней среды.

В качестве устройства управления приводами задающей руки используется устройство управления типа «СФЕРА-36», аналогичное устройству, используемому для управления роботоподобным механизмом, перемещающим TV-камеры обзора рабочей зоны. Однако функции его другие. Верхний уровень устройства в данном случае формирует:

- вектор суставных координат виртуального манипулятора;

- вектор силы и момента ожидаемого взаимодействия виртуального манипулятора с объектами внешней среды;

- задания (значения суставных координат) для каждого из шести следящих систем, реализованных с вторым управляющим уровнем системы управления.

Второй уровень формирует управления каждым из шести суставных приводов задающей руки, используя в качестве входных задающих сигналов величины, вычисленные верхним уровнем, а в качестве сигналов обратной связи, - текущие значения суставных координат.

Основы теории кинестетического взаимодействия человека §3.1 Реализация кинестетического восприятия виртуального объекта При создании современных человеко-машинных интерфейсов помимо обычно используемой визуальной и звуковой информации об объекте, облегчающей человеку возможность управлять или иным родом взаимодействовать с ним, в ряде случаев необходимо, чтобы интерфейс формировал информацию других видов. Весьма полезно и часто даже необходимо обеспечить восприятие информации, которую можно иметь только при непосредственном контакте с объектом.

В этом случае человек естественным путем получает представление о таких физических свойствах объекта, как его инерция, вес, сопротивление трению при перемещении, текстура поверхности и т.д.

Для этого у человека имеется шестое «чувство», которым пренебрег Аристотель, классифицируя основные чувства человека, – чувство кинестезии. Оно позволяет определять положение и перемещение нашего тела и его элементов в пространстве, а также степень его внутреннего напряжения. Эти данные формируются с помощью рецепторов в коже, мышцах, суставах и сухожилиях, собирающих первичную информацию о состоянии этих органов. Они перерабатываются мозгом до уровня осознания вышеперечисленных физических свойств объекта.

Человеко-машинный интерфейс, обеспечивающий кинестетическое восприятие объекта, с которым взаимодействует человек, в международной практике получил название haptic interface [ 15 ]. Слово haptic охватывает кинестетические ощущения при непосредственном контакте с объектом.

К сожалению, человек далеко не всегда может непосредственно взаимодействовать с объектом, которым управляет, например, при дистанционном управлении, когда управляемый объект находится на расстоянии. Такими объектами являются космический робот-манипулятор, беспилотный летательный аппарат, тело, движущееся в невесомости, на или рядом с орбитальной станцией. Часто непосредственное взаимодействие оказывается нежелательным. Во всех этих случаях должен быть использован специальный человеко-машинный интерфейс, обеспечивающий возможность реалистичного кинестетического восприятия компьютерно-синтезированного так называемого виртуального объекта.

Основным функциональным узлом кинестетического интерфейса (рис. 3.1) является специальный многомерный управляемый манипуляционный механизм взаимодействия.

Он оснащен датчиками, позволяющими определить значения суставных координат механизма и их скорости, что дает возможность определять положение в пространстве свободного конца манипулятора, а также его скорость.

Кроме того, механизм оснащен датчиком, измеряющим силу и момент взаимодействия руки человека с рукояткой, закрепленной на этом свободном конце.

В качестве рукоятки могут быть использованы сменяемые муляжи виртуальных объектов. По форме, размерам и текстуре эти муляжи подобны моделируемым виртуальным объектам. Массо-инерциальные характеристики и веса этих муляжей должны быть по возможности малыми, желательно меньшими соответствующих характеристик моделируемых объектов.

В международной практике механизм взаимодействия называется Нaptic display. Если видеодисплей позволяет увидеть среду, сгенерированную компьютером, haptic display позволяет ее «потрогать», в рассматриваемом случае «потрогать» виртуальный объект.

Каждая степень подвижности механизма взаимодействия имеет управляемый привод, которым обычно является электродвигатель постоянного тока.

Задача разработки высокоэффективной системы управления, которая должна формировать управления приводами механизма взаимодействия является одной из центральных задач создания человеко-машинного кинестетического интерфейса. Эти управления должны обеспечивать такое перемещение муляжа виртуального объекта, закрепленного на конце механизма, захваченного руками человека, которое имело бы место, если бы человек захватил и перемещал реальный объект заданных массы, формы, сопротивления трению и «упругого» сопротивления, если таковые имеются.

Рис. 3.1 Кинематическая схема интерфейса сило-моментного взаимодействия При этом человек должен испытывать кинестетические ощущения, близкие к реальным, которые возникли бы в подобной ситуации. Качество функционирования системы управления во многом определяет реалистичность получаемых человеком кинестетических ощущений. Прежде всего, система управления должна быть устойчива, в противном случае интерфейс вообще не будет работоспособен.

Далее, при наличии устойчивости системы должно обеспечиваться приемлемое качество переходных процессов, возникающих при возмущениях, т.е. приемлемое время установления, небольшое «перерегулирование», отсутствие колебательности.

Для большей реалистичности восприятия к этим ощущениям желательно добавить соответствующие визуальные ощущения, получаемые с помощью «визуальной» части человеко-машинного интерфейса [ 11 ]. Последняя генерирует реалистичное изображение виртуального объекта в позиции и ориентации, совпадающим с муляжом. Человек воспринимает это изображение через встроенные в головной шлем два дисплея для левого и правого глаз. Ракурс и масштаб изображения соответствует текущему положению и ориентации головы человека.

Задача анализа системы управления приводами механизма взаимодействия является весьма сложной из-за высокого порядка дифференциального уравнения, представляющего модель процесса взаимодействия. Данная модель охватывает описание динамики поведения как механизма взаимодействия с выбранным законом управления им, так и виртуального объекта, перемещающегося под действием силы и момента, приложенных к нему. Она учитывает также модель «удержания» объекта рукой человека, которая представляется упруго демпфируемым звеном.

Известен целый ряд работ, посвященных анализу и синтезу систем управления механизма взаимодействия [ 15-20 ], подавляющее число из них базируется на линейной теории сетей. В них учитывается непрерывно-дискретный характер системы управления, обусловленный конечным периодом времени, в течение которого должны формироваться компьютером текущие управления приводами механизма взаимодействия, и текущие значения сигналов обратных связей.

В этих работах и, в частности, в обобщающей работе по этой тематике [ 15 ] большое внимание уделяется проблеме достижения устойчивости. В ней разработана соответствующая методика, основанная на введении в контур управления некоего упругодемпфируемого аналогового элемента (звена) с настраиваемыми параметрами. В терминологии автора это звено названо «virtual coupling», т.е. виртуальная связь.

Оно определенным образом преобразует прилагаемый человеком к «муляжу»

виртуального объекта вектор силы в вектор, используемый для формирования траектории движения виртуального объекта. По существу оно функционирует как фильтр подавления гармоник высоких частот прилагаемого человеком вектора силы.

Подбор параметров звена с целью получения устойчивости осуществляется полуэмпирическим путем вариации частотных характеристик контура управления. К сожалению, использование «virtual coupling», обеспечивая устойчивость, приводит к увеличению установившейся ошибки системы управления механизма взаимодействия, что сказывается на реалистичности кинестетического восприятия виртуального объекта.

В статье [ 21 ] более детально рассмотрены новые математические модели процессов взаимодействия. При этом для анализа используется нелинейная теория, т.е.

динамические модели механизма взаимодействия виртуального объекта представляются соответствующими нелинейными дифференциальными уравнениями Лагранжа II рода, а также алгебраическими уравнениями, описывающими возможные голономные связи, которые могут быть наложены на виртуальный объект. Анализируются два подхода к построению системы управления механизма взаимодействия – аналогов “admittance” и “impedance” подходов, описанных в [ 15 ].

Первый – основан на отслеживании траектории программного перемещения виртуального объекта, получаемой путем численного интегрирования дифференциального уравнения движения виртуального объекта под воздействием измеряемой силы взаимодействия.

Второй – основан на отслеживании программной силы взаимодействия, вычисляемой путем решения обратной задачи механизма для объекта, т.е. по измеряемым значениям координат положения муляжа тела, а также первым и вторым их производным.

Рассматриваются два возможных режима взаимодействия человека с объектом:

«толкание» и «удержание». Исследуется влияние на процесс взаимодействия ошибки в измерении величины силы взаимодействия. Ошибка обусловлена тем, что изменяется только упругая составляющая силы и не учитывается ее динамическая составляющая для упрощения процесса формирования силы взаимодействия.

Принципиальное отличие исследования, проведенного в статье [ 21 ], состоит в том, что анализируемая система управления рассматривается как аналоговая.

При исследовании взаимодействия в режиме «толкания» анализ устойчивости был основан на использовании теоремы Ляпунова об устойчивости «в большом».

Исследование устойчивости процесса взаимодействия в режиме «удержания» основано на доказательстве принадлежности системы уравнений, описывающих процесс взаимодействия, к так называемой «тихоновской системе» в терминологии акад. Н.Н. Моисеева [ 22,23 ]. В свою очередь это доказательство базируется на использовании теоремы Ляпунова.

Рассмотрение системы управления как аналоговой, с одной стороны, оправдано тем, что современные, а тем более будущие скорости компьютерных вычислений настолько высоки, что запаздывания и гармонические составляющие непрерывных сигналов в контурах управления, порождаемые дискретностью формирования компьютера, надежно фильтруется аналоговой частью этих контуров.

С другой стороны, полученные результаты интересны тем, что они дают представление о предельно возможном улучшении функционирования системы управления за счет уменьшения временного интервала вычислений и об оправданности затрат, обеспечивающих уменьшение этого интервала.

Найдены весьма простые, легко реализуемые условия, которые надо наложить на параметры предложенных законов управления, чтобы достичь устойчивости функционирования этой системы управления, что гарантирует ее работоспособность.

В качестве виртуальных объектов были использованы твердые тела, компьютерные модели которых были представлены дифференциальным уравнениями Лагранжа II рода и алгебраическими уравнениями, описывающими голономные связи, наложенные на эти тела.

Предложенные методы применимы к любым вырожденным вариантам виртуальных объектов, получаемым за счет «обнуления» некоторых параметров дифференциальных уравнений, представляющих динамические модели этих объектов. Например, можно сделать нулевыми все – потенциальные и диссипативные силы, действующие на объект, что будет соответствовать телу в невесомости. Можно обнулить массу и матрицу инерции тела и ввести диссипативные силы, требуемой структуры, что, например, будет соответствовать скальпелю, перемещаемому в теле человека, и т.д. Такие возможности существенно расширяют области практического применения интерфейсов.

Динамический анализ был проведен для двух возможных режимов взаимодействия человека с объектом. Один из них – режим кратковременного контакта типа «толкание объекта», второй – режим «удерживания объекта». В последнем случае в качестве модели удерживания объекта руками человека был использован пассивный элемент с упругодемпфирующими свойствами.

Полученные условия устойчивости хотя и просты, но несколько отличаются друг от друга в зависимости от используемых подходов к формированию законов управления.

В случае подхода, основанного на отслеживании программного перемещения в пространстве муляжа тела, требуется, чтобы матрица коэффициентов усиления K по положению и матрица коэффициентов демпфирования K нс были симметрические определенно положительные. А при подходе, основанном на отслеживании желаемой программной силы взаимодействия необходимо, чтобы матрица К у коэффициентов усиления по силе была диагональна.

Кроме того, важно отметить практические предпочтения применимости подходов.

Подход, основанный на отслеживании силы взаимодействия предпочтителен в случаях, когда виртуальный объект встречает лишь упругое сопротивление движению или, в крайнем случае, еще и скоростное. Это связано с трудностями формирования вторых и первых производных координат положения объекта, что необходимо для вычисления программного значения Рпр ожидаемого вектора силы, входящего в закон управления Более адаптирован к этим случаям подход, основанный на отслеживании траектории движения тела.

Весьма полезным результатом является доказательство того, что на устойчивость функционирования системы управления не сказывается ошибка в измерении силы взаимодействия, вызванная игнорированием динамических составляющих этой силы с целью упрощения процесса измерения.

Проведенный анализ в отличие от известных работ, был проведен не на основе линейной теории сетей, а на основе нелинейной теории, т.е. динамические модели механизма и виртуального объекта представлялись уравнениями Лагранжа II рода, а для анализа устойчивости использовалась терема Ляпунова об устойчивости.

Рассмотрение анализируемой системы как аналоговой оправдано тем, что современные, а тем более будущие скорости компьютерных вычислений настолько высоки, что запаздывания и гармонические составляющие непрерывных сигналов в контурах управления, порождаемые дискретностью их формирования компьютером, надежно фильтруется аналоговой частью этих контуров.

С другой стороны, полученные результаты интересны тем, что они дают представление о предельно возможном улучшении функционирования системы управления за счет уменьшения периода дискретности T и об оправданности соответствующих затрат, обеспечивающих ускорение вычислений. В связи с этим полезно отметить, что при практической реализации системы управления проявление неустойчивости, вызванное большим периодом дискретности DT, можно нейтрализовать не за счет ускорения вычислений, необходимых для формирования сигналов управления, а за счет уменьшения частоты среза аналоговой части контура управления приводами механизма.

Наиболее просто это осуществить за счет увеличения матрицы K c коэффициентов обратной связи по скорости в законах управления (22) при подходе к синтезу управления, основанном на отслеживании желаемого программного перемещения виртуального тела и введении такой связи в закон (38), соответствующий отслеживанию программной силе взаимодействия. Причем эта обратная связь должна быть реализована аналоговым способом, т.е. с помощью тахогенераторов, формирующих непрерывные сигналы, пропорциональные скорости изменения координат привода, объединенных в вектор d.

Заметим, что в работе [ 15 ] тот же самый эффект уменьшения частоты среза достигается за счет введения в контур управления упруго деформируемого аналогового элемента (звена) с настраиваемыми параметрами “virtual coupling”. Этот элемент соответствующим образом преобразует прилагаемый человеком к «муляжу» виртуального объекта вектор силы в вектор, используемый для формирования желаемых траектории движения объекта или силы взаимодействия. Однако, этот путь нейтрализации дискретности менее эффективен, чем предложенный, т.к. в отличие от него, он повышает порядок дифференциального уравнения, представляющего процесс взаимодействия, что, в свою очередь, усложняет условие обеспечения устойчивости.

§3.2 Имитация тактильно-силового взаимодействия рук человека с виртуальным В случае, если виртуальным объектом является произвольное твердое тело, то имитация тактильно-силового взаимодействия человеческих рук с телом означает, что при достижении нулевого расстояния между любым элементом виртуальной руки и виртуальным телом этот элемент реальной руки должен испытывать тактильно-силовое взаимодействие, какое бы испытывала рука, если бы она столкнулась с реальным телом заданной массы, матрицы инерции, текстуры, а виртуальное тело перемещалось бы приложенных к нему сил, как перемещалось бы реальное тело с вышеуказанными массоинерционными параметрами под действием сил, возникающих в результате столкновений.

В настоящее время известны ряд технических средств для реализации тактильносилового эффекта погружения, например, устройства Cyber Force, Cyber Grasp, Cyber Glove, производимые фирмой Virtual Technologies [ 24 ]. Предлагаемые новые средства, по-видимому, позволят достичь более реалистичной имитации взаимодействия. Этими средствами являются специальный манипулятор с шестью степенями свободы и система управления его приводами, обеспечивающими имитацию силового взаимодействия рук с виртуальным телом.

На рис. 3.2 указанные средства объединены в блок 9. На конце манипулятора, вместо схвата закрепляются сменные муляжи используемых виртуальных тел, по форме и текстуре совпадающие с формой и текстурой моделируемого тела, но выполненные из какого-либо легкого материала, чтобы по возможности исключить влияние массоинерционных характеристик муляжа на закон движения конца манипулятора.

Манипулятор снабжается запястным сило-моментным датчиком, с помощью которого измеряются все 6 проекций результирующего вектора сил и моментов, действующих на муляж со стороны рук. Очевидно, этот вектор равен и противоположен по знаку вектору сил реакций, действующих на руку, т.е. имитирующих желаемое взаимодействие.

Манипулятор должен функционировать в следующих двух взаимоисключающих режимах.

Рис. 3.2 Блок схема имитации взаимодействия руки человека с виртуальным телом Первый имеет место, когда руки находятся на некотором расстоянии от тела. В этом режиме манипулятор должен быть расположен таким образом, чтобы муляж виртуального тела находился в позиции, адекватной позиции виртуального тела. Данный режим соответствует свободному перемещению рук человека в пространстве для последующего схватывания или толкания предмета.

Второй режим имеет место, когда расстояние между виртуальным телом и руками становится нулевым. Очевидно, в этот момент расстояние между муляжом и руками также равно нулю. В этом режиме имитируется тактильное и силовое взаимодействие, которое имело бы место, если бы рука толкнула или схватила и перемещала реальное тело с заданными формой, размерами, массо-инерционными характеристиками, весом и коэффициентом трения.

Ни в этом, ни в первом режиме зрительно человек не должен видеть манипулятор и муляж, а должен видеть с помощью нашлемных дисплеев, что он захватил реальное тело заданной текстуры, раскраски и формы, а также ощущать вес тела, инерцию и сопротивление трения2.

Реализация этого вида взаимодействия требует формирования управлений приводами манипулятора, которые порождали бы перемещение муляжа тела по такому же закону, по которому двигалось бы реальное тело с теми же массо-инерционными характеристиками, Манипулятор может попасть в поле зрения камер, предназначенных для получения изображения рук оператора. Однако, его всегда можно выделить на изображении сцены за счет окраски каким-нибудь характерным, например, черным цветом. Тогда после преобразования TV-изображения сцены в компьютерное, из него легко выделить черное изображение манипулятора и заменить цветом, совпадающим с цветом вышеупомянутого экрана, находящегося ниже рук человека и исключающего паразитный фон из изображения рук.

весом и коэффициентом трения под действием сил, приложенных к муляжу со стороны человека.

При приложении к муляжу тела со стороны рук в точке А результирующей силы F и момента М (рис. 3.2) имеют место следующие условия равновесия:

Где: Fs и Ms - сила и момент реакций, действующие на муляж тела со стороны датчика и измеряемые датчиком; ra - вектор, соответствующий точке приложения силы F; rcm – вектор центра масс муляжа тела в системе координат, связанной с датчиком; Gм - вектор веса муляжа тела.

Тогда, учитывая относительную малость действующих на муляж динамической силы Pd и момента Md, вследствие пренебрежимо малых массоинерционных характеристик муляжа по сравнению с реальным телом, для силы Fs и момента Ms правомерны следующие выражения:

Очевидно, зная эти значения, измеренные датчиком, а также вес муляжа и положение его центра масс rcm и, наконец, зная положение центра масс rc реального тела в системе координат датчика, можно вычислить силу F и суммарный момент М0, приложенные к телу.

Полагая, что всегда можно обеспечить rc=rcm, окончательно имеем:

Уравнения движения тела, имеющего массу m и вес G, в форме дифференциальных уравнений Эйлера-Лагранжа, записанных в векторно-матричной форме, будут иметь вид:

Где: (w,v) = (w1,w2,w3,v1,v2,v3) - шестимерный вектор угловой w=(w1,w2,w3) и линейной v=(v1,v2,v3) скоростей тела в системе координат, связанной с телом;

g=(g1,g2,g3,g4,g5,g6) - шестимерный вектор суставных координат рукояткиманипулятора;

J(g) - 66 Якобиева матрица манипулятора, являющаяся известной функцией суставных координат манипулятора;

G - вес тела в инерциальной системе координат;

a(g) - 33 матрица направляющих косинусов, определяющая поворот координатной системы тела относительно инерциальной системы координат; она также является известной функцией суставных координат манипулятора;

kv и kw - 33 диагональные матрицы коэффициентов трения тела.

Если имеются неголономные связи, соответствующие движению тела по поверхности, то помимо уравнений (1), (2), (3) движение тела будут определять уравнения связи в общем случае, имеющие вид:

Здесь Sv и Sw - 33 селективные диагональные матрицы, имеющие в диагонали нули и единицы; единицы соответствуют проекциям скоростей, величины которых не ограничены связями; очевидно, уравнения (4) соответствуют r скалярным уравнениям вида wj=0 и vj=0. Система уравнений движения (1), (2), (3), (4) может быть приведена к виду:

Эти векторно-матричные уравнения, очевидно, соответствуют 12 скалярным уравнениям, причем (6-r) из шести первых уравнений являются нулевыми тождествами.

Уравнения полностью определены, если известны масса тела m, матрица инерции тела I, положения центра масс тела rc и центра масс муляжа rcm в системе координат тела, а также вес муляжа Gм.

Таким образом, зная эти величины, а также начальные значения w=w0, v=v0, g=g0, можно вычислить законы изменения во времени величин w и v, а также интересующих нас величин g, используя один из методов численного интегрирования дифференциальных уравнений. Уравнения только упрощаются, если рассматривается движение тела в невесомости, тогда полагается G=0 и kv=kw=0.

Вычисленные значения суставных координат манипулятора можно использовать в качестве желаемых значений gd для следящих систем управления каждым из приводов суставных координат, которые отрабатывают эти значения. В результате этого все шесть координат манипулятора с заданной точностью будут повторять эти желаемые значения, а значит муляж тела будет иметь вычисленные линейную и угловую скорости, т.е. перемещаться так, как двигалось бы реальное тело под действием приложенных к нему силы и момента М.

Устройство управления для имитации взаимодействия рук человека с виртуальным телом функционирует по следующему алгоритму (рис.3.3).

Перед началом работы в информационно-вычислительный узел устройства вводятся значения массы m и матрицы инерции I моделируемого тела, которые должны быть значительно больше соответствующих характеристик муляжа тела, перемещаемого манипулятором, а также вводится положение центра масс тела rc, вес тела G и вес муляжа Gм, матрицы трения kw и kv, а также величины селективных матриц Sw и Sv. Эти данные необходимы для коррекции уравнения динамики тела (1) и (2).

При приложении к телу силы F и момента М в момент времени t0, датчик измеряет момент Мs и силу Fs. Программные средства информационно-вычислительного узла устройства имитации силового взаимодействия по этим данным и положению центра масс тела в системе координат датчика rc вычисляют значения силы F, приложенной к телу и момента M0, осуществляют интегрирование уравнений динамики, т.е. вычисляют значения линейных скоростей центра масс тела v = (v1, v2, v3), и его угловых скоростей w=(w1, w2, w3) в момент t1=t0 +Dt, где Dt - шаг вычислений, а также вычисляют значение вектора суставных координат gdl рукоятки. Это значение является заданием для следящих приводов на интервале от t1 до t2=t1 +Dt.

Заметим, что время вычисления gd1, как и любого другого значения gdi для последующих интервалов всегда меньше интервала Dt между моментами "выдачи" задающих сигналов. Поэтому момент выдачи имеет место, когда реальное время t=t1.

В этот же момент времени t1 снова начинается цикл вычисления, подобный вычислению на предыдущем интервале, т.е. осуществляется измерение Мs и Fs, вычисление по этим данным значений F и М0, нахождение значений и v1, v2, v3 и w1, w2, w3 для момента t2=t1+Dt, вычисление желаемого вектора суставных координат gd2, который служит заданием для следящих приводов на интервале от t2 до t3=t2+Dt. В момент t2 цикл вычислений повторяется и т.д.

Рис. 3.3. Схема обобщенного алгоритма взаимодействия рук человека с виртуальным Очевидно, чем меньше интервал Dt, тем меньше запаздывание в передаче заданий приводом, и, следовательно, тем точнее имитация движения тела под действием приложенных сил.

Очевидно также, что точность имитации зависит от динамики изменения вычисленных значений обобщенных координат, которые являются желаемыми значениями для следящих приводов, отслеживающих эти значения. Чем меньше инерция тела и трение, и чем больше силы взаимодействия с ним рук человека, тем быстрее эти значения изменяются во времени, а значит тем менее точно будут отслеживаться желаемые значения обобщенных координат из-за ограниченных динамических возможностей следящих приводов. Следовательно, тем хуже будет имитация силового взаимодействия человеческих рук с виртуальным телом.

Следует заметить, что разработанные метод и технические средства имитации силового и тактильного взаимодействия предназначены для выполнения тех же функций, что и известные устройства Cyber Force, Cyber Grasp, Cyber Glove, производимые фирмой Virtual Technologies. Однако, в отличие от этих устройств, предлагаемые средства существенно дешевле. Кроме того, предлагаемые средства обеспечивают более реальную имитацию взаимодействия рук с телом.

Это обусловлено тем, что тактильное взаимодействие, а также восприятие формы и размеров тела абсолютно точно, т.к. размеры и форма муляжа повторяют эти параметры моделируемого тела и воспринимаются собственными рецепторами кистей рук, а не с помощью Cyber Glove и Cyber Grasp, которые не абсолютно точно позволяют ощутить форму и размеры предмета.

Кроме того, использование силомоментного сенсора, измеряющего результирующие силу и момент, приложенные человеком к муляжу виртуального тела, а также использование системы имитации движения тела с заданными массоинерционными характеристиками под действием этих измеренных сил и момента, позволяет обеспечить достаточно полное повторение ощущений, которые человек воспринял бы, если бы взаимодействовал с любым реальным телом, в том числе, с телом, находящимся в невесомости. Система Cyber Force не может обеспечить такого полного повторения.

Несколько меньшая, чем в случае Cyber Force, универсальность метода, связанная с необходимостью смены муляжей в зависимости от типа виртуального тела на практике не является большим недостатком, т.к. перечень возможных вариантов тел для любой конкретной задачи ограничен, а стоимость изготовления муляжа, например, из пенопласта, весьма мала.

§3.3 Имитация силового взаимодействия с виртуальным манипулятором В случае если виртуальным объектом, «погружаемым» в реальную внешнюю среду, является манипулятор с копирующим телеуправлением, то взаимодействие человеческих рук с этим объектом имеет некоторые особенности.

При таком способе управления человек, находящийся в центре управления, использует специальный механизм, имеющий 6 степеней свободы. Например, таким механизмом может быть «задающая рука», кинематически подобная манипулятору. Система управления манипулятором должна обеспечивать отслеживание манипулятором позиции задающей руки, т.е. инструмент, закрепленный на конце манипулятора, должен копировать позицию/ориентацию конца задающей руки, которым является специальная рукоятка, перемещаемая человеком.

Для осуществления более совершенного копирующего управления, так называемого копирующего управления «с отражением усилий», система управления манипулятором помимо функции копирования формирует на специальной рукоятке силу и момент воспринимаемые рукой человека, которые равны или пропорциональны силе и моменту реакций, прилагаемых к рабочему инструменту на конце манипулятора при взаимодействии его с предметами внешней среды.

Таким образом, при взаимодействии с виртуальным манипулятором пальцы рук человека непосредственно не должны входить в контакт с виртуальным объектом, а должны воспринимать силу и момент взаимодействия объекта с внешней средой через задающую рукоятку.

Поэтому в противоположность предыдущему случаю, генерация изображения человеческих рук не требуется, что значительно упрощает задачу реализации визуального эффекта погружения виртуального объекта во внешнюю среду. Однако появляется необходимость использовать перемещаемую рукой человека задающую руку.

Эта рука должна быть кинематически подобна виртуальному манипулятору и снабжены суставными приводами, управляемыми таким образом, чтобы человек, перемещающий ее конец, чувствовал те же силу и момент, которые возникли бы, если бы он перемещал бы реальный манипулятор, повторяющий действия реального манипулятора.

Для того чтобы осуществить это, необходимо:

- во-первых, определить, имеет ли место «контакт» виртуального манипулятора в предметами внешней среды и так называемый тип контакта (столкновения) и соответствующие ему параметры, характеризующие место столкновения;

- во-вторых – вычислить величины ожидаемых текущих сил и текущих моментов взаимодействия манипулятора с внешней средой, а также его текущие суставные координаты для данного типа столкновения;

- в-третьих, сформировать такие управления каждым из приводов задающей руки, которые генерируют на конце этой руки (задающей рукоятке) силу и момент, равные или пропорциональные вычисленным.

Обобщенный алгоритм генерации взаимодействия рук человека с виртуальным манипулятором (рис. 3.3), функционирующий циклически, включает три основные блока.

Первый блок, определяющий наличие столкновения манипулятора, его типа и параметров, использует два типа входных данных:

- предварительно введенные данные, характеризующие геометрическую модель внешней среды и виртуальный манипулятор;

- текущие данные о желаемом состоянии виртуального манипулятора; ими являются текущие значения суставных координат задающей руки, получаемые с помощью специальных позиционных сенсоров, установленных в суставах задающей руки.

Выходными данными этого блока являются:

- текущие значения суставных координат виртуального манипулятора, которые при отсутствии столкновения равные суставным координатам задающей руки;

- параметры, описывающие тип контакта и соответствующие ему параметры, описывающие место столкновения; эти данные используются вторым алгоритмическим блоком.

Второй алгоритмический блок это блок вычисления ожидаемых текущих сил и моментов взаимодействия.

Входными данными для этого блока те же, что и для первого, а также дополнительно к ним – параметры, характеризующие тип контакта и место столкновения.

Выходными данными являются:

- векторы силы и моменты взаимодействия виртуального манипулятора с предметом внешней среды;

- текущие значения суставных координат при наличии столкновения, которые равны сумме двух величин, первая из которых – текущее значение суставных координат задающей руки, вторая – коррекция суставных координат, порожденная фактом столкновения виртуального манипулятора с препятствием.

Наконец, третий алгоритмический блок обеспечивает формирование управлений для приводов задающей руки.

Входными данными блока являются:

- предварительно введенные данные, характеризующие руку как объект управления;

- текущие данные, которыми являются векторы ожидаемых сил и моментов взаимодействия виртуального манипулятора с препятствиями, вычисленные блоком 2, суставные координаты задающей руки, получаемые с помощью суставных позиционных сенсоров руки, а также 6-мерный вектор сил и моментов реакций, измеренных силомоментным датчиком на конце задающей руки или соответствующий этому вектору 6-мерный вектор упругих деформаций конца задающей руки, измеряемый с помощью специальных тензометрических сенсоров, определенным образом размещенные на этой руке.

Выходными данными являются управления каждым из приводов задающей руки.

§3.4 Выявление столкновений виртуального манипулятора с внешней средой.

Конкретизируем задачу выявления столкновений, полагая нижеследующее:

- будет рассматриваться столкновение с объектами внешней среды только схвата виртуального манипулятора;

- схват будет аппроксимирован выпуклым многогранником;

- внешняя среда будет аппроксимирована объединением пространственным областей двух видов; первая – в свою очередь является объединением 3D полупространств, она отделяет зону допустимых от зоны недопустимых позиций схвата, вторая область представляет собой набор выпуклых многогранников, одна из граней которых должна быть общей с одной из плоскостей, ограничивающей вышеупомянутые полупространства.

Таким образом, для того, чтобы схват манипулятора не контактировал с внешней средой, должны быть удовлетворены нижеследующие условия.

Возможные варианты контакта схвата манипулятора с объектами внешней среды показаны на рис 3.4.

Отсюда следует, что для того, чтобы схват манипулятора не контактировал с внешней средой, на практике достаточно, чтобы были выполнены:

­ условия ненахождения любой из вершин, принадлежащей выпуклому многограннику, аппроксимирующему схват в зоне, занимаемой препятствиями;

­ условия ненахождения любой из вершин, принадлежащих каждому из выпуклых многогранников, аппроксимирующих объекты внешней среды в зоне, принадлежащей выпуклому многограннику, аппроксимирующему схват.

Первый тип условий соответствует удовлетворению (nr) неравенств вида:

Где: yi - вектор, соответствующий позиции i-ой из r вершин многогранника, аппроксимирующего схват манипулятора, представленный в инерциальной системе координат, q Ij и yпi - внешняя единичная нормаль к j-ой из n плоскостей, ограничивающих полупространства, аппроксимирующие внешнюю среду и точка на этой плоскости; q Ij и yпi представлены в неподвижной системе координат.

Второе условие выполняется при удовлетворении (km) неравенств вида Где xj - вектор, соответствующий позиции j-й из m вершин многогранников, аппроксимирующих объекты внешней среды, представленный в системе координат схвата;

qiII и xпi внешняя единичная нормаль к i-ой из k плоскостей многогранника, аппроксимирующего схват, и точка на этой плоскости: qiII и xпi, представлены в системе координат схвата.

Таким образом для выявления возможных столкновений манипулятора должна осуществляться проверка выполнения неравенств () и ().

Так как обычно геометрическая модель внешней среды известна как и параметры многогранника, аппроксимирующего схват, то величины q Ij, y0j=const и qiII, x0i=const также заранее известны.

Поэтому проверка наличия столкновения сводится к вычислению позиции yi каждой из r вершин многогранника, аппроксимирующего схват в инерциальной системе координат, позиции xj каждой из m вершин многогранников, аппроксимирующих объекты внешней среды в системе координат схвата и проверке соблюдения неравенств () и (). Очевидно, позиции xj и yi вышеупомянутых вершин являются функциями вектора q суставных координат манипулятора и для определения этих позиций должна быть использована кинематическая модель манипулятора, которая устанавливает связь между вектором q и величинами, определяющими позицию и ориентацию каждого из звеньев манипулятора, включая последнее звено, т.е. схват.

Детальное описание универсальной кинематической модели для широкого класса манипуляционных механизмов с любым числом степеней подвижности и алгоритм ее компьютерной реализации приведен в [ 25 ].

Ориентация схвата в инерциальной системе определяется матрицей направляющих косинусов a, а позиция – вектором y0 положения начала координат системы координат, связанной со схватом, элементы a и y0 - являются функциями q, определяемыми с помощью вышеупомянутой кинематической модели следующим образом:

Величины и определяются через a и y0 следующим образом:

где yicx и x вс - соответственно постоянные заранее известные вектор позиции i-й вершины многогранника, аппроксимирующего схват в системе координат и вектор j-й вершины многогранников, аппроксимирующих объекты внешней среды в инерциальной системе координат.

Рис. 3.4 Возможные варианты контакта рабочего инструмента Таким образом, алгоритм блока выявления столкновений сводится к следующему:

­ проверка для текущего значения вектора суставных координат задающей руки факта наличия столкновения, типа столкновения;

­ выявления значения единичных нормалей q Ij или qiII соответствующих плоскостям, с которыми в случае первого типа контакта вступила в соприкосновение j-я вершина многогранника аппроксимирующего схват, а в случае второго типа столкновения – с которым вступила в контакт i-я вершина многогранника аппроксимирующего объекта внешней среды.

Проверка производится циклически с заданным интервалом времени Dt, с одной стороны, достаточном, для реализации всех необходимых процедур проверки, с другой стороны, по возможности малом, чтобы за этот интервал величина Dq приращения вектора q не превышала некоторую малую критическую величину.

§3.5 Вычисление ожидаемых величин силовых взаимодействий манипулятора с Силовое взаимодействие виртуального манипулятора с внешней средой могут быть определены из системы уравнений, включающих уравнения динамики, представляемые в векторно-матричной форме как:

Где: g - n-мерный вектор суставных координат манипулятора, l - m-мерный множитель Лагранжа, u – n-мерный вектор управления, T(g, g ) и П(g) - кинетическая и потенциальная энергии манипулятора, M(g) - m-мерная вектор-функция, g l - m-мерный вектор обобщенных реакций, Vg& - m-мерный вектор обобщенных диссипативный сил трения, Уравнения связи голономны, так как накладывают ограничения на возможные перемещения манипулятора, обусловленные скользящим контактного последнего звена схвата с поверхностью объекта внешней среды, с которым произошло столкновение.

В случае контакта первого типа, когда неравенство () обращается в равенство, имеет место следующее уравнение связи:

Где: yi(g) определяется соотношением (), в котором элементы a и y0 являются известными функциями g.

При втором типе контакта уравнение связи имеет, очевидно, вид:

Для квазистационарного режима движения манипулятора, т.е. когда все динамические и диссипативные силы, входящие в () пренебрежимо малы, указанные уравнения приобретают вид:

Они получены с учетом того, что в случае копирующего управления зависимые от g,& g слагаемые вектора U пренебрежимо малы и закон управления приобретает вид:

Где: ky - матрица коэффициентов усиления, gd - n-мерный вектор задаваемых с помощью задающей руки значений желаемых суставных координат виртуального манипулятора, - слагаемое, компенсирующее влияние потенциальных сил, порождаемых весами звеньев манипулятора и переносимой манипулятором груза3. Система () является системой (n+m) алгебраических нелинейных уравнений относительно неизвестного вектора Z = (q1, q2,..., qn, l1, l2,..., lm) = (q, l).

Искомое ожидаемое значение вектора силы и момента взаимодействия виртуального манипулятора с объектом внешней среды является функцией компоненты l этого вектора, которая будет определена ниже.

Для нахождения Z, целесообразно использовать метод Ньютона, который базируется на линеаризации системы () в области известного текущего значения вектора Z=Zлин=(qлин, lлин) и получения искомого Z как решения этой линеаризованной системы методом последовательных приближений.

Линеаризованная система уравнений () в точке Z=Zлин имеет вид:

Для первого типа контакта, учитывая () и () получим:

Для второго типа, учитывая () и () имеем:

Без ограничения общности рассмотрения будем полагать, что потенциальные силы, порождаемые упругостью конструкции манипулятора, отсутствуют.

В качестве Zлин соответствующего переходу манипулятора от свободного движения к «связанному», т.е. когда схват входит в контакт с объектом внешней среды и должны удовлетворяться уравнения связи M(q)=0, будем назначать точку:

Где: g0 - соответствует прикосновению схвата к объекту внешней среды, т.е. когда сила взаимодействия с ней равна 0; очевидно, величина l, соответствующая g0 будет равна 0, т.е. l=l0=0 и Z0=(g0,0).

Относительно определения величины g0 необходимо заметить следующее. Текущее значение вектора g при «свободном» движении виртуального манипулятора в точности повторяет значение * вектора суставных координат задающей руки, которые измеряются соответствующими датчиками и воспринимаются блоком выявления столкновения.

Однако обращение этого программного блока к буферу значений gd производится в дискретные моменты времени, разделенные временными интервалами Dt.

В течение каждого интервала величина gd, а значит и q, успевает изменяться на величину Dgd =Dg. Поэтому воспринятые блоком значения g, в принципе, не могут удовлетворить уравнения связи М(q)=0 и факт контакта виртуального робота с внешней средой определяется по изменению знака М(q).

Метод точного определения величины g0 первого контакта схвата с внешней средой базируется на правдоподобном предположении о том, что на малом интервале между проверками вектор g изменяется линейно. Тогда:

Где: m - значения вектора gd, соответствующее «нулевому» шагу выявления столкновения, т.е. когда при g= g d0) произошла смена знака M(q), g(-1)- величина g в предшествующий шаг.

Очевидно, искомое Где: m0 удовлетворяет любому из уравнений системы М(q)=0, в которой аргумент g заменен его значением (x).

Решение системы (-) имеет место, если ранг равен рангу характеристической матрицы:

В соответствии с формулой Фробениуса и полагая kу скаляром, а:

При Zлин = Z0 = (g0, l0) на первом шаге вычислений после столкновения схвата с объектом внешней среды, l0, M(g0) = 0, и, следовательно, в соответствии с ():

Тогда из выражения (0) для DZ с учетом () получается:

Где: Dl1 = - kу(C0C0T)-1 C0D g d здесь использованы следующие соотношения:

Если ограничиться одной итерацией для нахождения l и g, соответствующих значениям gd = g d, gлин = g0, Cлин = C0, то искомые:

Следующий момент обращения блока к буферу значений gd произойдет через интервал времени Dt, поэтому величина gd, используемая для расчета l и g успеет измениться и станет равной gd. Если в качестве точки линеаризации уравнений (), в которых gd= gd’ используются значения gлин=g1 и lлин=0, то искомые значения g =g2 и l =l2, найденные из линеаризованных уравнений () в результате первой итерации, будут удовлетворять формулам, аналогичным () и (), в которых:

Очевидно, в любой k-й момент искомые величины g=gk и l =lk можно находить по этим же формулам () при замене C0 на Ck-1, g d на Dgdk-1, которые обеспечивают достаточную для практики точность получения искомых величин l и g:

Искомое ожидаемое значение вектора G взаимодействия виртуального манипулятора с объектом внешней среды определяется через найденное значение l. Соответствующее выражение для G получается из условия равенства работы вектора обобщенных сил g l на виртуальном перемещении dq работе искомого вектора сил G, приложенных в точке контакта схвата с объектом внешней среды на виртуальном перемещении dl этой точки контакта Принимая во внимание, что в случае контактов первого и второго типов для dl соответственно, имеем следующие выражения:

После подстановки этих значений в () получим для значений вектора силы G в точке контакта нижеследующие выражения:

для первого случая, для второго случая.

Очевидно, GI представляемого в неподвижной системе координат, а GII - в системе координат схвата.

В системе координат, связанной со схватом, для первого и второго случаев справедливо:

Где: CI и CII вычисляются по формулам () и (), в которых члены J,, §3.6 Формирование управлений приводами задающей руки виртуального Для формирования управлений суставными приводами задающей руки, которые породили бы на конце этой руки, т.е. на рукоятке, которую перемещает человек-оператор силовое взаимодействие, равное вычисленному, необходимо использовать специальную систему управления. Фактически, это типичная система силомоментного управления или система управления податливым движением, объектом управления для которого является задающая рука.

Этот объект имеет связи благодаря тому, что рука человека, держащая конец руки, ограничивает все возможные перемещения этого конца. Заданным желаемым силовым взаимодействием должно быть вычисленный ожидаемый вектор силового взаимодействия виртуального манипулятора с внешней средой, приведенный к определенной точке концевой рукоятки задающей руки.

Управляемой же величиной, используемой также как сигнал обратной связи, должен быть вектор сил и моментов, возникающий в точке приведения под действием усилий, развиваемых суставными приводами и измеряемый специальным сило-моментным датчиком, которым снабжена задающая рука.

Современные методы реализации управления податливым движением детально изложены в [ 26 ], [ 27 ] в том числе и для случая управления податливым движением виртуальных моделей роботов, изложенным подробно в статье [ 21 ].

Технология виртуальной реальности в системах телеуправления §4.1 Методы восстановления изображений внешней среды Задача восстановления (реконструкции) трехмерных изображений рабочего участка внешней среды или так называемой рабочей сцены, в которой находится телеуправляемая мехатронная система (робот) может быть разделена на следующие этапы:

- получение исходной информации, необходимой для формирования геометрической модели сцены, - обработка исходной информации и формирование данных в виде пространственной геометрической модели сцен или объектов, - хранение информации о трехмерных сценах в компьютере в виде компактной модели, - генерация компьютерных изображений трехмерных объектов и рабочей сцены на основе информации о геометрической модели сцены и текущих координатах точки наблюдения оператора, - отображение трехмерной (стереоскопической) информации для восприятия человеком-оператором.

В отличие от известных методов реконструкции трехмерных сцен [ 28 ] для рассматриваемой задачи погружения изображения виртуального тела в изображение реальной внешней среды, наиболее важным является исследовать возможность создания геометрической модели рабочей сцены с обеспечением возможности с высокой точностью и быстродействием совмещать реальные изображения объектов с компьютерными изображениями их геометрических моделей [29].

Получение информации о трехмерной сцене и ее обработка в данном случае подразумевает выполнение сканирования трехмерных объектов, которое может выполняться до начала работы не в режиме реального времени (off-line). К настоящему времени известен целый ряд перспективных методов и систем 3D сканирования, включая стандартные и новые средства.

Обработка полученной информации с целью формирования геометрических моделей, организации быстрого доступа к ней является ключевой и предполагает исследование нескольких различных вариантов формирования геометрической модели, некоторые из них рассмотрены ниже.

Хранение обработанной информации о трехмерной сцене и различных объектах на ней рассматривается в двух вариантах:

- хранение геометрической модели (ГМ) объектов сцены как массива элементарных геометрических фигур (треугольников, тетраэрдов и пр.), аппроксимирующих поверхность с заданной степенью точности;

- хранение семантического описания объектов на основе структурной модели (СМ) для реализации совмещения с реальными изображениями произвольно-ориентированных объектов рабочей сцены.

Генерация трехмерных компьютерных изображений рабочей сцены на основе информации о модели сцены и текущих координатах точки наблюдения оператором выполняется на основе мощных программных средств графического синтеза трехмерных компьютерных объектов, разработанных к настоящему времени.

Отображение стереоскопического изображения выполняется с учетом физиологии восприятия пространства человеком-оператором, на основе различных аппаратных средств синтеза с использованием нашлемного индикатора или монитора компьютера.

4.1.1. Лазерное сканирование Лазерное сканирование осуществляется по заранее заданному закону перемещения дальномера над поверхностью при строго вертикальном направлении луча локатора к горизонту на специальном столе или стенде. Технология сканирования во многом аналогична механическим сканерам, используемым в машиностроении и модельном деле.

Отличие состоит только в том, что лазер позволяет выполнять сканирование бесконтактно и с большей скоростью. Точность лазерного сканера обычно ниже, чем у механических сканеров.

В результате сканирования для каждого фиксированного положения луча дальномера, определяемого двумя координатами (x, y) в плоскости горизонта с помощью дальномера определяется третья координата z, которой является расстояние до поверхности рабочей зоны, вводимое вместе с соответствующими координатами x, y в графическую станцию.

Это позволяет с помощью соответствующей программы сформировать массив точек (x, y, z), принадлежащих поверхности рабочей зоны, и по этим данным построить поверхность, проходящую через эти точки. В простейшем случае каждая грань является плоским треугольником, вершинами которого являются тройка точек из массива.

В настоящее время разработана конструкция лазерных сканеров, в которых не используется специальных стол или стенд. В современных конструкциях сканирование ведется лазерным лучом, перемещаемым специальным устройством, аналогично компьютерным планшетным сканерам (рис. 4.1) [ 30 ].

Известны три основных метода лазерного сканирования трехмерных сцен:

дальномерный, триангуляционный и комбинированный.

В первом случае две координаты (x,y) задаются механизмом перемещения лазерного луча в пространстве, а третья координата (z) определяется по времени запаздывания лазерного излучения, отраженного от поверхности объекта. Регистрация отраженного сигнала обычно выполняется твердотельным или вакуумным детектором.

Во втором случае, дальность до поверхности объекта (z) вычисляется по сигналам двух координатно-чувствительных детекторов, расположенных на некоторой базе. При этом лазер не используется в качестве дальномера, выполняется только подсветка определенных точек поверхности объекта, что существенно упрощает конструкцию лазерного излучателя. В качестве позиционно-чувствительных детекторов могут использоваться 2 ПЗС камеры с процессором, вычисляющим с субпиксельной точностью положение изображения точки на поверхности объекта, освещенной лазером, в системах координат двух телекамер x1, y1 и x2, y2 соответственно (рис. 4.2).

Для реализации третьего метода используется т.н. "лазерная телекамера", в которой тем или другим способом осуществляется весьма кратковременное (0,1 мксек. и менее) стробирование времени экспозиции (приема светового сигнала) синхронно с импульсом лазерного излучения. При этом, регулировка времени задержки строба телекамеры относительно импульса лазерного излучения (t) позволяет регистрировать отраженное от объекта лазерное излучение только с определенной дальности от телекамеры.

Фактически телекамера воспринимает изображение только тех участков сцены, которые расположены на заданной дальности. На экране монитора видно сечение сцены некоторой сферой, соответствующей времени распространения лазерного излучения до объекта и отраженного излучения от объекта до телекамеры.

4.1.2 Телевизионный метод с использованием структурированного освещения Известны системы получения объемных изображений с использованием т.н.

структурированного освещения [ 31 ], используется специальный проектор, создающий на поверхности сцены световые линии или множество световых точек. Телевизионные камеры (одна или несколько), расположенные под определенными углами к оси проектора, регистрируют изображения освещенных точек на поверхности объектов сцены.

В данном методе, который называется 2 методом, трехмерные координаты вычисляются триангуляционным способом (рис. 4.3).

Рис. 4.3. Применение метода структурированного освещения Кратко представляя возможности широко распространенных систем со структурированным освещением, следует отметить, что главное их преимущество состоит в возможности одновременной регистрации телевизионной системой множества координат световых меток, образующихся на поверхности объекта при его специальном освещении.

Основные ограничения систем сканирования с использованием лазерной подсветки или структурированного освещения:

- дискретность измерений при активной локации не может быть адаптирована к форме локальных участков изображения объекта, т.к. определяется выбранным методом структурированного освещения (обычно заведомо однородным);

- сохранение естественного цвета при восстановлении трехмерной модели затруднено из-за (в большинстве случаев) монохроматичности активного освещения;

- передача естественных теней и текстур, необходимых для восстановления реалистичности (фотографической точности) трехмерной сцены весьма проблематична изза мешающего воздействия активной подсветки;

- наконец, работа в реальном масштабе времени с восстановлением объемных изображений подвижных объектов практически невозможна.

4.1.3 Стереоскопический метод.

Большинство систем трехмерного восприятия основано на использовании стерео изображений. Стерео телевизионные системы, широко используемые для визуального наблюдения сцены, в последнее время начали использоваться также для целей измерения пространственной формы сцены. Примером из робототехники может служить машинное стерео зрение, задачей которого является восстановление геометрических характеристик поверхности, наблюдаемой с помощью двух телекамер.

Две камеры, установленные на поворотном основании робота, формируют два телевизионных изображения [32]. Глубина локальных точек сцены определяется по величине разности между координатами изображений выделенной точки в системах координат двух телекамер и известному расстоянию между телекамерами (Рис. 4.4).

a). The stereovision system b). Direction and intersection a). Configuration of the special Стереоскопические методы измерений в данном случае базируются на следующих главных принципах:

-вычисление оптического стерео параллакса по стерео паре изображений, например, корреляционным способом;

-фотограмметрический способ восстановления изображения объемных тел с использованием информации о распределении оптического потока, отраженного от поверхности объекта;

-идентификация в двух стерео изображениях множества характерных точек и вычисления по их координатам глубины сцены триангуляционным методом;

-статистический анализ текстуры поверхностей, варьируемых в зависимости от дальности и угла наблюдения поверхности сцены.

При использовании стереоскопических методов большое внимание уделяется вопросам калибровки телекамер, для компенсации оптических искажений и других видов погрешности. Возможны различные методы калибровки стереосистем с использованием эталонных изображений точечных и линейных сеток. Известны исследования алгоритмов автоматической калибровки и методов компенсации искажений, вносимых телекамерой, с использованием эталонных движений или внесением в рабочую зону робота калибровочных предметов с размерами, известными заранее (Рис. 4.5) [33].

В стереоскопических методах используется сочетание распознавания и селекции характерных признаков (точек) сцены с высокоточными измерениями различных геометрических параметров изображения этих признаков (центра тяжести, размеров, ориентации и пр.). Известны алгоритмы селекции точек контура, точек пересечения линий изображения или угловых точек с точностью, превышающей разрешение телекамеры в несколько раз на основе вычисления центроида с субпиксельной точностью.

Рис. 4.5 Калибровка стерео телевизионной системы Следует отметить, что для получения данных для формирования геометрической компьютерной модели объекта необходимо выполнить осмотр объекта или сцены с различных сторон, соответствующих возможным положениям наблюдателя при работе с данным объектом.

В этом случае, стерео телекамеры могут перемещаться рукой робота-манипулятора, причем позиция и ориентация телекамер может выбираться и корректироваться с использованием интеллектуальной системы управления робота (Рис. 4.6).

При осмотре сцены или объекта с различных (множественных) точек зрения преимущество стерео системы становится незначительным по сравнению с методами «активного видения», или «видения в движении», с использованием одной телевизионной камеры вместо двух стерео телекамер.

Для систем "активного видения" обработка и передача телевизионных изображений выполняется только для одной телекамеры, размещаемой обычно на схвате роботаманипулятора. Уменьшение объема информации вдвое, по сравнению со стерео телевизионными системами, особенно важно для систем телеуправления роботами с использованием радиоканала.

Рис. 4.6 Осмотр сцены с использованием робота-манипулятора 4.1.4 Метод «активного» видения Под «активным» видением понимается метод получения информации о геометрической модели объекта с помощью координатно-чувствительных устройств, которые перемещаются по гибко программируемой траектории. Такими устройствами могут быть в частности телекамеры, одна или несколько, дальномер (лазерный, ультразвуковой и т.п.). Такая постановка имеет смысл, если рассматривается модель подвижного видеодатчика, т.е. если объект и камера движутся друг относительно друга. К задачам этого класса относятся также задачи навигации и слежения.

В качестве средств перемещения могут служить любые транспортные средства.

Многие разработки опираются на многолетний опыт создания систем слежения и навигации, в которых имеет место движение объекта относительно наблюдателя. В последние годы интенсивно развиваются системы автоматической навигации и вождения транспортных средств, основанные на телевизионных системах восприятия окружающей среды (Рис. 4.7) [34].

Рис. 4.7 Реализация «видения в движении» для телевизионной системы автоматического вождения транспортных средств Известны целый ряд исследований, посвященных разработке измерительных телевизионных систем, которые можно отнести к таким системам "видения в движении", или "активного видения" [ 35 ].

Многие исследователи и разработчики используют многоракурсное наблюдение объектов сцены с трех и более позиций наблюдателя (телекамеры) вокруг объекта. При этом достигается повышенная надежность измерений, а также высокая точность принципиально не достижимая для стереоскопической неподвижной системы.

Алгоритм управления перемещением телекамер с помощью робота во время осмотра с разных сторон сцены (или объектов) реализуется целенаправленно, учитывает форму объектов сцены и результаты предыдущих измерений (Рис. 4.8).

Рис. 4.8 Метод «активного видения» с использованием робота-манипулятора Главными аргументами в пользу активного видения являются следующее:

- возможность получения всей необходимой информации для формирования геометрической модели объекта (сцены) любой степени сложности путем перемещения одного устройства регистрации (телекамеры) вокруг объекта, например, с помощью робота по заранее обученной траектории или по траектории корректируемой системой управления робота в зависимости от результатов предыдущих измерений;

- фиксация координат положения и ориентации телекамеры во время движения является достаточно точной, причем для повышения точности измерения можно создать любую базу между двумя точками наблюдения, что недоступно для стерео системы с постоянной базой;

- возможна также автоматическая калибровка в процессе движения телекамеры при осмотре объекта она наиболее эффективна, что доказано в ряде работ;

- весьма эффективно совместное накопление информации об объектах сцены человеком и интеллектуальной системой управления робота, это открывает перспективы максимального использования интуитивного опыта человека-оператора при осмотре сцены и выявлении наиболее важных ракурсов наблюдения сцены.

§4.2 Методы формирования геометрической модели внешней среды Задача формирования геометрической модели объектов или рабочей сцены заключается в построении поверхности, ограничивающей эти объекты или сцену.

Входной информацией в этом случае являются массивы точек, принадлежащих 3D поверхностям объектов или сцены.

Существуют следующие основные методы реализации процедуры обработки входной информации:

-аналитическое представление поверхности геометрической модели, например, сплайн-функциями;

-преобразование в графический формат компьютерной графики, например, с использованием полигонального представления трехмерных сцен;

-метод заполнения объема трехмерных тел некоторыми фигурами, центры которых образуют сокращенное т.н. «скелетное» представление формы объектов ;

-фотограмметрическое восстановление трехмерных сцен по двухмерным проекциям с учетом функции распределения отражающей способности поверхности;

-интерактивное заполнение трехмерной сцены, например, выпуклыми поверхностями (occupacion method) (см. Рис. 4.9) [36];

Рис. 4.9. Пример заполнения модели объекта выпуклыми поверхностями -структурирование информации о форме трехмерных объектов или сцены на основе их характерных точек (признаков), необходимых и достаточных для последующей генерации геометрической модели сцены.

4.2.1 Сплайн-аппроксимация Реконструкция изображений в большинстве своем основана на теории аналитических функций. Обработка массивов входных данных для формирования геометрической модели (ГМ) объектов может быть, в частности, выполнена с использованием сплайн аппроксимации. Суть метода сплайн –аппроксимации, как известно, состоит в описании дискретных исходных данных некоторой плавной функцией (например, полиномом третьей степени), которая оптимально представляет выборку входных данных.

Исследуются различные критерии и алгоритмы формирования таких аналитических функций, описывающих собой трехмерные поверхности.

Достоинством сплайн-метода является использование ограниченного числа полиномиальных функций, необходимых для формирования геометрической модели объектов. Ограничение данного метода состоит в сложности реализации вычислительных алгоритмов и сравнительно большом объеме вычислений для обеспечения высокой точности (соответствия) геометрической модели реальной трехмерной сцены.

Кроме того, для детального описания мелких элементов сцены наряду с описаниями больших объемов сцены число необходимых полиномиальных функций резко возрастает.

По этой причине на практике при создании компьютерных геометрических моделей используют линейную аппроксимацию.

4.2.2 Полигональные методы Известны современные методы аппаратно-программной обработки видео информации, используемой при формировании графических трехмерных ГМ компьютерных объектов, в том числе с использованием видео информации о реальных сценах. Большинство компьютерных графических приложений использует известные методы полигонального описания трехмерных изображений с линейной аппроксимацией (Рис. 4.10, 4.11) [37,38].

Рис 4.10. Принцип полигонального формирования модели объекта Принцип полигонального метода состоит в замене входных дискретных данных массива точек с координатами (x, y. z) линиями образующими треугольники. При этом ориентация плоскостей элементарных треугольников в пространстве представляется в векторном или графическом виде. Размеры треугольников определяются локальной кривизной поверхности и заданной точностью (степенью детализации) геометрической модели.

Рис. 4.11 Метод полигонального представления 3D геометрической модели Например, программа Image Object (Live Picture www.livepicture.com) позволяет из полученной входной информации на основе изображений, сделанных со всех сторон реального трехмерного объекта под разными углами, создавать изображения в формате IMOB. При таком методе формирования данных обеспечивается возможность перемещения ГМ объекта по 3-м осям в произвольном направлении, что позволяет имитировать круговой обзор объекта. Имеется дополнительная возможность графических мультимедиа редакторов типа 3D Studio MAX и LightWave 5,0, которые позволяют на основе полученных входных данных выполнять формирование текстуры и накладывать ее на трехмерные ГМ объектов.

4.2.3 Метод «скелетных» моделей Используется метод формирования ГМ поверхности конструкций с помощью тетраэдров или шаров (the medial surface of a block) [36]. Внутренний объем трехмерной поверхности заполняется вписанными тетраэрдами или шарами. Размеры вписанных фигур соответствуют максимально возможному объему заполняемой поверхности По центральным точкам этих фигур находится центральная ось (the medial axis) ("скелетная" модель) конструкций. Объем информации в формируемой «скелетной» ГМ определяется выбранным типом и параметрами (размерами) используемых элементарных геометрических фигур (тетраэрдов, шаров и пр.).

Существуют проблемы скорости вычислений и корректности формирования "скелетных" ГМ, разрывы в конструкциях из-за неточностей измерений. Данный метод применяется для уменьшения объема информации необходимой для описания поверхностей объемных тел.

Достоинством рассматриваемых описаний поверхностей ГМ теми или иными геометрическими фигурами является их однородность и сравнительная простота алгоритмов обработки, имеющих дело с минимальным набором функций геометрических преобразований типа (масштаб, поворот, смещение и т.п.).

4.2.4 Фотограмметрический метод Профессиональные средства обработки и формирования трехмерных изображений на основе фотограмметрических методов при формировании ГМ, активно разрабатываются в России в ГОСНИИАС. Лаборатория машинного зрения ГосНИИ АС реализовала технологию формирования 3D ГМ объектов сложной формы, основанную на методах короткобазисной фотограмметрии (программа Pisoft 3DL) [39].

Известны различные приложения этих разработок как для анализа и отображения результатов аэро-фотосьемок и построения тренажеров с элементами виртуальной реальности, так и для целей восстановления 3D изображений реальной рабочей сцены.

Результаты данных исследований и разработок являются практическим подтверждением и основанием для проведения дальнейших исследований при решении рассматриваемой задачи 6.

Следует отметить основные отличия обработки изображений для нашей задачи (AR) по сравнению с решением задач виртуальной реальности (VR), к которым относятся работы ГОСНИИАС.

В работах Ronald Azuma [ 14 ] приведены главные различия AR и VR, которые с точки зрения обработки входной информации об изображении сцены можно представить следующим образом:

- точность совмещения координат (registration) изображений для AR должна быть в несколько раз выше;

- для AR должна быть реализована предикция и синхронизация изображений во времени для компенсации динамического рассогласования изображений;

- требуется введение дополнительной информации (аргументация) изображений, например, виртуальных маркеров и других графических образов информации, необходимой для эффективной работы человека-оператора;

- допускается упрощенное изображение некоторых объектов, с изъятием ненужной информации, мешающей восприятию при выполнении задач телеуправления.

Поэтому обработка изображений, выполняемая в задачах VR, явно недостаточна по функциям и точности измерений.

Качество того или иного виртуального изображения, совмещенного с реальным изображением осматриваемой сцены, главным образом определяется эффективностью динамической генерации виртуального изображения. Поэтому на первый план выходят проблемы сокращения объема информации и способ ее представления, удобный для динамического управления генерацией виртуальных изображений. Проблемы высокой точности (фотографичной достоверности) изображений также важны, но относятся на второй план.

Ограничением изложенных методов формирования ГМ посредством различного рода элементарных геометрических фигур является отсутствие «смысловой» (содержательной) информации о форме и составе структуры объекта, что не позволяет составить компактное описание объекта и использовать структурные, семантические алгоритмы обработки информации, в том числе при реализации совмещения виртуального и реального изображений сцены.

4.2.5 Распознавание характерных точек и линий.

Известно множество работ по распознаванию характерных признаков формы трехмерных объекта по его двухмерным изображениям. К ним в частности относится большинство работ в области систем технического зрения (СТЗ) и искусственного интеллекта [40-42].

Типичные приемы распознавания характерных точек телевизионного изображения трехмерных объектов:

-методы пространственных и цветовых градиентов, -спектральные (Фурье) методы, -корреляционные методы, -статистические методы, -нейронные методы, -клеточной логики, -генетические и т.д.

Особенность распознавания для данной задачи состоит в необходимости не только идентификации изображения реального объекта по его описанию и геометрической модели, но и высокоточного совмещения пространственных координат изображения, полученного на основе модели с изображением реального объекта сцены (рис. 4.12, 4.13).

a). Right image (interesting points) and gradient image b). Left image (map of distances) and the associated Deformable Virtual Zone Рис. 4.12. Распознавание характерных точек на 3D сцене.

Рис.4.13 Распознавание характерных признаков изображений §4.3 Сжатие и кодирование изображения трехмерных объектов Проблема обработки информации изображений с целью формирования геометрической модели трехмерной сцены для нашего случая во многом аналогична проблеме передачи изображений по каналам связи и доступа к объемным базам данных видео и графических компьютерных изображений, включая использование при этом телекоммуникаций типа Интернет.

В последнее время проводятся интенсивные исследования различных методов сжатия видео-информации для передачи по каналам связи, в том числе Интернет, например, работы по созданию стандартов MPEG-7 и других аналогичных систем структурирования данных об изображении сцены.

В связи с тем, что для рассматриваемой технологии погружения реальные изображения рабочей сцены получаются с помощью телеуправляемой подвижной телевизионной системы, необходимо выполнять сжатие движущихся изображений сцены.

Для удобства совмещения телевизионного изображения рабочей сцены, передаваемого в сжатом виде по каналам связи, с геометрической моделью этой же сцены целесообразно обеспечить совместимость используемых методов.

Объектно-ориентированное кодирование движущихся изображений основанное на одновременном сочетании процессов анализа и синтеза исследуется в различных современных работах, в частности посвященных сжатию и передачи изображений по линиям связи, включая сети типа Интернет.

Кодирование основывается на исходной трехмерной модели объектов, которая представляет реальные объекты с помощью средств описания формы, движения и параметров цвета. Описание изображения состоит из нескольких компонент, связанных друг с другом связями.

Для оценки позиции связей предлагается новый алгоритм многократного определения позиции, по критерию максимума покрывающих поверхностей. Каждое изображение разделяется на движущиеся и неподвижные части, производится описание каждой части на основе параметров формы, движения и цвета.

Параметры цвета определяют освещенность и отражающую цветовую способность поверхности частичных объектов. Для каждой части объекта передаются только параметры формы и движения. Изображение реконструируется на основе этих параметров и ранее переданных параметров цвета.

Визуальный граф является следующим уровнем абстракции по сравнению со стандартными способами кодирования и представляет собой высоко-уровневые описания.

Несколько изображений объекта с различных позиций позволяет составить полное описание объекта в виде визуального графа. Представление поверхности трехмерного объекта с помощью визуального трехмерного графа позволяет выполнять 3-х мерное вращение описания объекта. Например, мы не видим части объекта и после поворота объекта появляются новые элементы визуального графа без искажений уже имеющейся информации (см. Рис. 4.14).

Известно также сингулярное представление структурной модели объекта на языке «теории катастроф» в которой используется следующее соотношение [43,44]:

Изображение = (Регулярная часть) + (Сингулярная часть) где: Изображение – выделенная часть пикселей оригинального изображения;

Сингулярная часть – представление на языке 2 типов стабильных Регулярная часть – представление областей с небольшими вариациями Сингулярная часть реконструирует поверхность с точностью до любого заданного масштаба, масштаб может быть различен для различных составных частей объекта или сцены. Сингулярные части могут быть выделены и представлены с использованием конечного числа базовых векторов, состоящих из 2-14 топологических примитивов.

Результат сингулярного представления изображения показан на рис. 4.15.

Происходит одновременное наполнение модели содержанием логического набора признаков и метрикой реального объекта, предъявленного наблюдателю (телекамере).

Рассматриваемая задача относится к проблематике добавленной реальности (Augmented Reality), которая является быстро развивающейся ветвью виртуальной реальности (Virtual Reality). Виртуальный объект в данном случае играет роль добавления (augmentation) к реальности, что и объясняет введенный термин.

Актуальными являются исследования для увеличения эффекта реалистичности т.н.

«погружения» виртуального тела в реальный мир, т.е. увеличить ощущение присутствия виртуального тела, подобного реальному, а также позволили бы снизить стоимость системы Augmented Reality, расширить области применения этих систем.

В предлагаемой постановке задачи ее решения найдут применения в различного рода тренажерах, в том числе, тренажерах, используемых в космонавтике. Они найдут также применение в мехатронике и робототехнике для целей дистанционного управления.

Рис. 4.15 Сингулярное представление трехмерного изображения a) Original objects before registration, b). Results of SPS registration,c). Multi-modal medical image registration using SPS, d). Examples f scene and library SPS images, e). Results of §4.3 Системы трехмерной визуализации для телеуправления Вся информация, полученная от систем визуализации и слежения за головой оператора, используется в конечном счете при телеуправлении мехатронной системой (роботом) для того, чтобы предъявлять оператору в реальном времени необходимую визуальную информацию в виде трехмерного изображения объектов реальной сцены с дополненными виртуальными объектами.

Проблема формирования высококачественного трехмерного изображения сама по себе достаточно сложна, а при необходимости обеспечения «эффекта присутствия» и «дополненной реальности» (АR) добавляются требования точного соответствия углового масштаба и пространственного положения изображения и реальных объектов.

Подробный анализ методов и систем отображения трехмерного изображения реальных и виртуальных объектов, а также выработка требований к ним с учетом особенностей стереоскопического зрения человека. В данном разделе рассмотрены лишь некоторые варианты структурных схем подобных устройств.

Среди известных систем формирования трехмерного изображения реальных объектов наиболее подходящими для решения поставленных задач являются нашлемные стереотелевизионные системы (STV). Иногда их называют «стереовьюеры». Эти системы содержат два миниатюрных нашлемных оптико-электронных дисплея (HMD), на которых одновременно воспроизводятся левое и правое изображения стереопары. Каждое из этих изображений направляется с помощью раздельных объективов в соответствующий глаз наблюдателя.

Такие STV дают возможность в наибольшей степени погрузиться в искусственный мир трехмерных видеоизображений, синтезированных с помощью ЭВМ. Базовый вариант нашлемной STV можно построить на основе использования разработанной фирмой SONY системы PLM-S700 PC Glasstron. Внешний вид системы показан на рис. 4.16.

Рис. 4.16 Стереовьюеры PLM-S700 PC Glasstron (SONY) Она имеет следующие характеристики [45]:

- две цветные ЖК-панели (LCD-панели) с диагональю рабочего поля 0,7";

- разрешающая способность LCD-панели 832х624 пикселей;

- угловое поле зрения по горизонтали 28;

- размеры нашлемного устройства 150х90х50 мм;

- поддерживаемый стандарт SVGA.

Среди известных систем формирования трехмерного изображения наибольшее распространение получили системы, обеспечивающие восприятие 3D-изображения на экране монитора с использованием стерео очков со светоклапанами.

В этих системах изображения стереопары формируются на экране 1 монитора (рис.4.17) попеременно с помощью коммутирующего устройства, которое синхронно управляет светоклапанными очками 2. При этом обеспечивается последовательное (с частотой не менее 80-100 Гц) предъявление левому и правому глазу соответствующих изображений стереопары, которые воспринимаются оператором в виде единого трехмерного изображения 3, например, треугольника ACD, наблюдаемого на некотором расстоянии от экрана.

Рис. 4.17 Схема формирования 3D-изображения на экране монитора Рассмотрим случай, когда центры вращения левого (ОЛ) и правого (ОП) глаза оператора располагаются в плоскости 4, параллельной экрану 1 и удаленной от него на расстояние LО. Любая точка А изображения 3 находится на пересечении визирных линий, соединяющих центры вращения левого и правого глаза с соответствующими точками левого (АЛ) и правого (АП) изображений стереопары. Так, например, точка А изображения 3 находится на пересечении лучей АЛОЛ и АПОП на расстоянии LИ от экрана, определяемого по формуле (1):

где В – глазной базис; D = АЛАП - расстояние (параллакс) между соответствующими точками изображений стереопары на экране.

Построив визирную линию СЛОЛ на другую точку изображения (С), находящуюся на том же расстоянии LИ от экрана, что и точка А, получим из подобных треугольников СОЛА и СЛОЛАЛ соотношение М (масштаб) между линейными размерами 3Dизображения (СА) и изображения стереопары (СЛАЛ) на экране:

С учетом (1) получим:

Выражения (1) и (2) показывают, как путем изменения линейного расстояния (параллакса) D между изображениями стереопары на экране монитора можно влиять на третью координату (глубину) LИ и масштаб М воспринимаемого оператором 3D-изображения при фиксированных значениях LО и В.

Рассмотрим далее влияние перемещений оператора на воспринимаемое 3D-изображение, полагая, что рабочее место оператора снабжено системой HTS, обеспечивающей определение линейных координат центров вращения левого (ОЛ) и правого (ОП) глаз оператора в системе координат экрана монитора.

Предположим, глаза оператора переместились вдоль экрана на величину Н, причем их центры вращения ОЛ1 и ОП1 остались в плоскости 4.

Для того чтобы при таком перемещении глаз оператора 3D-изображение оставалось на прежнем месте, изображения стереопары на экране должны быть смещены в противоположном направлении на величину АПАП1 = НЭ, определяемую из соотношения:

откуда с учетом (1) получим:

Рассмотрим теперь общий случай, когда глаза оператора переместились в положения ОЛ2 и ОП2, не лежащие в плоскости 4, для рассмотрения невидимого из начального положения элемента СD изображения. При этом изменился и его угол обзора g, равный углу между нормалями к глазному базису и к экрану. В этом случае для сохранения точки А на прежнем месте изображение точки АЛ на экране должно переместиться в положение АЛ2, являющееся точкой встречи прямой ОЛ2А с плоскостью экрана, а изображение точки АП на экране должно переместиться в положение АП2, являющееся точкой встречи прямой ОП2А с плоскостью экрана.

Имея текущие координаты центров ОЛ2 и ОП2 вращения глаз оператора (от системы HTS) и требуемые координаты точек 3D-изображения, можно в реальном времени вычислять необходимые положения на экране соответствующих точек изображений стереопары и непрерывно модифицировать изображения стереопары. В результате оператор при перемещениях относительно экрана будет воспринимать адекватно изменяющееся 3D-изображение.

При работе с 3D-изображением у оператора возникает естественное желание рассмотреть его с различных ракурсов. Однако, пределы углов, под которыми можно видеть 3D-изображение, ограничены обычно размерами экрана монитора. Расширение диапазона углов обзора обеспечивается несколькими способами.

А). Можно увеличивать размеры экранного поля путем создания системы, содержащей несколько мониторов (до трех). При этом мониторы устанавливаются относительно рабочего места оператора таким образом, чтобы соседние края экранов мониторов были максимально близки, а нормали к плоскостям экранов, проходящие через их центры, пересекались в точке вращения головы оператора.

Б). Можно искусственно вызывать повороты 3D-изображения, например, по команде оператора от ручного органа управления («мышки») или с помощью системы HTS. При этом используется специальная команда, например, при наличии HTS, (устанавливается либо программно, либо оператором - соответствующим кивком головы), по которой 3Dизображение искусственно поворачивается на определенный угол в указанном направлении. Если поворот недостаточен, его можно повторить таким же кивком.

В). При оборудовании рабочего места оператора достаточно широкоугольной системой HTS возможна автоматическая координация движений головы и наблюдаемого 3Dизображения в системе телеуправления.

Принцип действия этого метода заключается в следующем: