«Г.В. АЛФЕРОВ, Ф.М. КУЛАКОВ, А.И. НЕЧАЕВ, С.Э. ЧЕРНАКОВА ИНФОРМАЦИОННЫЕ СИСТЕМЫ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В МЕХАТРОНИКЕ И РОБОТОТЕХНИКЕ Учебно-методическое пособие Санкт-Петербург 2007 2 УДК 517.9+519.8 М34 Р е ц е н з е н ...»

САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

Факультет прикладной математики – процессов управления

Г.В. АЛФЕРОВ, Ф.М. КУЛАКОВ,

А.И. НЕЧАЕВ, С.Э. ЧЕРНАКОВА

ИНФОРМАЦИОННЫЕ СИСТЕМЫ

ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ

В МЕХАТРОНИКЕ И РОБОТОТЕХНИКЕ

Учебно-методическое пособие

Санкт-Петербург

2007 2 УДК 517.9+519.8 М34 Р е ц е н з е н т ы : д-р физ.-мат. наук, проф. В.Ф.Зайцев (Рос. гос. пед. ун-т им. А.И. Герцена); д-р физ.-мат.

наук, проф. Е.П. Колпак (С.-Петерб. гос. ун-т) Печатается по постановлению Редакционно-издательского совета факультета прикладной математики – процессов управления Санкт-Петербургского государственного университета Информационные системы виртуальной реальности в М34 мехатронике и робототехнике: Учеб. Пособие / Алферов Г.В., Кулаков Ф.М., Нечаев А.И., Чернакова С.Э. – СПб.: «СОЛО», 2006. – 146 с.

ISBN 5-98340-046- В настоящем пособии излагаются основные принципы построения информационных систем виртуальной реальности… Изучаются ……….. модели …………. Рассматриваются возможные способы …….

Значительное внимание уделено …… Книга предназначена для студентов университетов, обучающихся по специальности «прикладная математика и информатика» и разработана в рамках специальных курсов « », « » и курса по выбору « ». Она также может быть полезна научным работникам, специализирующимся в области математического моделирования, теории управления и теории устойчивости.

Библиогр. 88 назв. Ил. 77.

Работа выполнена при поддержке Федерального агентства по Образованию в рамках Национального проекта «Образование».

Инновационный проект СПбГУ «Инновационная Образовательная среда в классическом университете», ИОП «Прикладная математика и информатика»

© Алферов Г.В., Кулаков Ф.М., Нечаев А.И., Чернакова С.Э., ISBN 5-98340-046-

ВВЕДЕНИЕ

Целью данного пособия является получение представления о мехатронных и робототехнических системах, а также о технологии виртуальной реальности применительно к задачам телеуправления мехатронными системами (роботами).

Изучаются теоретические и прикладные проблемы взаимодействия человека-оператора с мехатронными системами, робототехническими комплексами в процессе обучения и при телеуправлении, в том числе с использованием интеллектуальных человеко-машинных интерфейсов (ИЧМИ).

Излагаются теоретические основы и методы создания информационных систем, обеспечивающих реалистичное восприятие органами чувств человека виртуальных (компьютерно-синтезированных) объектов, как реальных, в том числе находящихся в удаленной внешней среде, в процессе телеуправления мехатронными и робототехническими системами.

Рассматриваются новые принципы построения систем телеуправления на основе т.н.

«технологии виртуального наблюдателя», с использованием мультимодального (тактильного, силомоментного, визуального, речевого и др.) взаимодействия человека с мехатронными и телекоммуникационными системами.

В ходе работ данного курса студенты знакомятся с принципами построения информационных систем виртуальной реальности, общими методами разработки алгоритмов и моделей виртуальной реальности для мехатронных, робототехнических и телекоммуникационных систем.

Студенты выполняют экспериментальные учебные работы, участвуют в проведении научных исследований на стендовом аппаратно-программном комплексе, с использованием образцов мехатронных систем и роботов-манипуляторов, средств ИЧМИ и систем телеуправления, обеспечивающих для пользователя т.н. «эффект присутствия» в удаленной внешней среде.

Имеется возможность привлечения студентов к участию в исследованиях и разработках новых информационных систем телеуправления при создании мехатронных и телекоммуникационных систем в различных отраслях и сферах жизнедеятельности человека, в том числе медицинского, космического и промышленного применения.

ГЛАВА Теоретические основы информационных систем телеуправления §1.1 Терминология: мехатронная система, робот и виртуальная реальность Современный термин «мехатроника» был введен японской фирмой Yaskawa Electric в 1969 году и зарегистрирован как торговая марка в 1972 году. Это название получено комбинацией слов: МЕХАТРОНИКА = МЕХАника + элекТРОНИКА Обе части термина «мехатроника» имеют греческие лингвистические корни (погречески: mechane – машины и electron – янтарь).

Под термином «мехатроника» подразумевается область науки и техники.

Посвященная созданию систем и устройств, функционирование которых основано на интеграции механических и электронных компонентов, координированных системой управления [1].

В состав мехатронной системы входят 4 основные части:

- механическое устройство, конечным звеном которого является рабочий орган;

- блок приводов, включающих в себя силовые преобразователи и исполнительные двигатели;

- устройство компьютерного управления, на вход которого поступают команды человекаоператора либо команды ЭВМ верхнего уровня;

- информационное устройство, предназначенное для получения и передачи в устройство компьютерного управления данных о реальном движении и фактическом состоянии мехатронной системы.

Роботы, и в частности, манипуляционные роботы, как частный случай мехатронной системы, состоят из следующих конструктивных элементов [2]:

- исполнительной системы, т.е. механических рук (манипуляторов);

- устройства обработки информации (ЭВМ);

- технических средств общения человека и робота;

- устройств сбора информации о внешней среде и состоянии робота.

Механические руки, оснащенные приводами и представляющие собой многозвенные кинематические цепи со сменным рабочим инструментом на свободном конце, воспроизводят двигательные функции верхних конечностей человека. С помощью механических рук робот осуществляет свою характерную функцию: активное воздействие на окружающую среду.

Устройство обработки информации, т.е. ЭВМ или специализированное вычислительное устройство, формирует управление приводами механических рук в процессе реализации специальных программ, с помощью которых осуществляются целенаправленные действия робота по выполнению разнообразных команд, задаваемых человеком. Входной информацией для этих программ являются команды, задаваемые человеком-оператором, а также данные, доставляемые устройствами сбора информации.

Устройства сбора информации об окружающей среде и состоянии робота (информационные датчики) представляют собой органы чувств робота. К ним относятся тактильные датчики (например, датчики регистрации касания), локационные, визуальные, а также датчики измерения углов и линейных перемещений в сочленениях манипулятора, моментов приводов и т.д. Благодаря использованию информации с этих датчиков при формировании целенаправленных действий робота с помощью ЭВМ осуществляется адаптация робота к окружающей среде.

С помощью технических средств общения для человека расширяются возможности восприятия внешней среды и создаются определенные удобства при задании командной информации, в частности, благодаря использованию режима диалога. Для этого могут быть использованы обычные средства ввода информации в ЭВМ: клавиатура, дисплей со световым пером, манипулятор-мышь, а также специализированные средства.

Опыт эксплуатации различных систем телеуправления мехатронными системами и роботами, в частности космического и медицинского назначения, позволяет сделать вывод: чем естественней и удобнее для человека общение с роботом, тем эффективнее будет использован робот при выполнении разнообразных целенаправленных действий.

В связи с этим в данном учебном пособии излагаются основы построения новых информационных систем виртуальной реальности, используемых для телеуправления мехатронными системами (роботами) различного назначения.

Под термином «виртуальная реальность» (Virtual Reality, VR) понимается техническая система общения с человеком, которая в режиме реального времени формирует информационные сигналы, воздействующие на его органы чувств таким образом, что в мозгу человека возникает мысленный образ того или иного объекта (множества объектов), адекватного в значительной степени реальным объектам внешнего мира.

Наиболее перспективным применением систем виртуальной реальности является дистанционное управление (телеуправление) различными техническими объектами, в том числе мехатронными системами (роботами).

В данной главе рассматривается история развития систем дистанционного управления, технических систем общения с человеком-оператором, т.н. человеко-машинного интерфейса (ЧМИ), для обеспечения эффективного и надежного процесса телеуправления.

§1.2 Дистанционное управление роботами: история и области применения Проблема создания перспективных систем дистанционного управления роботамиманипуляторами в настоящее время стала одной из актуальнейших проблем робототехники. В первую очередь это обусловлено резко возросшей необходимостью проведения работ в так называемых экстремальных условиях, т.е. в условиях, характеризующихся высокой потенциальной опасностью для здоровья и жизни человека, что исключает проведение этих работ непосредственно человеком и требует использования роботов.

В отличие от использования роботов для автоматизации производства, для которого характерна строгая упорядоченность внешней среды, в которой функционирует робот, при проведении работы в экстремальных условиях имеет место противоположная картина. В этом случае внешняя среда робота, как правило, является плохо упорядоченной и недетерминированной. Причем информация о ней является неполной, и эта информация может быть динамичной и непредсказуемой. Это требует постоянного пополнения и уточнения информации, корректировки принятых решений на основании вновь полученных данных. Кроме того, выполняемые операции обычно являются нетиповыми и достаточно сложными.

Именно эти обстоятельства делают весьма проблематичным создание и использование для работы в экстремальных условиях роботов, которые смогли бы выполнять все требуемые работы в автоматическом режиме. Только обязательное участие человекаоператора в процессе управления действиями робота может обеспечить эффективное функционирование роботов в экстремальных условиях. Причем управление должно быть дистанционным, чтобы человек был удален из опасной зоны. Способность человека к быстрой ориентации в рабочей обстановке, анализу окружающей среды, оперативному выбору алгоритмов выполнения технологических операций, формированию рациональных законов движения роботов в процессе работы – все эти естественные для него возможности весьма сложно реализуются даже помощью самых совершенных систем восприятия и обработки информации, а также управляющих систем с элементами искусственного интеллекта.

Первый опыт в использовании дистанционно управляемых манипуляторов был накоплен в СССР еще в пятидесятые годы при создании копирующих манипуляционных механизмов серии М [ 3 ], выполняющих в боксах и камерах исследовательские работы с радиоактивными веществами. Именно в тот период была подтверждена возможность воспроизведения двигательных функций руки человека на расстоянии. Механические манипуляторы включали кинематически подобные задающее и исполнительное устройство, связанные между собой с помощью тросов и лент таким образом, что все изменения взаимного расположения звеньев задающего устройства повторялись (копировались) соответствующими звеньями исполнительного устройства. Это позволяло с достаточной степенью точности воспроизводить движения кисти руки оператора, рабочим инструментом, закрепленным на конце исполнительного устройства, находящегося в рабочей зоне. Важной особенностью подобных манипуляторов является возможность ощущения оператором усилий, действующих со стороны объекта манипулирования на исполнительное устройство. Это дает возможность оператору формировать законы движения задающего, а следовательно, и исполнительного устройств с учетом воздействия нагрузки, т.е. так, как это происходит при выполнении человеком работ непосредственно рукой.

Опыт создания копирующих манипуляторов серии М позволил обеспечить отработку принципа дистанционного проведения работ при непосредственном наблюдении оператором условий в рабочей зоне (без использования обзорных TV-систем). Подобные манипуляторы находят широкое применение и в настоящее время (например, при сборке тепловыделяющих элементов (ТВЭЛ) для атомных электростанций) [4]. Человек, управляющий копирующим манипулятором, находится в общем операторском зале, надежно защищен о радиации в опасной зоне (рис.1.1).

Рис. 1.1 Общий операторский зал для работы с манипулятором в копирующем режиме Однако существенными недостатками таких манипуляторов являются малая удаленность оператора от опасной зоны, небольшая грузоподъемность, определяемая физическими возможностями оператора, а также существенные потери развиваемых оператором усилий на преодоление трений в механических передачах. Это привело к необходимости разработки и создания уже в полном смысле дистанционно управляемых манипуляторов, оснащенных не только системами управления движением исполнительных манипуляционных устройств, но и развитой информационной системой.

Задачами этих систем является обеспечение наибольшей естественности работы оператора, создание эффекта его присутствия в рабочей зоне при выполнении технологических операций.

Среди большого числа различных экстремальных для человека сфер деятельности помимо ядерной энергетики, следует выделить [5]:

- химическую промышленность;

- исследовательские и практические работы, связанные с освоением подводного и космического пространств;

- работы с пожаро и взрывоопасными веществами;

- операции для обеспечения антитеррористической деятельности.

Кроме этого, существует потребность в выполнении работ в недоступных по какимлибо причинам средах или таковых, где присутствие человека является нежелательным или физически невозможно, и, таким образом, применение дистанционного управления роботами принципиально необходимо. К этому классу работ можно отнести: нано- и микроэлектронное производство, некоторые направления медицины, включая неинвазивную хирургию, производство сверхчистых материалов и другие.

§1.3 Биотехническое управление Простейшими системами дистанционного управления роботами являются системы так называемого биотехнического типа. Они требуют непрерывного физического участия человека в процессе управления. Известны три вида биотехнического управления:

командное, копирующее и полуавтоматическое [6].

Под командным управлением понимается такая организация управления, когда управление движением робота осуществляется отдельно по каждой из степеней подвижности манипулятора. Как правило, это управление реализуется последовательным включением исполнительных приводов того или иного сустава (рис.1.2 а). Человекоператор, используя специальный кнопочный пульт управления, формирует команду на включение того или иного привода, обеспечивающего движение соответствующей суставной координаты в нужном направлении. Наличие суставных датчиков обратной связи по скорости изменения суставной координаты или скорости вращения вала двигателя на каждом из приводов, позволяет создать замкнутые по скорости системы регулирования приводами суставов манипулятора. Они образуют так называемую локальную систему управления манипулятора, которая по месту привязана к манипулятору.

а) командное, б) копирующее (master-slave), с) полуавтоматическое Если оператор находится на значительной дистанции от манипулятора и не имеет возможности наблюдать за движением рабочего органа манипулятора и его взаимодействием с объектом манипулирования, то для этой цели используется телевизионная система. Она включает TV-камеру, установленную в рабочей зоне манипулятора для обзора внешней среды и процесса взаимодействия с объектами манипулирования, а также приемное TV-устройство, например, TV-монитор, находящийся рядом с пультом управления. Тракт: оператор - пульт управления манипулятор с локальной системой управления - TV-система образует глобальный контур управления манипулятором, замкнутый через оператора.

Таким образом, даже в этом простейшем случае дистанционного управления существуют два контура управления. Один из них локальный замкнутый через сенсоры робота-манипулятора на систему управления, расположенную вблизи робота (локальную систему управления). В данном простейшем случае сенсорами являются датчики скорости вращения приводов робота, а система управления образована системами регулирования по скорости каждым из приводов.

Другой контур глобальный. Он замкнут через TV-систему на оператора. С помощью этой системы оператор, находясь на значительной дистанции от робота-манипулятора, наблюдает за действие манипулятора и осуществляет управление его действиями, используя свой интеллект для достижения цели управления. Сигналы управления от оператора к роботу-манипулятору передаются по радиоканалу. Визуальная обратная связь от робота-манипулятора к оператору осуществляется по TV-каналу.

Следующий вид дистанционного биотехнического управления – копирующее управление - является более совершенным способом управления. Этот тип управления обеспечивает существенно большие удобства для оператора в части задания движений роботу-манипулятору, делает этот процесс более простым и естественным (рис. 1.2 б).

Для этой цели вместо кнопочного пульта управления, позволяющего задавать движение для каждой степени подвижности манипулятора по отдельности, используется управляющая рукоятка. Для задания желаемых изменений суставных координат такой рукояткой может быть «задающая рука», кинематически подобная манипулятору. И человек своей рукой может перемещать конец этой задающей руки – собственно рукоятку.

Локальная система управления манипулятора должна обеспечить отслеживание манипулятором – slave arm положения задающей руки, т.е. рабочий инструмент на конце манипулятора должен повторять (копировать) позицию собственно рукоятки, перемещаемой человеком. Это осуществляется с помощью следящих (замкнутых по положению) приводов для каждой степени подвижности. Управлением для каждого из приводов является рассогласование между заданным желаемым значением суставной координаты и ее текущим значением, измеряемым датчиком положения координаты.

Использование кинематически подобных задающей руки и манипулятора существенным образом упрощает процедуру формирования желаемых значений для приводов каждой суставной координаты. Действительно, в этом случае в качестве желаемых сигналов для каждого следящего привода достаточно использовать сигналы датчиков, измеряющих суставные координаты звеньев задающей руки. Каждый сигнал является желаемым значением для следящего привода соответствующей суставной координаты.

Отметим, что кинематическое подобие задающей руки и манипулятора может сохраняться и при существенном отличии в линейных размерах звеньев. Если в стационарных условиях обслуживания боксов и камер зона действий оператора не ограничивается по размерам, то в обитаемых аппаратах она является весьма ограниченной, поэтому задающие руки должны быть весьма компактными.

Очевидно, что копирующее управление является для оператора боле естественным и простым. Он не задумывается над тем, какие степени подвижности манипулятора и в какой последовательности надо активизировать для выполнения требуемой операции, какие величины и значения скоростей изменения степеней подвижности необходимо задать. Ему достаточно соответствующим образом перемещать свою кисть, осуществляя одновременный визуальный контроль за положением рабочего инструмента манипулятора, копирующего положение его кисти.

Как и в предыдущем случае, при копирующем управлении имеются два контура управления. Локальным контуром управления, по месту привязанным к манипулятору, является система следящих приводов, каждый из которых, используя информацию о текущей величине соответствующей суставной координаты манипулятора, отслеживает ее желаемое значение, равное величине соответствующей суставной координаты, формируемой с помощью задающей руки.

Глобальный контур, как и в предыдущем случае, замкнут на оператора через TVсистему, которая обеспечивает возможность наблюдения за действиями манипулятора, находящегося на значительном расстоянии от человека. Это позволяет с помощью задающей руки формировать команды управления движениями манипулятора. Очевидно, при копирующем управлении благодаря замене кнопочного пульта управления задающей рукой делается более совершенным, эргономически эффективным глобальный контур управления манипулятором. Для большего удобства наблюдения за манипулятором могут быть использованы две TV-камеры. Основная камера, обычно связанная с неподвижным корпусом манипулятора, предназначена для наблюдения общего плана рабочей зоны, а также за действиями манипулятора в этой зоне. Вспомогательная камера конструктивно связана с последним звеном манипулятора его рабочим органом. Благодаря подвижности TV-камеры, возможности изменения ее позиции и ориентации, может рассматриваться внешняя среда в разных ракурсах и масштабах. Это создает условия для более детального рассматривания рабочей зоны, объекта манипулирования и действий манипулятора.

Третьим видом дистанционного биотехнического управления является полуавтоматическое управление (рис. 1.2 с). Полуавтоматическое управление отличается от копирующего полным отсутствием кинематического подобия между специальной управляющей рукояткой для задания желаемых изменений суставных координат манипулятора. Если кинематическая схема и размеры манипулятора определяются особенностями и размерами рабочей зоны, грузоподъемностью, типом исполнительных приводов, то выбор управляющей рукоятки определяется размерами свободного пространства, в котором действует человек-оператор и эргономическими требованиями, обеспечивающими наибольшее удобство работы оператора.

Полуавтоматическое управление предпочтительнее там, где имеются жесткие ограничения на массогабаритные характеристики управляющей рукоятки, например, при использовании ее на обитаемых подводных и космических аппаратах.

Для достижения полной управляемости при полуавтоматическом управлении число степеней подвижности управляющей рукоятки не должно быть меньшим числа степеней подвижности манипулятора. Так, для управления манипулятором, имеющим антропоморфную кинематическую схему с шестью степенями подвижности (исключая движение захвата) в качестве управляющей рукоятки должен использоваться джойстик с шестью степенями свободы.

Наиболее известным способом полуавтоматического дистанционного управления является позиционное управление. При этом виде управления система управления приводами манипулятора обеспечивает повторение (копирование) рабочим инструментом, закрепленным на конце манипулятора, линейных и угловых перемещений джойстика.

Возможный алгоритм работы системы позиционного управления строится следующим образом:

- формируется шестимерный вектор линейного и углового перемещения джойстика путем измерения соответствующими датчиками линейных и угловых координат смещения джойстика;

- вычисляется вектор желаемых текущих значений суставных координат манипулятора;

для этой цели необходимо решить обратную задачу кинематики для используемого манипулятора;

- формируется величина рассогласования между вектором перемещения джойстика и текущим вектором положения рабочего инструмента.

Полученное рассогласование пересчитывается в сигналы управления каждым из приводов манипулятора. Для этой цели используются уравнения связи между приращением вектора суставных координат и приращением вектора положения рабочего инструмента.

Таким образом, в отличие от копирующего управления, при котором благодаря кинематическому подобию управляющей руки и манипулятора для формирования управлений каждым из приводов манипулятора не требуется проводить каких-либо специальных вычислений в случае полуавтоматического управления такие вычисления необходимы. И их надо производить достаточно быстро, чтобы запаздывание в формировании управлений сильно не повлияло на динамические свойства системы управления.

Метод позиционного управления наиболее предпочтителен при выполнении сложных технологических операций, требующих точной координации движений манипулятора в пространстве без силового взаимодействия с объектами манипулирования.

Другим известным способом полуавтоматического управления является управление по вектору скорости. В этом случае величина и направление вектора смещения рукоятки относительно нейтрального (нулевого) положения – вектор смещения джойстика – пропорционален желаемому вектору скорости перемещения рабочего инструмента, закрепленного на конце манипулятора, и система управления должна обеспечить перемещение этого инструмента с желаемой скоростью. Обычно при управлении по вектору скорости используются джойстики, подпружиненные по каждой степени подвижности, позволяющие осуществлять непосредственное измерение всех компонент управляющего вектора, задаваемого человеком-оператором.

Алгоритм работы системы управления по скорости включает:

- формирование шестимерного вектора перемещения джойстика путем измерения соответствующими датчиками линейных и угловых координат смещения джойстика;

- вычисление по известному вектору перемещения джойстика желаемых значений скорости изменения суставных координат для каждого из суставов манипулятора; для этой цели используются уравнения связи между вектором суставных скоростей манипулятора и вектором скорости его рабочего инструмента.

Приводы суставных координат, замкнутые по скорости, с заданной точностью отрабатывают желаемые значения по скорости, полученные с помощью джойстика. В результате рабочий инструмент манипулятора движется со скоростью, соответствующей вектору смещения джойстика.

Управление по вектору скорости обеспечивает надежное управление манипулятором при выполнении транспортных операций без силового взаимодействия с объектами манипулирования, так же, как и при позиционном управлении.

Выбор одного из рассмотренных выше методов полуавтоматического управления должен обеспечивать эффективность выполнения определенных технологических операций. При создании дистанционно управляемых манипуляторов универсального назначения весьма часто возникает необходимость использования принципов комбинированного управления.

Одной из разновидностей такого управления является сочетание принципов позиционно-скоростного управления. При выполнении транспортных операций, которые характеризуются большими перемещениями манипулятора в свободном пространстве рабочей зоны, используется управление по вектору скорости. При выполнении операций, требующих высокой точности позиционирования, как правило, при небольших перемещениях наиболее рационально перейти на позиционное управление.

Переключение режимов работы в такой системе может осуществляться либо самим оператором, либо автоматически. Автоматическое переключение режимов происходит, например, при превышении заданного значения отклонения джойстика от нейтрального положения. При малых отклонениях джойстика осуществляется позиционное управление захватом манипулятора, а при больших отклонениях – управление по вектору скорости.

Очевидно, при полуавтоматическом управлении глобальный контур управления манипулятора более адаптирован к специфическим и эргономическим требованиям, чем при копирующем управлении. Эти требования возникают в первую очередь там, где существуют жесткие ограничения на объем и конфигурацию свободного пространства, в котором действует человек-оператор.

Дальнейшее, чрезвычайно полезное усовершенствование копирующего и полуавтоматического дистанционного управления связано с возможностью использования человеком-оператором в глобальном контуре управления в качестве обратной связи другие виды информации помимо визуальной информации о внешней среде,.

Одним из самых полезных видов информации для человека-оператора, осуществляющего управление манипулятором с помощью управляющей рукоятки, является информация о силовом взаимодействии с объектами внешней среды. Без использования этой информации весьма трудно реализовать взаимодействие манипулятора со «связанными» объектами, т.е. с предметами, возможные перемещения которых ограничены связями. Обычно это имеет место при выполнении сборочных операций. Не ощущая рукой, перемещающей управляющую рукоятку, сил и моментов реакций, воздействующих на манипулятор со стороны объекта, человек-оператор своими действиями может вызвать появление слишком больших сил, способных привести даже к поломке манипулятора или объекта манипулирования.

В настоящее время разработан и используется целый ряд методов реализации силомоментного воздействия на руку человека, перемещающего управляющую рукоятку.

Это воздействие должно быть равным или пропорциональным силе и моменту, которые прилагаются к рабочему инструменту, помещенному на конце манипулятора, когда этот инструмент взаимодействует со «связанными» объектами внешней среды. Однако, обычно не учитывается взаимодействие, обусловленное весом этих объектов, так как учет веса делает более сложным для человека процесс управления роботом.

Наиболее известным методом реализации силовой обратной связи является метод управления с «активным отражением усилия». Он предполагает расширение функций управляющей рукоятки, используемой при копирующем или полуавтоматическом управлении за счет придания ей дополнительной функции так называемого «активного отражения усилия». Рис. 1.3 иллюстрирует метод управления роботом с «активным отражением усилий, когда в качестве управляющей рукоятки используется задающая рука. В соответствии с этим каждый сустав задающей руки помимо датчика измерения соответствующей суставной координаты должен быть оснащен управляемым приводом.

Рис. 1.3 Метод управления с активным «отражением» усилий С помощью всех приводов суставных координат при соответствующем управлении, в принципе, может быть создано усилие на конце задающей руки, воспринимаемое рукой человека, равное или пропорциональное усилию, приложенному к манипулятору со стороны объекта манипулирования. Для формирования требуемого усилия используется система силомоментного управления. Она представляет собой замкнутый контур управления приводами задающей руки, использующий в качестве основной составляющей закона управления приводами величину рассогласования между реальным значением вектора сил и моментов, который должен воздействовать на руку человека, и его текущим значением, воспринимаемым рукой человека. Этот последний может измеряться, например, сило-моментным тензометрическим датчиком, который установлен на конце задающей руки. Хорошо спроектированная система силомоментного управления отслеживает желаемое значение вектора усилий с достаточной точностью.

Желаемая величина вектора усилий, очевидно, должна быть равна или пропорциональна реальной величине усилия, прилагаемого к манипулятору со стороны объекта манипулирования. Эта величина может быть измерена, например, специальным сило-моментным датчиком, установленным в запястье манипулятора, аналогично датчику задающей руки.

Очевидно, при перемещении манипулятора в свободном пространстве, усилие, воспринимаемое запястным датчиком манипулятора, близко к нулю, и, следовательно, система управления приводами задающей руки формирует величину усилия на конце задающей руки также близкой к нулю. При этом задающая рука перемещается человеком без заметных усилий. В случае же столкновения манипулятора с объектом внешней среды возникающая сила взаимодействия измеряется запястным силомоментным датчиком манипулятора и отслеживается системой силомоментного управления задающей руки. В результате человек воспринимает это усилие взаимодействия и строит свои дальнейшие управляющие действия с учетом этого усилия.

Огромную роль для успешной реализации дистанционного управления роботом играет визуальная обратная связь глобального контура управления роботом с помощью TVсистемы. Именно благодаря ей человек может наблюдать объекты рабочей зоны, а также робот, действующий в ней.

Весьма важно спроектировать визуальную обратную связь таким образом, чтобы человек ощутил как бы свое присутствие в рабочей зоне действия манипулятора, которая в действительности находится далеко от него.

Очевидно, чем больше будет этот эффект присутствия, тем проще и естественнее оператору ориентироваться в рабочей зоне, осознавать взаимное расположение объектов этой зоны относительно друг друга и манипулятора. Следовательно, тем проще для него осуществлять управление перемещениями манипулятора с помощью тех или иных управляющих рукояток. Именно поэтому совершенствование визуальной обратной связи глобального контура является одной из ключевых проблем, от решения которой зависит качество дистанционного управления.

Одним из важных шагов совершенствования этой обратной связи является получение стереоскопичного изображения рабочей зоны. Это требует использования в рабочей зоне двух TV-камер с параллельными оптическими осями, смещенными друг относительно друга на расстояние, равное базе между глазами человека. В качестве TV-индикаторов можно использовать разнообразные технические средства, которые в результате обеспечивают возможность восприятия изображения, полученного на левой TV-камере – левым глазом, а на правой – правым.

Наибольший эффект дает использование шлема с вмонтированными в него двумя TVмониторами для левого и правого глаза, на которые выводятся TV-изображения для левого и правого глаза, соответственно.

В этом случае в отличие от использования настольного TV-монитора человек лишен возможности воспринимать окружающий его реальный мир. Он видит только удаленную от него рабочую зону, представленную на TV-экране. И если выбирается такой масштаб TV-изображений, при котором угловые смещения зрачка глаза при переводе с одной характерной точки TV-изображения на другую становятся равными углам смещения зрачков, которые имели бы место, если человек рассматривал эти точки невооруженным взглядом, находясь в рабочей зоне при совмещении оптических осей его глаз с оптическими осями TV-камер, то эффект присутствия человека в рабочей зоне становится очень высоким.

Дальнейшее увеличение этого эффекта, дополненного возможностью наблюдать внешнюю среду в зависимости от положения/ориентации головы оператора в разных ракурсах, масштабах и с разной степенью подробностей, может быть достигнуто, если обеспечить возможность отслеживания (копирования) вышеупомянутыми TV-камерами смещения и поворота головы оператора. Ниже на рис. 1.4 представлена схема копирующего дистанционного управления роботом с усовершенствованной визуальной обратной связью глобального контура управления.

Перемещения спаренных TV-камер могут осуществляться робото-подобным механизмом, аналогичным механизмам для активного антропоморфного видения [ 3 ].

В качестве него можно использовать оснащенный управляемыми приводами постоянного тока манипулятор с шестью степенями свободы, последнее звено которого, оснащенное двумя спаренными TV-камерами, должно повторять (копировать) положение головы оператора. Для реализации процесса слежения может использоваться специальная система управления, желаемыми значениями управляемых величин для которой являются шесть величин, определяющих положение головы оператора. Для измерения этих величин в настоящее время известен целый спектр специальных измерительных устройств. Однако ощущается необходимость усовершенствования этих устройств, что в первую очередь связано с желанием расширения рабочей зоны их действия.

В случае двуруких манипуляторов вместо специального устройства для перемещения TV-камер может быть использована одна из рук, которая будет совмещать эту функцию со своей основной рабочей функцией. Это удешевляет обеспечение эффекта присутствия.

§1.4 Супервизорное управление Дистанционное управление биотехнического типа, в принципе, обеспечивает выполнение большого класса задач, для которых предназначаются роботы-манипуляторы.

Однако при таком типе управления человек-оператор, непрерывно физически участвующий в процессе управления, испытывает большие физические, интеллектуальные и эмоциональные нагрузки. Только два часа такой работы в день являются допустимым пределом использования человека в таком виде деятельности.

Поэтому дальнейшее совершенствование методов дистанционного управления было весьма актуальным и дало хорошие результаты. Оно шло в нескольких направлениях.

Результатом работ по первому направлению должно было стать снижение степени физического и отчасти интеллектуального участия человека в процессе управления роботом. Достижение этой цели потребовало существенного расширения функциональных возможностей локальной системы управления роботом для того, чтобы передать ей часть функций, которые при биотехническом управлении возлагались на человека-оператора. В идеале этой системе управления целесообразно было бы передать все функции, которые на данном этапе технического прогресса могли быть выполнены ею автономно и не хуже, чем человеком.

Конечно, это требует превращения этой системы из простейшей следящей системы управления приводами манипулятора, используемой при биотехническом управлении, в интеллектуальную систему управления, имеющую разветвленную сенсорную систему, мощную управляющую микро ЭВМ, оснащенную весьма совершенными системами принятия решения и обработки сенсорной информации.

В этом случае человека-оператора можно освободить от целого ряда мало интеллектуальных функций и в первую очередь от непрерывного участия в управлении движением манипулятора с помощью задающей управляющей рукоятки и возложить на него интеллектуальные функции, которые пока нереализуемы локальной системой управления полностью автономно.

К числу наиболее типичных функций, которые могли бы автономно выполняться локальной системой управления, относятся:

- перенос рабочего инструмента манипулятора в целевую позицию с обеспечением обхода препятствий;

- перенос рабочим инструментом манипулятора предметов, возможные перемещения которых ограничены связями;

- распознание типов предметов и их пространственных положений;

- выбор положения рабочего инструмента, удобного для взятия предметов разнообразных форм и размеров;

- уточнение и корректировка траекторий и позиций рабочего инструмента, вызванные незначительными ошибками планирования действий робота и изменениями внешней среды (адаптация робота к вариациям задачи и среды), а также целый ряд других, не очень сложных функций.

Совершенствование дистанционного управления в рамках второго направления в первую очередь потребовало создания широких возможностей и удобств для человекаоператора в подготовке автоматического выполнения роботом задачи, в контроле за ее выполнением, в обеспечении вмешательства в автономные действия робота при возникновении непредвиденных обстоятельств.

Для решения этих проблем необходимо было кардинально расширить функции глобального контура управления, включить в него новые функциональные узлы и устройства, усложнить его архитектуру.

Результатом начального этапа совершенствования методов дистанционного управления в России (бывшем СССР) в рамках вышеуказанных направлений явилось создание три десятилетия назад первого экспериментального робота с не биотехническим управления [ 2,5 ] (рис.1.4).

Рис. 1.4 Первый отечественный робот с супервизорным управлением Этот тип дистанционного управления был назван супервизорным управлением, так как этот тип управления освобождал человека от непрерывного физического участия в процессе управления и превращал его в супервизора. Человек лишь задавал для локального контура управления целевые положения рабочего инструмента, закрепленного на конце манипулятора, а также некоторые условия, при которых эти положения должны быть достигнуты. А усовершенствованная локальная система управления обеспечивала автономное перемещение рабочего инструмента в эти позиции. Каждое перемещение рабочего инструмента в целевую позицию при соблюдении дополнительных условий соответствовало выполнению какой-либо элементарной операции. Человек мог также вводить другую информацию для локального контура управления, и в первую очередь, информацию о координатах возможных препятствий на пути к цели. Для осуществления этих функций был усовершенствован глобальный контур управления главным образом за счет расширения человеко-машинного интерфейса путем введения нового функционального узла – так называемого устройства целеуказания.

Усовершенствование локального контура управления включало значительные расширения функций сенсорной системы и устройства локального управления. Кроме суставных позиционных и скоростных сенсоров в состав сенсорной системы вошли тактильные сенсоры. Схваты каждой из двух рук манипуляторы были оснащены тактильными сенсорами (рис.1.5). Чувствительные поверхности этих сенсоров покрывали всю поверхность схвата и образовывали искусственную кожу [ 7 ]. Кроме того, концы пальцев схвата были оснащены 12-ю локационными сенсорами ближнего действия, которые позволяли измерять расстояния до препятствий в пределах 20 см от схвата. В качестве локального устройства управления использовались первая отечественная управляющая ЭВМ типа УМНХ. Программное обеспечение ее позволяло автоматически осуществлять планирование траектории движения робота к целевой позиции.

Рис. 1.5 Схват с искусственной кожей: а) фотография; б) конструкция Причем, если возможные перемещения рабочего инструмента манипулятора не были ограничены механическими связями, т.е. если его перемещение к цели не соответствовало элементарным операциям подобным вставлению штыря в отверстие, заворачиванию гайки или другой сборочной операции, то сгенерированный план исключал возможность столкновения руки робота с препятствием.

В противном случае, т.е. при выполнении сборочных операций локальная система управления в процессе движения манипулятора к цели обеспечивала поддержание желаемой величины вектора сил взаимодействия рабочего инструмента с объектами внешней среды.

Необходимая информация о координатах препятствий, используемая локальной системой управления могла формироваться либо автономно с помощью сенсоров этой системы в процессе выполнения операции, либо подготавливаться человеком заранее перед началом выполнения операции.

Для этой цели используется вышеупомянутое усовершенствование глобального контура управления, а именно устройство целеуказания [ 8 ]. Этот новый функциональный узел глобального контура управления был реализован на базе приемнопередающей TV-системы, используемой для обзора рабочей зоны манипулятора (визуальной обратной связи глобального контура управления). Операционной частью устройства являлся специальный индикатор, в состав которого входили световое перо и электронный блок обработки информации. Они и позволяли задавать «целевые» точки на экране приемной части TV-системы. Прикасаясь к экрану световым пером в месте нахождения цели, оператор тем самым вводил в управляющую ЭВМ локального контура управления три параметра, по которым соответствующий программный модуль вычислял положение цели в системе координат рабочей зоны манипулятора. Двумя параметрами цели являлись координаты, определяющие положение изображения цели на TV-экране премного устройства TV-системы. Третьим параметром служила величина смещения объектива, соответствующая максимальной резкости изображения цели на светочувствительном слое передающей TV-трубки. Эта величина формировалась автоматически экстремальным регулятором привода смещения объектива. Регулятор обеспечивал максимальную резкость изображения рабочей зоны манипулятора в прямоугольном окне минимальных размеров, захватывающим изображение цели.

Задание координат препятствий оператор осуществлял двумя способами. В соответствии с первым он задавал позиции отдельных точек, принадлежащих выступающим частям препятствий, с которыми манипулятор не должен был сталкиваться.

При втором оператор задавал тройки точек, каждая из которых соответствовала ограничивающей плоскости, отделяющей доступную и запретную для манипулятора зоны.

Помимо задания целевых позиций и ввода информации о препятствиях, человек должен был ввести команду о начале выполнении задания и наблюдать за ходом его выполнения, вмешиваться в процесс управления в случае возникновения неучтенных при подготовке операции обстоятельствах, например, произвести останов манипулятора и затем перейти на какой-либо вид биотехнического управления.

Кратко описанный способ реализации супервизорного дистанционного управления является наиболее простым и дешевым из существующих в настоящее время. Это обусловлено прежде всего тем, что в данном случае для осуществления процесса управления не требуется использования достаточно подробной компьютерной модели внешней среды робота, создание которой является весьма сложной и дорогостоящей задачей.

Интеллект человека-оператора, наблюдающего рабочую зону робота с помощью TVсистемы, позволяет ему сформировать план выполнения элементарных действий робота, соответствующий конкретной задаче с учетом всех особенностей внешней среды. Кроме того, вышеупомянутые усовершенствования глобального контура управления, оснащенного устройством целеуказания, позволяют весьма просто сформировать и ввести в базу данных минимально необходимую информацию для автономного выполнения каждого из элементарных действий, например, информацию о координатах препятствий.

§1.5 Совершенствование телеуправления с использованием виртуальной реальности Дальнейшее совершенствование телеуправления при реализации супервизорного дистанционного управления связано с использованием в глобальном контуре управления нового средства, так называемой графической модели манипулятора [ 9 ], под которой понимается упрощенное изображение некоего виртуального манипулятора, по кинематической схеме и размерам в точности совпадающего с реальным. Эта модель накладывается на TV-изображение внешней среды (рабочей зоны) реального манипулятора. С этой целью TV-изображение должно быть оцифровано, т.е.

преобразовано в компьютерное, для чего в глобальный контур вводится новый функциональный узел – графическая станция. С помощью графической станции и осуществляется формирование вышеупомянутой графической модели манипулятора и наложение ее на изображение внешней среды. В результате наложения на мониторе станции высвечивается изображение внешней среды и реального манипулятора, а также изображение графической модели. При идентичных положениях реального и виртуального манипуляторов. Их изображения должны в точности совпадать (для чего необходима соответствующая калибровка, т.е. чтобы масштабы изображений реального и виртуального манипуляторов были выбраны требуемым образом.

В простейшем случае графическая модель может быть проволочной [ 10 ], тогда контуры изображения реального манипулятора и ребра модели должны совпадать, если суставные координаты реального и виртуального манипулятора совпадают.

Использование графической модели позволяет реализовать две возможности, весьма полезные при осуществлении дистанционного управления:

- проверку выполнения задаваемой операции до ее реального выполнения манипулятором; она реализуется путем наблюдения на мониторе графической станции за движением виртуального манипулятора, т.е. графической модели реального манипулятора, под действием тех же управлений, которые должны быть использованы для управления реальным манипулятором;

- наблюдение за функционированием графической модели во время выполнения реальным манипулятором задаваемых действий, т.е. когда на виртуальный и реальный манипуляторы одновременно посылаются одинаковые сигналы управления.

Первая возможность позволяет достаточно экономным средствам тщательно проверять будущие операции манипулятора, что повышает вероятность их успешного выполнения.

Вторая возможность является очень ценной при больших запаздываниях в передаче управляющих сигналов на реальный манипулятор от станции управления, что обычно имеет место в космической и подводной робототехнике. В этом случае графическая модель будет служить прогнозирующей визуальной обратной связью с компенсацией запаздывания и позволит человеку наблюдать в реальном времени за будущими действиями манипулятора, без запаздывания, своевременно остановить робот в случае ошибочной команды управления.

Гораздо полнее и эффективнее вышеприведенные возможности могут быть реализованы в настоящее время на основе использования для дистанционного управления технологии Virtual Reality. В соответствии с ней в глобальном контуре дистанционного управления должна быть использована не проволочная графическая модель манипулятора, а гораздо более совершенная модель, являющаяся уже не упрощенным, а весьма совершенным 3D изображением виртуального манипулятора, приближающимся по качеству к изображению реального манипулятора. Причем эта модель должна быть стереоскопична за счет того, что строятся два изображения для двух точек обзора, соответствующих позициям каждого из глаз наблюдателя и каждое из изображений должно быть воспринято соответствующим глазом, например, с помощью шлема в вмонтированными в него дисплеями, на которые выдаются изображения соответственно для левого и правого глаза. Кроме того, графическая модель должна быть не наложена на изображение внешней среды, а погружена в это изображение, и это последнее также должно быть стереоскопичным. Термин «погружение» означает, что человек на экране монитора графической станции должен воспринимать виртуальный манипулятор находящимся среди объектов внешней среды.

При реализации эффекта визуального «погружения» должно обеспечиваться следующее:

- части предметов внешней среды, находящиеся от наблюдателя позади виртуального манипулятора должны быть невидимы наблюдателю, и изображения этих частей должны быть заменены изображениями соответствующих частей виртуального манипулятора, и, наоборот, т.е. имеет место «эффект загораживания»

- ракурс и масштаб изображения внешней среды с погруженной в нее графической моделью манипулятора должен соответствующим образом изменяться в реальном времени в зависимости от положения и ориентации головы человека-наблюдателя, которые могут изменяться в широких пределах.

Очевидно, технология Virtual Reality позволяет осуществить более детальную и тщательную проверку будущих действий робота, чем в предыдущем случае с оперативной коррекцией этих действий. Прогнозирующая же визуальная обратная связь будет гораздо более информативной. Эта технология также позволяет без использования реального робототехнического оборудования осуществлять тренинг операторов с целью совершенствования их навыков в дистанционном управлении роботом-манипулятором.

Однако, следует принять во внимание, что использование технологии Virtual Reality требует весьма дорогих и мощных аппаратных и программных средств, обеспечивающих эффект погружения графической модели манипулятора в изображение реальной внешней среды робота. А чтобы реализовать функционирование этих программных средств, необходимо предварительно подготовить входные данные о геометрических моделях внешней среды и виртуального манипулятора, что является весьма непростой задачей.

Первая из моделей является сложной поверхностью, делящей пространство рабочей зоны на две области: проницаемую для световых лучей и непроницаемую для них. Вторая является замкнутыми поверхностями тел, соответствующих звеньям манипулятора, связанных шарнирами. Кроме того, во время работы программных средств необходимо получать данные о координатах относительного положения звеньев манипулятора и о координатах смещения и ориентации головы. Последнее требует обязательного использования ранее уже упомянутых измерительных устройств измерения позиции/ориентации головы и их дальнейшего совершенствования.

Вышеприведенные входные данные в принципе достаточны для формирования изображения геометрической модели внешней среды и виртуального манипулятора.

Однако, полученные изображения будут все-таки еще недостаточно реалистичны.

Поэтому, если требуется дальнейшее увеличение реалистичности, то необходимо использовать значительно более детальные данные о виртуальном манипуляторе и внешней среде, о характере освещенности, цвете, текстуре поверхностей и т.д. Обработка этих данных занимает много времени и серьезно затрудняет смену изображений с необходимой периодичностью, чтобы обеспечить непрерывность восприятия, тем более, что изображения динамичны из-за перемещения виртуального манипулятора. Кроме того, ракурс и масштаб изображения будет изменяться из-за перемещения в пространстве человека. Поэтому для ускорения вычислений должны быть предприняты соответствующие меры.

Главной среди них, позволяющей кардинально сократить объем вычислений при формировании сменяемого кадра изображения и вместе с тем повысить реалистичность изображения, является замена компьютерно-синтезированного изображения геометрической модели внешней среды реальным изображением.

В этом случае будет иметь место погружение (изображения) виртуального робота в изображение реальной внешней среды, т.е. изображение виртуального робота будет прибавлением к изображению реальной сцены, что уже соответствует технологии не Virtual Reality, а Augmented Reality.

Для получения реального стереоизображения внешней среды может использоваться двухкамерная TV-система обзора внешней среды глобального контура, подобная той, которая применяется в случае достаточно совершенного биотехнического управления. Эта система, уже описанная в разделе.1.2, базируется на использовании робото-подобного устройства, и обеспечивает отслеживание TV-камерами обзора смещение и поворот головы оператора.

При достаточно точном отслеживании имеет место точное наложение изображения внешней среды, полученное с помощью TV-камер на изображение геометрической модели внешней среды, синтезированное компьютером, т.к. ракурс и масштаб этого последнего определяется теми же данными о положении и ориентации головы, что и реальное изображение.

Конечно, для обеспечения точного наложения необходимо осуществить калибровку, т.е. согласовать масштабы обоих изображений и обеспечить текущий контроль величины ошибки наложения. Последняя должна быть использована как управляющий сигнал для системы автоматической корректировки в реальном времени качества наложения.

Рис.1.6 иллюстрирует способ дистанционного супервизорного управления с использованием графической модели для предварительной проверки будущих действий манипулятора и получения прогнозирующей визуальной обратной связи в случае больших запаздываний в передаче управляющих сигналов на манипулятор со станции управления.

Рис. 1.6 Метод управления с активным «отражением» усилий и визуальной обратной В отличие от биотехнического управления, иллюстрированного выше на рис.1.2 – рис.1.4, на данном рисунке 1.6. схематично показано, что локальный контур управления имеет гораздо более сложную сенсорную систему, в которую включены новые типы сенсоров (тактильные, локационные, визуальные). Кроме того, в этот контур введен специальный, достаточно мощный управляющий компьютер для обработки сенсорной информации и формирования управлений суставными приводами.

В глобальный контур управления введены графическая станция и центральный управляющий компьютер с дисплеем. Программное обеспечение графической станции реализует следующие основные функции:

- генерирует графическую модель манипулятора;

- реализует оцифровывание TV-изображения внешней среды (преобразует его в компьютерное изображение) и осуществляет погружение графической модели манипулятора в изображение внешней среды или ее геометрической модели.

Программное обеспечение центрального управляющего компьютера генерирует входные данные для локального контура управления, необходимые ему для обеспечения автономного выполнения манипулятором типовых элементарных команд. Человекоператор, используя клавиатуру дисплея, имеет возможность набирать имена операторов, соответствующих типовым командам и отдавать команды о выполнении этих операторов.

Выполнение может быть реализовано либо в режиме проверки с помощью графической модели, либо в рабочем режиме, когда оператор должен быть исполнен реальным манипулятором. В любых случаях человек может наблюдать за результатом выполнения операции с помощью нашлемных дисплеев.

В режиме проверки он наблюдает перемещение стереоизображения виртуального робота (графической модели робота), погруженного в стереоизображение геометрической модели реальной среды. В зависимости от позиции и ориентации головы он может рассмотреть поведение манипулятора с разных позиций. Этот процесс рассматривания будет чрезвычайно естественным для человека, т.к. изменение ракурса и масштаба изображения будет синхронизовано с изменением позиции/ориентации головы.

В рабочем режиме он может одновременно наблюдать перемещение графической модели и реального робота. В случае запаздывания в передаче управляющих сигналов будет иметь место опережение перемещения модели относительно изображения реального робота, что позволяет своевременно дать команду об остановке движения в случае, если «неуправляемое» перемещение графической модели покажет, что команда управления была ошибочной. После останова имеется возможность либо изменить команду, либо перейти на биотехническое, например, копирующее управление с помощью задающей руки.

Изображенный на рис.1.7 механизм для перемещения TV-камер может быть использован как исполнительный механизм для отслеживания (копирования) спаренными TV-камерами обзора рабочей зоны робота положения и ориентации головы оператора.

Синхронное отслеживание возможно только при отсутствии запаздывания в передаче на следящую систему управления приводами механизма управляющих сигналов о желаемом положении и ориентации головы оператора.

Эта возможность позволяет заменить компьютерное изображение геометрической модели внешней среды ее реальным изображением, что повысит реалистичность погружения виртуального робота в реальную среду.

Визуальный аспект взаимодействия человека-оператора с мехатронной системой при телеуправлении §2.1 Постановка задачи визуального «погружения»

Технология создания виртуального объекта в реальном мире или в несколько иной терминологии технология погружения виртуального тела в реальный мир должна обеспечить реализацию «визуального» и тактильно-«силового» аспектов проблемы погружения виртуального тела в реальный мир [11].

Визуальный аспект проблемы имеет два варианта в зависимости от того, наблюдает ли человек участок реального мира (внешней среды), в которую погружается виртуальное тело с помощью видеокамеры (рис.2.1) или с помощью оптической системы (рис.2.2).

Когда участок реального мира находится на значительном расстоянии от наблюдателя, первый вариант является единственно возможным, т.к. для передачи изображения нельзя обойтись без TV-канала. Второй вариант возможен только в случае, если участок наблюдаемого реального мира находится рядом с ним.

Рис.2.1 Вариант погружения виртуального тела в окружающую среду при помощи ТВкамеры, обозревающей окружающую среду В первом случае визуальный аспект проблемы погружения виртуального тела в реальную среду означает, что человек должен визуально воспринимать синтезированное компьютером трехмерное стереоизображение участка реального мира с погруженным в него виртуальным, т.е. реально не существующим телом и своими собственными руками.

Для этого необходимо выполнить три условия. Во-первых, необходимо совместить систему координат, в которой находится человек-наблюдатель, с системой координат интересующего нас дистанционно удаленного участка внешней среды (рабочей зоны) и поместить в эту совмещенную систему координат виртуальное тело. Результатом этих действий должно стать "перемещение" человека-наблюдателя, его рук и виртуального тела в рабочую зону таким образом, чтобы человек и виртуальное тело оказались среди предметов внешней среды. Т.е. человек мог визуально ощутить с восприятием эффекта перспективы все объекты рабочей зоны, виртуальное тело с заданными оператором его размерами, 3D-позицией и ориентацией в системе координат рабочей зоны, а также позицию и ориентацию своих собственных рук в этой же системе координат, адекватные их действительным положениям.

Во-вторых, необходимо реализовать «эффект загораживания», т.е. чтобы части предметов внешней среды, находящиеся от наблюдателя позади виртуального объекта или его рук, были невидимы наблюдателем, и изображения этих частей были бы заменены изображениями виртуального объекта или рук человека. И, наоборот, части виртуального объекта или рук человека, находящиеся для наблюдателя позади предметов внешней среды, должны быть невидимы для наблюдателя, и изображения этих частей должны быть заменены изображениями соответствующих частей предметов внешней среды.

В-третьих, должна быть реализована возможность наблюдения рабочей зоны с внесенным в нее виртуальным телом, а также рук человека из разных позиций наблюдения, т.е. чтобы ракурс и масштаб изображения соответствующим образом изменялись в зависимости от положения и ориентации головы человека-наблюдателя, причем эти изменения осуществлялись бы в реальном времени перемещения наблюдателя и с учетом возможных перемещений виртуального тела и рук человека.

Рис.2.2 Вариант погружения виртуального тела в окружающую среду при помощи оптической системы, обозревающей окружающую среду Визуальный аспект проблемы во втором варианте означает выполнение двух условий.

Во-первых, человек должен визуально воспринять через оптическую систему, а не с помощью TV-системы, как в первом случае, изображение участка реального мира и своих собственных рук. Он также должен воспринять стереоизображение виртуального тела, полученное с помощью TV-камеры.

Это тело оператор должен наблюдать с восприятием эффекта перспективы с заданными оператором размерами, 3D-позицией и ориентацией в системе координат участка внешней среды (рабочей зоны). Это условие аналогично соответствующему условию для первого случая. В отличие от первого случая в данном случае не предусматривается выполнение условия реализации эффекта загораживания. Это несколько снижает реалистичность «погружения» тела в реальную среду, заставляет сделать его полупрозрачным.

Второе условие, как и в первом случае, заключается в реализации возможности наблюдения рабочей зоны с внесенным в нее виртуальным телом, а также человеческих рук из разных позиций наблюдения в зависимости от положения и ориентации головы наблюдателя. Причем изменения ракурса и масштаба изображения в зависимости от позиции наблюдателя осуществлялись в реальном времени.

§2.2 Основные подходы к реализации визуального аспекта погружения Рассмотрим возможные подходы к реализации задачи погружения виртуального тела объекта в реальную среду. В соответствии с выше сказанным для этого должны быть соблюдены три условия. Реализация первого из них в случае наблюдения внешней среды с помощью TV-системы требует выполнения нижеследующих действий.

1). Использование спаренных TV-камер с расстоянием между ним, равным средней базе глаз человека для наблюдения интересующего нас объемного изображения участка внешней среды (рабочей зоны) и получения для этого стерео пар этого участка.

2). Оцифровывание, т.е. преобразование полученных TV-изображений внешней среды в компьютерные изображения.

3). Формирование человеком-оператором с помощью соответствующего программного обеспечения геометрической модели виртуального тела, которая является замкнутой поверхностью, ограничивающей тело, представленной в системе координат тела.

4). Наложение человеком-оператором с помощью соответствующего программного обеспечения требуемой текстуры и цвета на ограничивающую поверхность тела.

5). Формирование с помощью соответствующего программного обеспечения двух изображений тела, предназначенных для левого и правого глаз, которые могли бы быть получены с помощью двух вышеупомянутых TV-камер, если бы тело было реальным.

В системе координат рабочей зоны позиция и ориентация тела должны быть требуемым образом заданы оператором, а позиция и ориентация TV-камер в системе координат рабочей зоны должны быть такими же, какие они имеют место при формировании изображенного участка рабочей зоны.

Использование двух TV-камер, установленных на голове оператора вблизи его глаз, для получения изображений рук, предназначенных для левого и правого глаз, с помощью каждой их этих TV-камер. Направление оптических осей TV-камер параллельны друг другу и примерно перпендикулярны плоскости, касающейся глазных яблок и подбородка;

возможна корректировка направления оптических осей.

Оцифровывание, т.е. преобразование полученных TV-изображений рук в компьютерные изображения.

Использование головного шлема оператора с двумя вмонтированными дисплеями для получения пары изображений внешней среды, виртуального тела и рук. Изображения должны быть выведены на эти два дисплея, причем изображения, предназначенные для левого глаза на левый дисплей, а для правого – на правый, что обеспечивает эффект стереоскопичности изображений.

В результате выполнения первого условия человек-оператор смог бы увидеть с помощью двух дисплеев, вмонтированных в головной шлем, стереоизображения:

- рабочей зоны, полученное с помощью двух спаренных TV-камер, - наложенное на него стереоизображение виртуального тела в позиции и ориентации, заданными оператором, - наложенные на эти два стереоизображения человеческих рук, которые воспринимаются глазами оператора, находящимися среди объектов рабочей зоны, и его сенсорно-моторной системой, находящимися в их действительном положении.

Однако, при наложении этих трех изображений оказываются не исключенными фрагменты изображений объектов, загороженные от глаз наблюдателя другими объектами, находящимися ближе к наблюдателю.

Для устранения этого недостатка необходимо выполнить второе вышеупомянутое условие – реализацию эффекта загораживания. Это в свою очередь требует осуществления нижеследующих действий.

1). Формирование топографической (геометрической) модели внешней среды (рабочей зоны), которая является поверхностью, представленной в системе координат рабочей зоны и делящей все пространство этой зоны на две области: непроницаемую для световых лучей и проницаемую ими.

2). Формирование геометрической модели рук, которая является совокупностью связанных шарнирами геометрическими моделями тел, представляющих плечи, предплечья, кисти. Причем, если модели плеча, предплечья являются двумя отдельными телами, связанными шарнирами вращения, то модель кисти включает модели пяти пальцев и модель ладони. Каждая из моделей пальцев состоит из трех тел - фаланг, связанных шарнирами вращения и образующих цепочку. Модель ладони является телом, с которым через двумерные шарниры вращения с взаимно перпендикулярными осями присоединены модели пальцев и которая сама через такой же шарнир связана с моделью предплечья.

3). Формирование изображения упрощенной рабочей сцены, включающего:

- изображения топографической модели рабочей зоны, которые могли бы быть получены с помощью двух вышеупомянутых спаренных TV-камер;

- два изображения геометрической модели виртуального тела, которые также могли бы быть получены с помощью тех же двух TV-камер;

- два изображения геометрических моделей рук человека, которые могли бы быть получены с помощью двух TV-камер на голове человека, установленных вблизи его глаз.

Важно, что позиция и ориентация спаренных TV-камер обзора рабочей зоны и TVкамер наблюдения за руками человека должны быть выбраны при формировании упрощенной рабочей сцены такими же, как в случае получения реальных изображений рабочей зоны и рук.

Поскольку геометрические модели рабочей зоны, рук и виртуального тела известны как и их позиции и ориентации, адекватные позициям и ориентациям объектов реальной рабочей зоны, реальных рук и виртуального тела, то при формировании изображения сцены имеется вся необходимая информация для реализации «эффекта загораживания».

Результатом формирования упрощений рабочей сцены является формирование «незагороженных» фрагментов изображений геометрических моделей рабочей зоны, рук и виртуального тела и их границ на экранах дисплеев. Однако, полученное на этом этапе изображение сцены, к сожалению, не реалистично, т.к. вместо реальных изображений рабочей зоны и рук содержит изображения их геометрических моделей.

Для достижения реалистичности изображения необходимо реализовать следующее четвертое действие.

4). Совмещение с заменой незаслоненных фрагментов изображений геометрических моделей внешней среды, рук их реальными изображениями, полученными с помощью TVкамер.

Это действие осуществимо, т.к. в результате предыдущего действия получены в системе координат экранов дисплеев очертания незаслоненных фрагментов. Изображений внешней среды рук, а также виртуального тела. Это позволяет «вырезать» эти фрагменты из соответствующих компьютерных изображений, полученных в результате выполнения пунктов 5 и 6 реализации первого условия погружения, и заменить ими соответствующие фрагменты изображений геометрических моделей, полученных в результате выполнения предыдущего пункта.

Результатом этого действия становится реалистичное изображение рабочей сцены, которое включает реальные стереоизображения рабочей зоны, рук, а также изображения расцвеченного виртуального тела с нанесенной на его поверхность текстурой. При этом имеет место эффект загораживания.

Для достижения еще большей реалистичности визуального восприятия рабочей сцены необходимо выполнить третье условие «погружения» виртуального тела. А именно, необходимо обеспечить изменения ракурса и масштаба изображения рабочей зоны, рук и виртуального тела адекватно изменению позиции/ориентации головы наблюдателя. И эти изменения должны производиться в реальном времени изменения позиции головы и с учетом возможных перемещений виртуального тела и рук наблюдателя.

Для реализации этого условия необходимо выполнить нижеследующие действия.

1). Измерение позиции/ориентации головы, результатом которого являются формирование трех координат, определяющих позицию головы в совмещенной системе координат рабочей зоны и трех углов, определяющих ориентацию головы в этой системе координат.

2). Реализация точного отслеживания (копирования) позиции головы спаренными TVкамерами обзора рабочей зоны, или более точно, отслеживания центрами изображающих плоскостей этих TV-камер позиций «центров» сетчатки глаз.

3). Использование данных о позиции и ориентации головы для формирования изображений упрощенной рабочей сцены (см. пункт 3 реализации второго условия).

Чтобы реализовать вышеописанные функции, т.е. чтобы осуществить визуальный аспект погружения виртуального тела в реальный мир, в случае, если человек наблюдает этот мир с помощью TV-камер, требуется создать соответствующий аппаратнопрограммный комплекс.

Основными функциональными узлами комплекса, структура которого показана на рис.2.3, являются:

- система спаренных подвижных TV-камер для получения стереоизображения реальной внешней среды рабочей зоны робота, отслеживающая возможные линейные и угловые перемещения головы человека;

- система измерения положения и ориентации головы оператора, включающая головной сенсор и систему обработки сенсорной информации о положении/ориентации головы;

- система двух TV-камер, установленных на голове оператора для наблюдения за руками и получения стереоизображений;

- система измерения положений и ориентации всех элементов геометрических моделей рук, включающая сенсоры измерения позиций ладоней, перчатки со вшитыми тензометрическими датчиками для измерения углов сгиба суставов пальцев, а также систему обработки информации о положении и ориентации всех элементов рук;

- индикатор компьютерных стереоизображений, в качестве которого для обеспечения наибольшей реалистичности восприятия целесообразнее всего использовать два дисплея, вмонтированных в головной шлем человека-оператора;

- графическая станция, в конечном счете предназначенная для формирования компьютерного стереоизображения реального мира (рабочей зоны робота) с погруженным в него трехмерным стереоизображением реального тела, а также компьютерное стереоизображение человеческих рук, «взаимодействующих» с виртуальным телом.

Систему спаренных подвижных TV-камер обзора внешней среды (рис.2.3) целесообразно выполнять в виде управляемого робото-подобного устройства, аналогичного устройствам для активного антропоморфного видения. Его основой является оснащенный управляемыми приводами манипулятор с шестью степенями свободы.

Последним звеном манипулятора является платформа с расположенными на ней спаренными TV-камерами, которая должна повторять (копировать) положение и ориентацию головы человека-оператора.

Для реализации процесса слежения должна быть использована специальная система управления, управляющими сигналами для которой являются шесть величин, определяющих желаемые линейное и угловое положения головы оператора в системе координат рабочей зоны.

Система измерения положения и ориентации головы может быть реализована на основе одного из целого ряда известных в настоящее время измерительных устройств.

Для измерения положения и ориентации головы в настоящее время известен целый спектр измерительных устройств. Большинство из них использует электромагнитный принцип, основанный на измерении неоднородного электромагнитного поля, искусственно создаваемого в зоне нахождения человека (Fastrack, Inside track фирмы Polhemus; Flock of Birds, Space-Ped фирмы Ascension Technology Corp.). Используется также принцип ультразвуковой локации (3D Mouse фирмы Logitech), а также принцип лазерной локации и триангуляции (последний представлен, в основном, в патентных разработках) (см. ниже раздел 7).

К недостаткам устройств, основанных на электромагнитном принципе, относятся проблемы с расширением рабочего объема действия устройства; влияние расположенных рядом металлических тел, а также высокая стоимость, хотя точностные характеристики, малые габариты датчиков, высокая скорость обновления информации удовлетворяет большинство систем виртуальной реальности.

В нашем случае весьма заманчиво было бы кардинальным образом расширить рабочий объем действия устройства, чтобы человек-оператор чувствовал себя весьма свободно при перемещении в пространстве. Одновременно желательно было бы, чтобы устройство было не очень дорогим. По-видимому, целесообразно создание устройства, основанного на комбинировании различных принципов действия.

Например, на сочетании инерциального и оптико-телевизионного принципов. В качестве основных датчиков положения в таком устройстве используются инерциальные акселерометры, выходные сигналы которых дважды интегрируются. Для исключения дрейфа нуля этих датчиков предусмотрена коррекция их показаний в заданных ограниченных областях положений головы, в которых голова часто оказывается в процессе работы [12]. Для цели коррекции используется оптико-телевизионное устройство. Входными данными для определения положения головы в этом случае могут служить, например, телевизионные изображения заданным образом расположенных точечных источников инфракрасного излучения [13].

Система двух TV-камер для получения изображений рук может быть выполнена как дополнение к одному из типов стандартного головного шлема оператора с вмонтированными дисплеями. Конструкция дополнения должна быть, чтобы TV-камеры располагались вблизи глаз человека, а направления оптических осей были параллельны друг друга и примерно перпендикулярны плоскости, касающейся глазных яблок и подбородка; желательно обеспечить возможность корректировки направления оптических осей.

Заметим, что TV-камеры наблюдения за руками человека кроме изображения рук могут захватить фон, который находится для наблюдателя позади и ниже рук. Чтобы этого не произошло, возможно использовать специальный экран, помещенный ниже рук и заслоняющий от TV-камер паразитный фон (рис.2.3).

Систему измерения положения и ориентации всех элементов геометрических моделей рук целесообразно осуществлять следующим образом. Положения ладоней рук в инерциальной системе координат рационально измерять с помощью устройства, аналогичного устройству для измерения положения головы. Положения же остальных тел, входящих в модель руки целесообразно определять более дешевым способом, а именно, с помощью весьма малогабаритных тензодатчиков.

Эти датчики вшиты в специальную перчатку и измеряют углы сгиба в суставахшарнирах, соединяющих все тела, входящие в модель руки. Данные об этих относительных положениях, а также данные о положении ладони в инерциальной системе координат позволяют определить положения остальных тел модели руки в инерциальной системе координат.

Индикатор стереоизображения для восприятия виртуального тела, погруженного в реальный мир может быть выполнен на основе одного из целого ряда известных в настоящее время принципов, которые более подробно описаны в пункте …… этого отчета. По-видимому, для достижения наибольшей реалистичности восприятия рабочей сцены целесообразнее всего использовать дисплеи, предназначенные для каждого из глаз оператора, вмонтированные в головной шлем.

Графическая станция должна быть достаточно мощным многопроцессорным компьютером, в котором имеются специальные средства для быстрого оцифровывания TV-изображений (превращения в компьютерное) и предварительной обработки полученного компьютерного изображения.

Рис. 2.3. Общая схема аппаратно-программного комплекса телеуправления с использованием технологии виртуальной реальности Графическая станция должна быть оснащена специализированным пакетом, реализующим все функции, необходимые для осуществления визуального аспекта погружения виртуального тела в реальный мир. Основными функциями, реализованными в форме подпрограмм, которые должен выполнять специализированный пакет, являются нижеследующими:

- формирование геометрических моделей тел; в частности, эти тела могут быть аппроксимированы многогранниками, вершинами которых являются трехмерные точки;

каждая грань является треугольником; входными данными являются массивы точек, принадлежащих поверхности тела в системе координат тела;

- осуществление линейных и угловых перемещений геометрических моделей тел;

входными данными являются геометрические модели тел, координаты полюса тела в инерциальной системе координат рабочей зоны и углы ориентации тела в этой системе координат;

- формирование изображений геометрических моделей с учетом перспективы;

входными данными являются: смещенная и повернутая геометрическая модель (выход предыдущей подпрограммы), координаты смещения и поворота головы в инерциальной системе координат;

- реализация «эффекта загораживания», т.к. удаление невидимых фрагментов изображений тел, заслоненных для глаз наблюдателя другими телами, находящимися ближе к нему, и выделение контуров изображений, не заслоненных (видимых) фрагментов; входными данными являются изображения геометрических моделей (выход предыдущей подпрограммы), а также сами изображенные геометрические модели;

- замена незаслоненных видимых фрагментов изображений геометрических моделей рабочей зоны и рук их реальными компьютерными изображениями, полученными с помощью TV-камер, а также замена незаслоненных видимых фрагментов геометрической модели виртуального тела его компьютерно-синтезированным изображением.

Чтобы обеспечить функционирование этого пакета необходимо подготовить следующие данные:

- исходные данные для формирования геометрической модели внешней среды; ими, в частности, может быть массив трехмерных точек, принадлежащий поверхности, делящей все пространство рабочей зоны на две области: проницаемую для световых лучей и непроницаемую ими;

- исходные данные для формирования геометрических моделей плеч, предплечий, кистей обеих рук; ими также могут быть массивы трехмерных точек, принадлежащих поверхностям геометрических моделей;

- исходные данные для формирования геометрической модели виртуального тела;

Кроме того, в течение работы пакета необходимо получать текущие данные:

- о координатах смещения и угловой ориентации головы в инерциальной системе координат;

- о координатах смещения и угловой ориентации плеч, предплечий и всех тел, входящих в модели кистей рук;

- о координатах смещения и угловой ориентации виртуального тела.

Получение данных, необходимых для формирования геометрических моделей внешней среды и рук и само формирование этих геометрических моделей возможно осуществлять целым рядом способов. Задачу несколько упрощает то обстоятельство, что на период времени получения не накладывается жестких ограничений, поскольку модели можно сформировать заранее до реализации процесса погружения виртуального тела в реальный мир.

Описанный подход реализации визуального аспекта погружения виртуального тела в реальный мир требует решения целого ряда проблем. Наиболее принципиальными и сложными среди них являются две проблемы.

Первая – проблема точного совмещения видимых и незаслоненных фрагментов изображений реальной внешней среды и рук с изображением соответствующих фрагментов их геометрических моделей и поддержания этого точного совпадения в реальном времени.

Вторая проблема – проблема обеспечения непрерывности восприятия изображения.

Проведенные исследования показывают, что обработка данных для получения изображения сцены требует проведения огромного количества вычислений, что серьезно затрудняет смену кадров изображений с необходимой периодичностью для обеспечения непрерывности восприятия.

Острота проблемы усугубляется тем, что изображение сцены динамично, поскольку руки оператора и виртуальный объект являются подвижными. Кроме того, ракурс и масштаб изображения будут изменяться из-за возможного перемещения в пространстве человека-наблюдателя.

Сложность решения проблемы совмещения определяется высокой разрешающей способностью сетчатки человеческого глаза, которая составляет 0,5 угловой минуты. В случае использования видеокамеры для наблюдения реального мира даже в самых лучших видео системах один pixel на экране дисплея, вмонтированного в головной шлем, соответствует 2,5 угловой минуты. Таким образом, даже один pixel несовпадения будет восприниматься человеческим глазом и снизит реалистичность восприятия сцены.

Источники ошибок совмещения подразделяются на два вида: статические и динамические. Статические ошибки являются ошибками, которые имеют место даже, когда точки зрения наблюдателя и позиция объекта наблюдения в рабочей зоне остаются полностью неизмененными.

Динамические ошибки являются ошибками, которые не появляются до тех пор, пока наблюдатель или наблюдаемый объект не перемещаются. В случае использования нашлемных дисплеев для наблюдения за реальным миром при реализации систем виртуальной реальности или т.н. добавленной реальности (Augmented Reality) динамические ошибки являются основной составляющей ошибки совмещения [14].

Для успешного решения проблемы обеспечения непрерывности восприятия изображения необходим разумный компромисс между детальностью и реалистичностью визуального представления виртуального объекта и требуемых затрат времени на обработку кадра изображения сцены. Целесообразно использовать также целый ряд приемов, позволяющих снижать объем необходимых вычислений.

Например, при формировании изображений геометрических моделей объектов вначале целесообразно выявлять объекты, попадающие в поле зрения нашлемных дисплеев. После этого в выделенных объектах целесообразно выявлять обратные невидимые для наблюдателя стороны тел, а также фрагменты объектов, не видимых из-за затенения другими объектами. И все вычисления, связанные с получением изображений этих частей объектов можно не производить.

Кроме того, должно быть осуществлено использование специального головного шлема, с помощью которого реализуется интеграция TV-стереоизображения виртуального тела и оптических изображений внешней среды и человеческих рук.

Основными функциональными узлами аппаратно-программного комплекса для реализации вышеупомянутых действий те же, что и в первом случае, за исключением спаренных подвижных TV-камер для наблюдения вешней среды и TV-камер, установленных на голове оператора для наблюдения за человеческими руками.

Что касается индикатора компьютерного стереоизображения виртуального тела, погруженного в оптическое изображение внешней среды и человеческих рук, то в качестве него целесообразно использовать специальный нашлемный индикатор. Он содержит два дисплея, вмонтированных в шлем, на которые выводятся компьютерные изображения виртуального тела, предназначенные для левого и правого глаз, а также оптическую систему, которая накладывает на стереоизображение виртуального тела оптические изображения внешней среды и рук в соответствующих масштабах.

§2.3 Реализация реалистичного визуального восприятия виртуального объекта Визуальный эффект погружения виртуального тела в реальную внешнюю среду или, в другой терминологии, добавления этого тела к реальности, в случае, когда человек использует видеокамеру (первый вариант погружения), означает нижеследующее.

Во-первых, глаза человека "переносятся" в интересующий его дистанционно удаленный участок внешней среды (рабочую зону) путем использования для достижения стереоэффекта двух спаренных TV-камер, помещенных в эту зону, формирующих и передающих изображения рабочей зоны на два дисплея (для левого и правого глаз), вмонтированных в головной шлем оператора.

Кроме того, с помощью двух других специальных TV-камер, расположенных на голове оператора, в районе его глаз, формируются изображения рук оператора, передаваемых на два нашлемных дисплея.

Во-вторых, с помощью компьютерного синтеза формируются и передаются на вышеупомянутые дисплеи два изображения виртуального тела, два изображения геометрической (топографической) модели1 рабочей зоны, представленной в системе координат рабочей зоны, как бы полученных с помощью двух виртуальных камер, находящихся в тех же позиции/ориентации относительно модели рабочей зоны, что и реальные камеры.

Также формируются изображения геометрических моделей рук человека, в их реальной текущей конфигурации, как бы полученных с помощью двух виртуальных камер, находящихся в тех же позиции и ориентации, что и реальные TV камеры, находящиеся в районе глаз человека на голове оператора.

В-третьих, ракурс и масштаб изображения виртуального тела, а также моделей человеческих рук и рабочей зоны соответствуют положению/ориентации головы, точнее, глаз человека и изменяются в реальном времени, следуя текущему положению/ориентации головы. Благодаря этому в идеальном случае на нашлемных дисплеях осуществляется совмещение изображений геометрических моделей рабочей зоны и рук с их реальными изображениями при любых позиции/ориентации головы оператора, а также изменение масштаба и ракурса изображения виртуального тела, адекватные изменениям В-четвертых, реализуется "экранный эффект" или "эффект загораживания", т.е. части изображений предметов реальной внешней среды, находящиеся для наблюдателя позади виртуального объекта или его рук, и поэтому невидимые им, заменяются соответствующими частями изображений виртуального объекта или рук человека. И, наоборот, части изображений виртуального объекта или рук человека, находящиеся для наблюдателя позади предметов внешней среды, и поэтому невидимые им, заменяются соответствующими частями изображений.

В-пятых, позиция и ориентация виртуального тела задается человеком, а позиция и ориентация наблюдаемых виртуальных рук адекватна их текущим реальным позициям.

Для реализации визуального эффекта "погружения" предлагается программноаппаратный комплекс, структура которого изображена на рис.2.4 и рис.2.5.

Схема на рис.2.4 соответствует случаю, когда виртуальным объектом является телеуправляемый манипулятор. Вариант на рис. 2.5 соответствует случаю, когда виртуальный объект является произвольным телом, перемещаемым человеческими руками.

Указанный комплекс включает нижеследующие функциональные блоки:

Блок 1 Стереопара подвижных TV камер для формирования изображений удаленной реальной внешней среды (рабочей зоны); эти камеры смонтированы и перемещаются специальным робото-подобным устройством, обычно применяемым для так называемого активного антропоморфного видения и должны отслеживать позицию/ориентацию головы человека-оператора.

Блок 2 Система управления позицией/ориентацией подвижными TV камерами.

Блок 3 Система отслеживания позиции/ориентации головы человека (Head Tracker System - HTS), содержащая устройство для получения первичных данных о позиции/ориентации головы и систему обработки этих данных для вычисления трех линейных и трех угловых текущих координат головы человека; эти шесть координат являются заданиями для системы управления робото-подобным устройством (блок 2), с помощью которого сдвоенные TV камеры отслеживают позицию/ориентацию головы.

Система отслеживания позиции/ориентации головы, в принципе может быть реализована на одном из многих принципов: электромагнитном, инерционном и т.д.

В данном случае на рис. 2.4 и рис. 2.5 представлен оптико-телевизионный принцип, когда в качестве первичных данных о позиции/ориентации головы используются TV изображения четырех маркеров, смонтированных на головном шлеме оператора.

Положение TV камеры, формирующей изображения маркеров, жестко связано с системой координат, в которой определяется позиция/ориентация головы.

Рис. 2.4 Структура аппаратно-программного комплекта для реализации визуального эффекта «погружения» с отображением виртуального манипулятора в реальном мире Блок 4 Специальные сдвоенные видеокамеры, смонтированные на голове человека в районе его глаз для формирования стереоизображения рук человека.

Блок 5 Система отслеживания позиций и ориентаций всех подвижных элементов рук человека (предплечий, ладоней, фаланг пальцев); они являются элементами геометрических (топографических) моделей рук человека. в случае, если виртуальным объектом является манипулятор, этот блок не используется, однако, в этом случае необходима информация о текущих значениях суставных координат виртуального манипулятора, получаемая с суставных датчиков положения задающей руки (см. Блок 1), суставные координаты которой копируются виртуальным манипулятором.

Блок 6 Два вмонтированные в головной шлем дисплея (левый и правый) для представления левому и правому глазам оператора следующих изображений:

- внешней среды, полученных с помощью подвижных TV камер, перемещаемых робото-подобным устройством, - рук, получаемых со сдвоенных видеокамер, смонтированных в районе глаз оператора, - виртуального тела, получаемого с помощью компьютерного синтеза.

Блок 7 Графическая станция 1, основным назначением которой является реализация визуального эффекта «погружения» виртуального объекта в реальную внешнюю среду. Это требует выполнения нижеследующих функций:

a) Ввод и оцифровывание TV-изображения рабочей зоны, полученного с помощью левой TV камеры для обзора рабочей зоны;

b) Ввод текущих значений координат, характеризующих позицию/ориентацию всех подвижных элементов геометрических моделей рук человека или, в случае, если виртуальным объектом является манипулятор, ввод текущих значений суставных координат задающей руки, определяющих текущую конфигурацию виртуального манипулятора, отслеживающего положения задающей руки.

Рис. 2.5 Структура аппаратно-программного комплекса для реализации визуального эффекта «погружения» виртуального тела в реальный мир Генерация геометрической модели виртуального объекта, модели рабочей зоны; в случае, если виртуальным объектом является тело, перемещаемое руками человека, то дополнительно необходима генерация геометрических моделей рук человека на основе предварительно введенных данных, характеризующих эти модели, а также на основе ранее введенных координат, характеризующих позицию/ориентацию всех подвижных элементов задающей руки; в случае. если виртуальным объектом является манипулятор, то для генерации модели дополнительно используются данные о текущих суставных координатах задающей руки.

c) Ввод и оцифровывание TV-изображения человеческих рук, полученных с помощью левой специальной TV камеры на голове человека.

d) Ввод текущих координат позиции/ориентации левой мобильной TV камеры обзора рабочей зоны, а также в случае, если виртуальным объектом является тело, перемещаемое руками, ввод текущих координат позиции/ориентации левой TV специальной камеры на голове человека, предназначенной для наблюдения за руками.

Следует заметить, что позиция/ориентация TV камеры обзора внешней среды в идеале должны повторять позицию/ориентацию глаз человека, как и позиция/ориентация TV специальных камер, находящихся на голове человека, незначительные отклонения должны быть выявлены в процессе калибровки и учтены при формировании изображений геометрических моделей виртуальных объектов, рук и внешней среды.