«Г.В. АЛФЕРОВ, Ф.М. КУЛАКОВ, А.И. НЕЧАЕВ, С.Э. ЧЕРНАКОВА ИНФОРМАЦИОННЫЕ СИСТЕМЫ ВИРТУАЛЬНОЙ РЕАЛЬНОСТИ В МЕХАТРОНИКЕ И РОБОТОТЕХНИКЕ Учебно-методическое пособие Санкт-Петербург 2007 2 УДК 517.9+519.8 М34 Р е ц е н з е н ...»

- оператор рассматривает 3D-изображение из среднего положения, при этом изображение остается неподвижным;

- как только голова оператора начинает перемещаться вокруг 3D-изображения, система HTS вычисляет изменение угла обзора g (угла между нормалями к глазному базису и к экрану) и немедленно выдает команду на поворот в направлении, противоположном повороту головы оператора, на величину q, связанною с величиной g зависимостью:

Соотношение между q и g может быть, в частности, пропорциональным, с некоторым постоянным коэффициентом К:

В этом случае полный угол W обзора 3D-изображения составит:

Положим, например, К=2. Тогда при углах обзора g = ± 30° 3D-изображение дополнительно развернется на углы q = ± 60°, и оператор фактически сможет осмотреть 3D-изображение с трех сторон (W = ± 90°). Для обозрения 3D-изображение со всех сторон (W = ±180°) оператору достаточно отклониться от нормали к монитору на углы обзора g = ± 60°. При этом, естественно, диапазон рабочих углов по горизонтали применяемой системы HTS также должен быть не менее ± 60°, что вполне реально для современных систем HTS (рис. 4.18).

Далее будут рассмотрены особенности построения человеко-машинного интерфейса (ЧМИ) для обучения и управления мехатронными системами, основанного на использовании геометрических моделей и систем виртуальной реальности.

Интеллектуальный человеко-машинный интерфейс В данной главе рассматриваются информационные аспекты удаленного управления динамическими объектами в режиме реального времени, основанного на использовании эффективного человеко-машинного интерфейса (ЧМИ).

Основная задача, рассмотренная в предыдущих главах данного курса, связана с обеспечением тактильного, силомоментного и визуального аспектов отображения удаленной внешней среды с эффектом присутствия человека-оператора в зоне действия дистанционно-управляемого робота.

Вторая задача обучения мехатронной системы (робота), тесно связанная с первой, определяется назначением системы ЧМИ - дистанционное управление движениями осмотра внешней среды и выполнения рабочих операций автономной интеллектуальной телеуправляемой мехатронной системой (роботом).

В данной главе приводятся сведения о разработках человеко-машинного интерфейса (ЧМИ) для телеробототехники с использованием систем слежения за естественными движениями головы (HTS) и рук (HTS+) оператора.

Обсуждается методика обучения телеуправляемого робота методом показа (демонстрации) естественных движений человеком-оператором с использованием понятия 3D модели формы движения, аналогичной модели конфигурации формы объектов.

§5.1 Использование традиционных манипуляторов для телеуправления и обучения мехатронных систем Рассмотрим простейший пример в использовании технологии Augmented Reality по обеспечению ввода в локальный контур управления целевых позиций для рабочего инструмента, информации о координатах препятствий, а также другой информации о внешней среде, полезной для автономного выполнения элементарных операций локальной системой управления.

Для этой цели можно использовать т.н. управляемую человеком-оператором виртуальную точку, стереоизображение которой будет прибавлением к изображению реальной внешней среды робота.

Человек, используя специальный джойстик, может совмещать эту точку, названную в «virtual pointer» с интересующими его фрагментами стереоизображения реальной среды (remote points) [46].

Традиционные средства обучения и управления движениями предполагают наличие манипулятора «мышь», трекингбола, джойстика или других компьютерных манипуляторов.

В настоящее время начинают использоваться новые виды интерфейсов, обеспечивающих более естественные возможности задания движений как головой, так и рукой или даже отслеживающие жесты и движения всего тела человека.

В главе 4 были рассмотрены основные принципы построения такого вида ЧМИ на примере системы отслеживания движений головы человека-оператора (HTS). Рассмотрим далее некоторые принципы действия такой системы.

§5.2. Принцип действия прототипа HTS Алгоритм функционирования аппаратуры HTS представлен на функциональной схеме (рис. 5.1), которая объединяет два варианта исполнения оптической HTS: активный и пассивный. Рассмотрим процесс функционирования аппаратуры HTS [47].

1). Человек-оператор (О) выполняет естественные движения головой в заданном рабочем объеме (HMB). При этом нашлемный модуль реперного устройства (RDU), находящийся на голове оператора перемешается в пространстве рабочего объема по 6-ти координатам: трем линейным перемещениям (xh, yh, zh) и трем углам поворота (xh, yh, zh) в системе координат, связанной с головой человека (Xh, Yh, Zh).

2). Модуль RDU содержит 3 или 4 активных репера (ИК излучающих диода), жестко закрепленных на основании RDU; координаты каждого репера 1…4 (xr, yr, zr) точно известны в системе координат, связанной с конструкцией RDU (Xr, Yr, Zr). Конструкции нескольких вариантов RDU представлены ниже.

3). Блок телекамер (СU), закрепленный неподвижно на основании пульта управления или на мониторе PC, располагается таким образом, чтобы реперы RDU при движении головы оператора в заданном рабочем объеме (HMB) постоянно находились в поле зрения объективов телекамер. Количество телекамер в прототипе СU устанавливается 1 или 2 шт.

в зависимости от варианта компоновки.

4). Излучение ИК активных реперов RDU попадает в объективы телекамер СU и фокусируется на чувствительной поверхности ПЗС камеры, которая преобразует оптическое изображение реперов в электрический видеосигнал телевизионного изображения. При этом центр изображения каждого репера имеет координаты (xp, yp) в плоскости чувствительной поверхности ПЗС-камеры (в системе координат Хк, Ук).

5). Управление работой СU, формирование необходимых питающих напряжений и синхронизация телекамер между собой осуществляются блоком управления телекамерами (СCU). Для варианта активной HTS наиболее важной функцией СCU является стробирование экспозиции телекамеры, синхронно с импульсным излучением ИК диодов (IRD). При этом вследствие значительного сокращения времени экспозиции телекамеры (до 50 мкс и менее) примерно в 400 раз уменьшается ее чувствительность к фоновым солнечным засветкам и мешающему влиянию ламп освещения, которые могут попасть в поле зрения телекамер.

6). Видеосигнал с выхода СU поступает для цифровой обработки в блок видеопроцессора (VPU), который состоит из нескольких плат, устанавливаемых в стандартные слоты PCI компьютера (PC) типа Pentium.

Основные функции VPU состоят в оцифровке видеосигнала, фильтрации и селекции изображения реперов на фоне помех, а также определения координат энергетического центра изображения с субпиксельной точностью.

7). В результате цифровой обработки видеосигнала в VPU, выполняемой в режиме реального времени, в оперативную память PC поступают данные о координатах центров изображений реперов (xp, yp). Для известных внутренних и внешних параметров оптической системы, состоящей из объектива и ПЗС-матрицы, уточняемых в процессе калибровки камер, по координатам изображения реперов (xp, yp) вычисляются пространственные координаты реального положения активных реперов (xс, yс, zc) в системе координат, связанной с телекамерой (Xc, Yc, Zc).

8). C использованием прототипа программного обеспечения HTS, реализованного в РС, выполняется обработка изображения реперов (дополнительная селекция и идентификация), а также расчет пространственных координат положения и ориентации RDU в системе координат СU.

Различные принципы построения перспективных средств управления посредством движения головы человека-оператора мехатронной системы приведены ниже в главе 7.

Для отработки принципов телеуправления мехатронными системами космического и медицинского применений в лаборатории информационных технологий в управлении и робототехнике (ЛИТУР) СПИИРАН разработаны и изготовлены несколько прототипов систем HTS с различными конструкциями блока реперных устройств (RDU), размещаемого на голове человека-оператора.

В прототипе HTS, который демонстрировался на Международной конференции в марте 2002 г. [48], используется конструкция реперного устройства, размещенного на микро-телефонной гарнитуре, с которой работает человек-оператор при телеуправлении роботом-манипулятором (рис. 5.2).

Рис. 5.2 Размещение реперного устройства (RDU) на микро-телефонной гарнитуре Конструкция RDU является универсальной и работает как в активном, так и в пассивном режиме HTS. При конструировании RDU использовались некоторые оригинальные решения (см. Рис. 5.3):

Рис. 5.3 Изображения RDU: исходное (a), цветовая селекция (б), ИК – селекция (в) 1). Реперный узел представляет собой ИК-диод, закрытый от повреждения полусферическим оптическим рассеивателем (рис. 5.3 а). Применение оптического рассеивателя позволило увеличить угловую диаграмму излучения ИК-диодов, что в свою очередь обеспечивает увеличенный диапазон допустимых углов поворота головы до град. и более по азимуту.

2). Кроме того, выполнение оптического рассеивателя из цветного (зеленого) материала, обеспечивает возможность работы HTS в пассивном режиме с использованием цветовой селекции реперов на фоне лица человека и окружающего фона (рис. 5.3 б, в).

3). Расположение трех реперов на креплении по дуге в направлении оптической оси СU, в отличие от традиционного размещения по углам треугольника в плоскости, перпендикулярной оси СU, позволило увеличить чувствительность HTS к малым углам поворота головы человека-оператора, характерным для процесса телеуправления при наблюдении изображений на мониторе PC.

4). Использование легких пластиковых материалов в конструкции RDU позволило достигнуть массы RDU не превышающей 35 г, что легче известных аналогов такого рода конструкций.

5). Конструкцией RDU предусмотрено также использование ее без гарнитуры, непосредственно надевая на голову оператора, при этом возможно питание ИК диодов от автономного низковольтного источника (рис. 5.4).

a) облегченная конструкция RDU б) ИК – селекция изображения Рис. 5.4 Конструкция RDU из легких пластиковых материалов Разработанный прототип конструкции блока пассивного реперного устройства (RDU) для работы со стерео-очками показан на рис. 5.5.

Рис. 5.5 Конструкция пассивного RDU на стерео очках Для пассивного варианта прототипа HTS используются малогабаритные стандартные черно-белые (B/W) ПЗС-телекамеры с числом элементов разложения изображения 768х576 и цветные (PAL) c разрешающей способностью не хуже 400 ТВ линий (рис. 5.6).

Рис. 5.6 Цветная камера пассивной HTS (а) и цветная USB-камера (б) для Функциональная схема телеуправления роботом-манипулятором с использованием HTS и стерео-очков при дистанционном наблюдении внешней среды представлена на рис. 5.7.

RRU HTS

Рис. 5.7 Функциональная схема дистанционного наблюдения с использованием HTS Стерео телекамеры наблюдения, установленные на роботе RRV, управляются человеком-оператором естественными движениями головы. Наиболее эффективен процесс повторения движений головы человека с помощью стерео телекамер с использованием прототипа HTS, который обеспечивает отслеживание 3-х линейных перемещений и 3-х углов поворота головы оператора.

Принцип дистанционного наблюдения с использованием HTS состоит в следующем:

на пункте управления (ПУ) оператор находится перед монитором PC, реперное устройство (RDU) вмонтировано в гарнитуру, одетую на его голову.

Поворот головы оператора (RDU) регистрируется блоком телекамер (TVU) HTS и обрабатывается блоком видео процессора (VPU). Управление коммутацией (стробированием) телекамер TVU осуществляет блок управления телекамерами (TCU).

Результаты вычислений координат положения и ориентации головы оператора передаются в PC системы управления роботом RRV (RCS RRV), а затем, после предварительной обработки в RCS RRV, где происходит пересчет в координаты робота и выдача сигналов управления в RRV. В результате робот отрабатывает заданную движением головы человека-оператора траекторию осмотра внешней среды.

Видео сигнал обзорных камер RRV передается на PC пункта управления, которая формирует для оператора стерео отображение ВС на мониторе, перед которым он сидит.

Надев стерео очки, оператор видит объемное изображение объектов ВС и может их рассматривать более подробно, поскольку поворачивая и приближая к камерам TVU голову, он тем самым изменяет ракурс и масштаб наблюдения объектов.

До начала работы человек-оператор должен иметь возможность проверить систему HTS в автономном режиме. Для этого разработана компьютерная модель (GM) и специальный модуль связи для управления ею, как и роботом по 6-ти координатам.

§5.3 Обучение естественными движениями руки оператора При использовании руки человека-оператора, оснащенной реперным устройством, для телеуправления роботом-манипулятором достигается больший диапазон и естественность движений, по сравнению с применением копирующей рукоятки типа «Мaster-Arm».

В этом случае обеспечивается естественная координация движений руки и головы (взгляда) человека-оператора: головой человек управляет движениями обзорной телекамеры, например установленной на дополнительном манипуляторе, а рукой управляет позицией и ориентацией схвата основного робота манипулятора (рис. 5.8).

Рис. 5.8 Использование размещенного на руке человека-оператора устройства для обучения и управления роботом-манипулятором Экспериментальные исследования системы ЧМИ с прототипом HTS, в т.ч. для телеуправления естественными движениями руки человека представлены в статье [49].

§5.4 Использование методов управления взглядом В ряде специальных случаев дистанционного управления перемещение виртуальной точкой по стереоизображению реальной сцены очень полезно осуществлять посредством так называемого слежения за взглядом. Очевидно, при фиксированном положении глаза относительно дисплея (это обычно имеет место при использовании шлема с вмонтированными дисплеями) любой позиции точки на экране, определяемой двумя декартовыми координатами, однозначно соответствуют две угловые координаты, определяющие направление взгляда на эту точку, связь угловых и декартовых координат заранее известна.

Поэтому возможно использовать угловые смещения зрачков правого и левого глаз для управления позицией изображения виртуальной точки на правом и левом дисплеях шлема, что называется управлением посредством направления взгляда. Тогда при сосредоточении взгляда на интересующем нас фрагменте внешней среды (the remote point) устанавливаются соответствующие угловые смещения каждого из глаз.

Эти величины могут быть измерены специально созданными для этих целей устройствами измерения и введены в специальный компьютер, соответствующее программное обеспечение которого позволяет определить декартовые координаты изображений виртуальных точек на каждом из дисплеев, а, следовательно, и бинокулярный параллакс.

Это в свою очередь позволяет определять координаты фрагмента внешней среды в системе координат шлема, т.е. головы человека-оператора. При известных положении и ориентации головы в системе координат рабочей зоны положение фрагмента в этой системе координат легко определимо.

Чрезвычайно интересным и полезным использованием управления виртуальной точкой посредством слежения является использование его с целью т.н. «биотехнического формирования» геометрической модели внешней среды робота, т.е. поверхности, представленной в системе координат рабочей зоны, делящей пространство зоны на две области: проницаемую и непроницаемую для световых лучей. Без использования такой модели, как выше было уже отмечено, невозможно использование технологии Virtual Reality при дистанционном управлении роботами.

Участие человека-оператора в процессе формирования этой модели состоит в том, что он естественным образом должен осматривать изображение рабочей зоны, представленной на дисплеях, вмонтированных в шлем. При таком осмотре устройства измерения угловых смещений левого и правого зрачков будут измерять соответствующие углы смещения и направлять их в специальный компьютер для формирования по этим данным координат управляемой виртуальной точки в координатах шлема и затем в системе координат рабочей зоны.

Очевидно, при осмотре рабочей зоны взгляд сосредотачивается на фрагментах поверхности рабочей зоны, поэтому виртуальная точка будет скользить по поверхности рабочей зоны, представляющей ее геометрическую модель. При достаточно высокой скорости обновления информации об углах в процессе осмотра рабочей зоны человеком будет происходит быстрое накопление массива точек, принадлежащих разделяющей поверхности. Эти данные и позволяют достаточно быстро и естественным для оператора путем формировать геометрическую модель внешней среды.

Возможность достаточно детального осмотра поверхности не только за счет сканирования ее взглядом, т.е. согласованного движения зрачков, но и за счет смещения головы оператора в большом объеме пространства позволяют создать весьма детальную модель внешней среды.

По этим данным в графической станции для вышеупомянутых целей может быть сформировано изображение трехмерной виртуальной точки, управляемой взглядом.

Осуществляются наблюдения на мониторе графической станции за движением виртуального манипулятора, т.е. графической модели реального манипулятора, под действием тех же управлений, которые должны быть использованы для управления реальным манипулятором.

Некоторые сведения о перспективных системах управления взглядом человекаоператора приведены ниже в разделе 7.4.

§5.5 Современная концепция обучения мехатронных систем Современная концепция дистанционного супервизорного управления отличается от вышеописанных более совершенным подходом к подготовке автономных действий мехатронной системы (робота). Этот подход предполагает использование специального способа программирования, называемого обучением «показом» (teaching by show) или «демонстрацией» (learning by demonstration) [50].

Он является задачно-ориентированным программированием, предусматривающим формирование программы, элементами которой служат достаточно простые действия, полностью автономно выполняемые локальной системой управления роботом. Эти действия называются элементарными движениями (elemental moves).

В наиболее перспективном варианте вышеупомянутой концепции набор элементарных движений заранее не определен и может формироваться в процессе использования робота в соответствии с областью его применения. Причем каждое из набора действий генерируется посредством обучения.

В работе [51] это обучение названо обучением показом. Оно принципиально отличается от распространенного метода обучения, например, обучения промышленных роботов, при котором результатом обучения является желаемые позиция или траектория рабочего инструмента в системе координат корпуса робота или в обобщенных суставных координатах робота.

При обучении методом показа желаемые позиции или траектория формируются относительно объектов рабочей зоны робота (внешней среды) или, точнее, в системах координат объектов внешней среды, с которым должен взаимодействовать робот (целевых объектов).

Причем эти позиции и траектории могут быть представлены косвенно в виде величин, измеряемых различными сенсорами, например, измеряющими дистанцию рабочего инструмента до объектов внешней среды, или в виде координат характерных точек изображений объектов внешней среды, полученных с помощью TV-камеры, установленной на рабочем инструменте или в виде показаний силомоментного запястного датчика и т.д.

Косвенные величины определены известным образом через координаты рабочего инструмента робота в системе координат «целевых» объектов рабочей зоны, поэтому всегда возможен переход к этим координатам от косвенных величин. Вышеуказанные особенности представления желаемых траекторий и позиций робота при обучении методом показа позволяют успешно воспроизводить желаемые действия робота независимо от возможных изменений позиций целевых объектов после обучения.

Это объясняется тем, что координаты желаемых позиций и желаемые траектории, представленные в системах координат целевых объектов, не зависят от позиций этих объектов в системе координат рабочей зоны.

Для реализации функции подготовки автономных действий дистанционно управляемого робота в состав глобального контура управления роботом необходимо ввести дополнительные технические и программные средства, позволяющие:

- осуществлять обучение робота набору вышеупомянутых элементарных действий, которые являются элементами программы, полученной оператором в результате задачно-ориентированного программирования робота с целью подготовки его к выполнению сложной манипуляционной задачи;

- формировать методами задачно-ориентированного программирования программу действий робота, соответствующую сложной манипуляционной задаче;

- осуществлять предварительный просмотр результатов выполнения составленной программы действий до фактического ее выполнения роботом с целью ее возможной коррекции.

§5.6 Использование виртуальной модели манипулятора при обучении Обучение робота элементарным действиям методом показа может быть обеспечено на основе технологии Virtual Reality или Augmented Reality, т.е. путем использования графической модели, которая является изображением виртуального манипулятора, кинематическая схема, конструкция и внешний вид которого совпадает с реальным.

В отличие от вышеописанных случаев использования такой модели для проверки результатов обучения и будущих действий реального манипулятора в случае обучения показом помимо графической модели должны быть сформированы модели всех сенсоров, которыми снабжен реальный манипулятор (визуальных, лазерных дистанционных и т.д.).

С помощью этих моделей должны формироваться выходные величины, которые генерировались бы реальными сенсорами манипулятора, если бы позиции виртуального и реального манипуляторов относительно объектов рабочей зоны совпадали. Для реализации процесса обучения человек должен «показывать» роботу-манипулятору «правильное» выполнение элементарного действия.

С этой целью он должен соответствующим образом перемещать виртуальный роботманипулятор относительно объектов рабочей зоны, например, с помощью задающей руки с активным отражение усилия. Выходные сигналы задающей руки в этом случае должны быть управлениями для графической модели, реализованной на графической станции.

При «показе», который в «принципе» может быть многократным, человек формирует правильное действие. Для этого он наблюдает за перемещением графической модели руки, погруженной в изображение внешней среды робота, и оценивает адекватность этих перемещений.

Кроме того, он должен воспринимать и оценивать усилия, передаваемые на руку со стороны управляющей руки, наконец, визуально воспринимать выводимые на нашлемные дисплеи графической станции выходные величины реальных сенсоров, формируемые их моделями.

Формирование программы действий робота, соответствующей выполнению сложной манипуляционной задачи, требует разработки задачно-ориентированного языка программирования с интерпретатором, а также соответствующие средства редактирования и отладки. Для этой цели целесообразно использовать центральный управляющий компьютер, связанный как с графической станцией, так и с управляющим компьютером локальной системы управления манипулятором.

Предварительный просмотр результатов составленной программы действий не требует дополнительных средств помимо вышеперечисленных используемых для обучения элементарным действиям и для задачно-ориентированного программирования.

Таким образом, для осуществления современной концепции дистанционного управления в глобальный контур управления помимо уже упомянутых биотехнических и программных средств необходимо еще ввести дополнительные средства, позволяющие осуществлять обучение показом.

К ним, в первую очередь, относятся реализованные на графической станции компьютерные модели сенсоров робота, формирующие выходные данные реальных сенсоров. С помощью этих моделей оператор может оценивать степень «правильности»

выполнения операции, в частности, адекватность усилий взаимодействия робота с объектами внешней среды. Информация об усилиях отображается как в виде числовых значений на нашлемных дисплеях, так и в виде реальных усилий воспринимаемых рукой человека через задающую руку.

Для этой цели соответствующий сигнал, формируемый компьютерной моделью силомоментного сенсора передается от графической станции к системе силомоментного управления задающей руки. Он воспринимает его как желаемое значение вектора усилия, которое должно быть воспринято рукой оператора.

В число дополнительных средств входит также задачно-ориентированный язык программирования робота с интерпретатором, средствами редактирования и отладки программ. Эти средства используются центральным управляющим компьютером.

§5.7 Осмотр сцены посредством движения руки с телекамерой в браслете Дальнейшее развитие методов "активного видения" для получения информации при восстановлении трехмерных сцен предполагает реализацию автоматического распознавания и измерения позиций характерных точек (признаков) объекта при выполнении осмотра либо манипулятором, либо просто рукой оператора с закрепленной на ней телекамерой по принципу “глаз-в-руке”.

Осмотр сцены с помощью телевизионной системы может выполняться роботом или рукой человека по траектории, форма которой зависит, главным образом, от формы объекта (сцены) и может быть адаптирована к информации получаемой на предыдущем шаге. В процессе работ по данному проекту разработана методика измерения пространственного положения телевизионного сканера, позволяющая выполнять сканирование простым гибким манипулятором или даже рукой человека [52].

§5.8 Технология “виртуального наблюдателя” для телемедицины Технология «Виртуального наблюдателя» разработана на основе мульти-модального человеко-машинного интерфейса для телемедицины и медицинской робототехники. Она предполагает создание высокореалистичного эффекта присутствия человека-оператора в зоне нахождения объекта управления, которая находится на значительном расстоянии.

Для этого используются виртуальные модели и управляемые компьютерно синтезированные 3D-изображения виртуальных объектов, погруженные в изображение реальной среды. В последние годы исследованы пути решения основных проблем реализации данной технологии, а именно, проблема точного совмещения компьютерно синтезированного изображения геометрической модели внешней среды с ее реальным изображением и проблема реализации непрерывности восприятия этих изображений в режиме реального времени.

Стереоскопическая система как элемент технологии «Виртуального наблюдателя»

позволяла видеть окружающую среду и свои руки в нем посредством телевизионных камер через стерео очки-дисплеи и производить простейшие манипуляции в этой среде.

Основная цель разработки указанных технологий состояла в создании технологии взаимодействия с удаленными объектами на основе простых (cost-effective), надежных и устойчивых технических средств телеуправления для реальных условий работы человекаоператора.

Разработанный интерфейс с использованием 3D-модели виртуальной реальности во время операции позволит контролировать ход операции, исключить ряд возможных ошибок при планировании операции и снабдить хирурга важной визуальной информацией. Предлагаемые методы позволяют автоматизировать решение задач навигации (т.е. вычисление координат, ориентации и скорости) медицинского инструмента и адаптивного управления движением хирургического робота [53].

Графический интерфейс и реализация алгоритмов навигации и определения траектории нейрохирургического инструмента является эволюционным переходом от расчетов координат в ручном режиме к автоматизированным методам. Эти методы и средства является только частью комплексного решения проблемы организации операционной нового поколения, основанной на применении информационных технологий и РТС.

Виртуальная операционная (рис.5.9) должна максимально напоминать реальную, поскольку для врача работа в привычных условиях будет более эффективной и продуктивной. В соответствии с этим она наполняется знакомыми медицинскими инструментами и медицинскими роботами, которые в компьютерном представлении обладают дополнительными свойствами.

В таких условиях появляется возможность проведения пробных учебных операций не на пациенте, а на его виртуальной модели. Проведение операции на виртуальном (электронном) пациенте можно рассматривать как этап планирования реального хирургического вмешательства. Вторая важная задача, решаемая при виртуальной операции – это повышение профессионального уровня врача и медицинского персонала.

Она решается посредством совмещения теоретических и реальных знаний.

Информация о проведенной имитации операции, данные о реальной и виртуальной операции и последующая информация о состоянии пациента, объединяются в реальную картину лечения. По прошествии некоторого времени всегда можно вернуться к прошедшим операциям для сравнительного анализа и выяснения эффективности разных методов лечения. Аналогично могут совершенствоваться не только практикующие врачи, но и молодые студенты и аспиранты, обучающиеся навыкам работы на новом оборудовании.

Во время виртуальной операции хирург может наблюдать за траекторией медицинского инструмента, задаваемой по томограммам мозга. Благодаря этому в случае, когда инструмент попадает в зоны повышенного риска для жизни пациента, врач может запросить у программы другой вариант наведения инструмента в необходимую точку мозга по безопасной траектории или сделать вывод о невозможности проведения операции.

Для отображения удаленной внешней среды в медицинских проектах были опробованы (см. Рис.5.10):

- стерео-очки и стерео очки-дисплеи, которые могут эффективно использоваться для наглядного представления информации;

- средства совмещения реальных и виртуальных изображений, которые обеспечивают врача в максимально удобной форме оперативной визуальной информацией, позволяющей прогнозировать ход операции и своевременно корректировать хирургические манипуляции.

Обучение робота путем показа естественных движений (жестов) человека (пользователя) связано с созданием естественных и доступных каждому человеку средств общения с техническими и информационными системами. Эта технология обучения не может полноценно развиваться без дружественного, помогающего врачу, пациенту и пользователю мульти-модального интерфейса, разрабатываемого совместно с группой речевых технологий в СПИИ РАН [54-57].

Рис. 5.9 Виртуальная операционная Рис. 5.10 Стерео визуализация при телеуправлении Мульти-модальный интерфейс для медицины (рис. 5.11) должен обеспечивать следующее:

- простое и правильное понимание команд и различных движений (моторных функций) врача (пациента), - обучение методом показом без традиционного программирования, - надежную, устойчивую информационную поддержку систем управления медицинским оборудованием, - взаимодействие с компьютерными моделями в процессе планирования операций (например, с использованием виртуальной операционной), - комбинирование (микширование) реальных (например, эндоскопических) и виртуальных (модельных) изображений.

Рис. 5.11 Мультимодальный интерфейс Рис. 5.12 Рукоятка с сило-моментным датчиком Особенно актуальной для медицины является разработка так называемого “haptic” интерфейса. Это обусловлено необходимостью отражения усилий на руке врача (хирурга), особенно при проведении операции, в том числе с использованием мехатронных систем и технологии телемедицины.

Развитием данного направления является создание 6-ти координатной рукоятки управления на базе современных микропроцессорных устройств обработки и силомоментного датчика широкого назначения (рис. 5.12).

При этом использование специальной рукоятки с встроенной телекамерой и лазерными указками обеспечивает запоминание естественных движений опытного персонала лечебного учреждения, облегчает процесс обучения робота движениям (рис. 5.13).

Следует отметить, что к системам мультимодального интерфейса проявили интерес специалисты и разработчики в области реабилитации зрения и восстановления сенсорномоторных функций человека. Технологии визуализации объектов, виртуальной реальности и обучения показом особенно полезны для навигации, программирования движений и управления адаптивными роботами и медицинскими мехатронными системами.

Модель внешней среды в такой системе формируется путем сканирования всей поверхности рабочей зоны, где будет осуществляться взаимодействие роботаманипулятора с виртуальными объектами.

При этом, в отличие от традиционного сканирования (например, лазером) по жесткой траектории, для метода активного видения не требуется выдерживать строго определенную траекторию движения, т.к. массив точек модели вычисляется на основе информации о координатах браслета с телекамерой на руке оператора (рис. 5.13, 5.14), регистрируемых системой слежения (HTS+).

Рис.5.13 Браслет со встроенной телекамерой для обучения показом движений Рис. 5.14 Сканирование сцены браслетом с телекамерой при обучении показом Математическое моделирование и алгоритмы обучения и управления с использованием виртуальных моделей §6.1 Обобщенная фрейм-структурированная модель внешней среды Известны множество методов синтеза компьютерных графических моделей внешней среды (МВС), включающей в себя трехмерные динамические объекты и сцены, отражающие максимально просто и в тоже время наиболее достоверно как объекты реального мира, так и виртуальные объекты и сцены [58-59].

Дополнительная информация, которая отсутствует на реальной сцене, но весьма необходима пользователю для эффективного решения, например, задач телеуправления и обучения отображается в виде виртуальных МВС совместно с реальными изображениями по технологии т.н. добавленной реальности (Augmented Reality) [60].

Рассмотрим несколько новых предложений для решения проблемы создания МВС, в которой функционирует обучаемая телеуправляемая интеллектуальная мехатронная система (ИМС):

1). Предлагается использовать обобщенное структурно-логическое представление МВС на языке фреймовых описаний, близком к объектно-топологическому описанию, используемому в частности в гео-информационных системах [61].

2). Концепция тактильного и сило-моментного взаимодействия ИМС с объектами ВС, базирующаяся на потенциальной теории [62], может быть обобщена для случаев дистанционного (визуального) взаимодействия ИМС с объектами внешней среды (ВС).

3). Кроме того, в последующих разделах данной главы 6 изложена новая концепция фрейм-структурированной модели (ФСМ) формы и топологии движений при обучении методом показа человеком-оператором ИМС, а также дополнения ФСМ данными сенсоров ИМС в процессе сканирования и коррекции ФСМ при навигации ИМС среди объектов частично недетерминированной ВС.

Обобщенная модели внешней среды для дистанционно управляемых и автономных ИМС основывается на принципах одновременного хранения информации о структуре и образах, точных копиях объектов ВС или рабочей зоны мехатронной системы.

Предлагается объединить известные структурно-логические описания объектов ВС и топологическое описание расположения объектов во ВС, два типа описаний объекта используются совместно.

Первый тип семантической модели описывает признаки, форму, характеристики, в т.ч.

метрические и качественные, присущие каждому из объектов, не зависимо от положения во ВС. Объект рассматривается как нечто цельное, имеющее собственное название и семантику. На языке объектно-ориентированного программирования (ООП), например в среде Delphi, это описание первого типа модели соответствует понятию «Объект» [63].

Второй тип топологической модели ВС отличается тем, что он описывает взаимное расположение в пространстве (топологию) элементов, составляющих данную ВС.

Отличие данной модели состоит в точном задании конфигурации этих элементов в пространстве безотносительно к свойствам самих элементов [64].

В качестве структурно-логической модели объектов ВС предлагается использовать трехмерную структуру в виде графа, в вершинах которого расположены таблицы параметров (фреймы), описывающие свойства каждой характерной точки (искусственного или естественного репера) [65].

Так называемая фрейм-структурированная модель (ФСМ) хранит одновременно два типа информации, описывающей свойства объектов ВС:

1). Геометрические параметры, определяющие конфигурацию объекта ВС.

2). Атрибуты, индивидуальные или характерные признаки, позволяющие автоматически селектировать и идентифицировать объекты сенсорами ИМС в процессе работы во ВС.

Таким образом, основные свойства ФСМ аналогичны сочетанию одновременно двух типов известных описаний: визуальному графу и фреймовым представлениям данных.

Некоторая аналогия предложенной модели имеется с моделями кристаллических структур и моделями молекул, в которых конфигурация связей и типы атомов в узлах структуры определяют свойства вещества.

Основное преимущество предложенной модели в виде фреймовых структурных описаний с конфигурацией, описанной т.н. «проволочными связями» (wire-frame), состоит в простоте генерации 2D проекций модели на плоскость изображения, например, для последующего совмещения с реальными изображением объектов ВС.

При этом идентификация характерных признаков изображения выполняется сенсорами ИМС в режиме реального времени только в локальных участках, совпадающих с соответствующими узлами проекции 3D модели, по описанию (фрейму), хранящемуся в данном узле модели.

Синтез 3D конфигурации (топологии) модели объекта может выполняться известными компьютерными 3D графическими редакторами (Direct-X, VRML, OpenGL, ACAD и другими), при этом обязательно каждый узел отмечается соответствующим индивидуальным номером.

Конфигурация 3D модели, определяемая относительными расстояниями и углами между связями, определяет с заданной точностью пространственное расположение характерных признаков реального объекта наблюдения. Пример фрагмента конфигурации трехмерной модели объекта показан на рис. 6.1.

Рис. 6.1 Топология трехмерной модели объекта (нумерация узлов не показана) §6.2 Некоторые свойства фрейм-структурированной модели Традиционные топологически-ориентированные и объектно-ориентированные МВС слабо связаны между собой, т.е. не позволяют обрабатывать графическую и семантическую информацию одновременно. Кроме того, традиционные МВС не позволяют выполнять интерпретацию разнотипных данных при моделировании и обучении процессов и ситуаций в сложной ВС.

Для оперативного моделирования и проверки результатов (достоверности, надежности) при обучении ИМС человеком-оператором требуется представление результатов на языке, близком к естественному. Для сложных систем число ошибок в традиционных системах увеличивается экспоненциально в зависимости от их объема или сложности, снижается оперативность проверки результатов обучения, а также резко возрастает время обучения персонала.

Одной из важных задач исследований является разработка обучаемой модели движений во ВС с целью снижения затрат на моделирование, сокращения сроков обучения, снижения требований к квалификации обучающего персонала при повышении общей надежности результатов обучения. Далее будет рассматриваться фреймструктурированное представление МВС на языке, близком к естественному описанию ВС.

Современные технологии объектно-ориентированного программирования (ООП) позволяют в короткое время при минимальных затратах разработать программное обеспечение для реализации обучаемых моделей ИМС (робота) в трехмерной ВС.

Настраиваемая объектная модель на основе концепции метаданных, поддерживающая иерархическую структуру классов объектов ВС и набор отношений между объектами и классами объектов, реализованная с использованием ООП, описана, например, в [64].

Разработано, также, средство визуального представления ВС (в частном случае ГИС).

Особенностью является простота использования этого вида модели при обучении, состоящая в том, что не требуется знания языка программирования для настройки модели, а все данные модели объектов хранятся на языке описания мета-данных. Для управления, манипулирования объектами ВС использован язык SOML (simple object manipulation language), разработан протокол обмена на основе протокола TCP/IP (обмен сообщениями используемыми в Интернет), используется структурированное хранилище моделей (component object model, COM), обмен данными выполняется в модели ВС с автоматическим преобразованием данных в формат XML.

Основным отличием нового типа ФСМ является сочетание семантического моделирования (концептуального моделирования объектов и моделирования баз данных) с моделированием топологических отношений между объектами и классами объектов внешней среды [66].

Семантическое описание в виде фреймов представляет собой множество типов объектов с присущими им свойствами, которые представлены некоторой структурой только функциональных связей (принадлежности) и операций, но не определенной пространственно или топологически в объеме ВС.

Например, отношения между объектами, с которыми имеет дело ИМС, например, деталями изделия до начала сборки, определяются назначением каждой детали и их функциональным назначением (шестерни). Объекты чаще всего по каким-то признакам группируют в классы. Топологический подход к моделированию устанавливает пространственные отношения между конкретными объектами (шестерни ведомаяведущая), однородными элементами или примитивами (точками, метками, обозначениями).

Ранее было предложено распространить топологические отношения на классы объектов, когда пользователь имеет возможность управлять расположением нескольких классов объектов во ВС (роботов, препятствий, инструмента и др.). Метаданные – описывающие организацию других данных, следующим уровнем являются метаклассы – содержат информацию об имени класса, свойствах класса и типах каждого из свойств, т.е.

классы воспринимаются пользователем как такие же объекты, только более высокого уровня.

Настройка конкретной модели выполняется оператором вручную посредством использования некоторого поля задач, характерного для каждого типа ВС. В этом поле может быть создан сценарий или последовательность действий, движений робота, представляющую собой «траекторию» движения в этом пространстве (поле) задач.

Разработанная ФСМ позволяет выполнять следующие функции управления объектами при решении задач обучения и управления ИМС:

- обращение к методам и объектам в прикладных задачах использования модели ВС;

- создания типовых сценариев или процедур инициализации объектов ВС (робота), - формирование альтернативных сценариев при изменении условий или состояния объектов ВС, появлении нештатных ситуаций при движении ИМС (робота).

§6.3 Описание языка фрейм-структурированной модели Согласно общепринятой концепции представления описания ВС первичными элементами (примитивами) являются множество объектов {B} и множество отношений {R} между объектами, имеющими постоянные свойства. Отношения между объектами ВС можно разделить на логические (семантические) {RL} и топологические (пространственные структуры) {RT}.

В том случае, если объекты могут быть объединены в классы, то по аналогии отношения на уровне классов {KB} (отношения наследования, включения и др.), т.н.

концептуальные отношения, можно также разделить на логические {RkL} и топологические {RkT}.

Совокупность указанных отношений можно представить следующим образом:

Топологические отношения объектов могут быть, например, такими: разделены, внутри, прикасаются, равны, покрывает, перекрывает. Аналогично может рассматриваться некоторое количество концептуальных топологических отношений для классов объектов.

В общем виде фрейм-структурированная МВС может быть представлена в виде:

где: {B} – множество объектов ВС, {M} – множество метаклассов, {Т} – множество задач, {EV} – набор событий, IL – встроенный язык управления объектами.

где: FS – набор полей класса, ТS – список задач, Ef – форма редактирования, Im – графическое представление.

где: M – метакласс, FS – набор полей объекта, F – поле объекта.

где: FS – набор полей задачи, Ef – форма вызова задачи.

где: Сo – событие создания объекта, Do – событие удаления объекта, Сf – событие изменения поля объекта, {Т} – набор событий, связанных с выполнением задачи, {M} – набор событий моделирования.

Семантика объекта ВС (фрейм объекта) определяется как совокупность имени, полей, атрибутов и методов. Кроме описания полей, атрибутов и методов фрейм объекта может содержать также геометрическое изображение (условное обозначение) объекта. Имеется возможность перекрестного использования в качестве полей объекта фреймов других объектов. Поддерживаются два варианта использования объектов: ссылка на существующий объект (обычно более простой) и включение объекта в качестве составной части сложного объекта.

Представление объектов ВС {МВС} в ФСМ выполнено в виде системы фреймов, предложенных М. Минским [67]. Будем считать, что метакласс (M), является названием или именем фрейма, а набор полей (Fs) – является содержанием фрейма. Для связи фрейма с методом представления и обработки данных вводится понятие атрибут метода (AM), который хранится во фрейме и позволяет вызвать метод обработки при обращении к данному фрейму. Таких атрибутов метода может быть несколько для различных задач, в которых используется данная модель объекта.

Для структуризации иерархической системы фреймов, т.е. организации перекрестных связей фреймов различных уровней между собой вводится понятие «атрибут предка» (AF) и «атрибут потомка» (AS). Для организации параллельных связей фреймов различных классов объектов может быть организована горизонтальная связь в виде «атрибута соседей» (AN).

Таким образом, расширенное описание объектов ВС в виде фреймов, которые должны создаваться при обучении и записываться в память, может выглядеть следующим образом:

При воспроизведении (извлечении из памяти) требуемых фреймов для создания модели ВС, решающей определенную задачу, может использоваться предварительная настройка (избирательная селекция) памяти под решаемую задачу. Механизм расшифровки задачи рассмотрен в работе [68] и представляет из себя, например, маскирование фреймов различных уровней, не используемых для решения данной задачи.

Маскирование может быть взвешенным, в отличие от бинарного, с весовыми коэффициентами соответствующими вероятности использования различных пространств фреймового пространства, накопленного в ФСМ при решении ИМС различных задач.

Маскирование может (должно) видоизменять текущую маску в процессе решения задачи для активации и подавления определенных зон фреймового пространства, необходимых или мешающих корректному выполнению задачи ИМС в реальных условиях ВС.

Топологическое описание (конфигурация) объекта в ФСМ описывается набором связей - расстояний между узлами. Величина расстояния между i, j реперами модели (RMij) нормализуется по некоторому базовому расстоянию (среднему, максимальному или заранее выбранному между определенными типами реперов) (RMb):

Кроме того, конфигурация 3D модели определяется набором углов между связями, соединяющими ближайшие реперы, например, углом между двумя связями от k репера до реперов i, j ( Mk ij).

Семантическое описание фрейма содержит, в частности таблицу параметров, определяющих свойства характерных признаков объекта и конфигурацию объекта наблюдения, необходимые для автоматической идентификации объекта сенсорами ИМС.

Например, первый уровень фреймового описания простейшего изображения некоторого объекта может содержать следующие параметры (см. рис. 6.2):

А). Параметры характерных признаков изображения:

А1. NUMBER – порядковый (идентификационный) номер признака, А2. TYPE – имя (наименование) данное признаку (угол =”ug 90”, форма T = “#T” и т.д. ), А3. NAME – имя входящего первичного элемента (линия = “otr”), А4. SIZE – размеры признака на изображении (8 … 22 мм), А5. ANGLE – угол поворота оси изображения признака на изображении, град. (50….270), А6. ORIENTATION – ориентация первичных элементов – линий, град. (0….360), А7. FEATURES – некоторые дополнительные характеристики, отличия.

Б). Параметры конфигурации (взаимного расположения признаков):

Б1. LINK - длина связи (расстояние) между i признаком (репером) и соседним j признаком Б2. ANGLE - угол между двумя связями от k признака до i и j признака ( Mkij);

Б3. SCALE - масштаб модели относительно реального объекта (SM).

Рис. 6.2 Фрагмент фрейм-структурированного описания объекта 1 уровня сложности В). Параметры, описывающие положение и ориентацию объекта наблюдения относительно системы координат, связанной с сенсорами ИМС:

В1. POSITION – текущее положение центра объекта относительно регистрирующего В2. DISTANCE – текущее расстояние (Doc) между центром объекта и сенсором ИМС.

В3. ORIENT – текущая ориентация, матрица поворота (Roc) осей объекта в системе В настоящее время в прототипах разработанных ФСМ для описания большинства простых объектов достаточно всего 5-7 уровней фреймового описания:

- уровень 1 – первый уровень простейших элементов описания соединений признаков в - уровень 2 – уровень описания простейших конфигураций плоских фигур типа - уровни 3, 4 – средние уровни описаний в виде локальных объемных замкнутых фигур, таких как: шар, параллелепипед, цилиндр, пирамида и пр.;

- уровни 5-7 – верхний уровень описания фрагментов и целых объектов.

§6.4 Модель внешней среды для обучения движениям мехатронной Исследования обобщенной МВС для дистанционно управляемых и автономных ИМС (роботов) основываются на существующей проблеме одновременного хранения информации о структуре (топологии) и образах, точных копиях (признаках) объектов ВС или рабочей зоны робота.

Для определения области допустимых перемещений в рабочую зону автономного телеуправляемого робота, в частности космического робота-манипулятора, должны быть введены ограничения пространства, определяемые находящимися в ней объектами ВС.

При этом должно быть введено дополнительное ограничение на расстояние до поверхности объектов ВС с учетом погрешности управления в целом.

Поэтому для планирования движения обычно используется априорная 3D модель ВС.

Предлагается дополнить МВС оболочкой безопасных движений в некоторой степени повторяющей форму объектов ВС, но расположенной на минимально допустимом расстоянии безопасных движений (dsafe) от этих объектов.

В пространстве, ограниченном оболочкой безопасности, оператор при обучении может безопасно перемещать, например, схват робота, предварительно проверяя на имитаторе с использованием МВС (Рис 6.3).

Зона плохой (минимальной) различимости реперов Рис. 6.3 Границы движений схвата робота с телекамерой в МВС Если построить некоторую поверхность вокруг объектов ВС, ограничивающую сверху допустимое расстояние (dview) от поверхности объектов ВС до схвата робота, с установленной на нем телекамерой, тогда это расстояние (dview) определяется параметрами оптической системы телекамеры, а также, возможностями системы распознавания характерных признаков (Mi, Mj) изображения наблюдаемых объектов ВС (см. рис. 6.3).

В этом случае движение очувствленного телеуправляемого робота должно осуществляться в пределах между двумя поверхностями, ограниченными (dsafe) и (dview).

Для объектов малых размеров, у которых линейные расстояния (lij) между характерными признаками (реперными точками) не велики, величина (d’view) минимальна, но не может быть меньше, чем (dsafe).

В случае протяженных объектов или поверхностей, ограничивающих ВС, при сравнительно больших расстояниях между видимыми реперами (lij) для определения положения схвата относительно данных объектов необходимо увеличить (d’’view).

Крайние значения расстояний d’’view, d’view определяются из условия попадания реперных знаков в поле зрения телекамеры d’view и условия различимости реперов на больших расстояниях d’’view:

где: 2 – угловое поле зрения телекамеры, Nразр – разрешающая способность телекамеры (ТВ линий), lij – расстояние между реперами.

Окончательно определить зону допустимых позиций осмотра (зону оптимального «визуального контакта») можно из следующих полученных условий:

Здесь прослеживается аналогия с концепцией потенциального метода, предложенного и разработанного Ф.М. Кулаковым [69] для дистанционного управления роботамиманипуляторами с использованием информации от сило-моментных датчиков.

Как и в случае тактильного контакта с поверхностью объекта, для случая «визуального контакта» существуют две границы дистанции до поверхности объекта ВС:

- максимальное расстояние от сенсора до поверхности определяет зону потери информационного контакта с объектом;

- минимальное расстояние от сенсора до поверхности определяется пределом чувствительности или опасностью повреждения сенсора.

Проблема моделирования пространства ВС для движений ИМС состоит в том, что необходимо учитывать также ограничения на допустимую конфигурацию конструкции ИМС и условием предотвращения столкновений с объектами ВС. Для этого ранее предложено использовать т.н. пространство конфигураций ИМС (C-space) среди объектов ВС.

Можно в пространстве допустимых конфигураций ИМС планировать безопасные траектории движения робота и выбирать позиции, удобные для наблюдения телекамерой (т.е. положения телекамеры, позволяющие наиболее точно измерять координаты характерных признаков изображений объекта). Естественно, для обучения ИМС движениям с учетом удобства наблюдения объектов в процессе движения, требуется располагать модель телекамеры соответствующим образом относительно объектов МВС.

Было бы наиболее удобно для оператора запоминать модель движения с учетом удобства наблюдения объектов ВС аналогично тому, как мы запоминаем саму МВС.

В одном из вариантов пространство позиций, удобных для наблюдения (point-of-view (POV)), представляется в виде поверхности, покрывающей объект интереса, по нормали к которой ориентируется телекамера во время движения робота. В другом варианте задаются лишь отдельные точки на МВС, в которых располагается камера для наблюдения объекта.

Удобным языком для описания моделей поверхностей, ограничивающих зону движений является язык VRML. В том числе, в процессе обучения может быть использовано изображение руки оператора, внесенное непосредственно в модель МВС. С другой стороны, ИМС должна оперативно информировать человека о событиях происходящих в неизвестной (удаленной) ВС.

Для повышения автономности действий ИМС, роботов и космических манипуляторов полученные при обучении знания (навыки) должны быть весьма адаптивными и адекватными к внешней среде.

Обучение, в данном случае движению, может рассматриваться как передача знаний о моторных, сенсорных и поведенческих навыках от человека-оператора к ИМС, которая в данном случае должна обладать как можно более развитым (интеллектуальным) ЧМИ для адекватного и эффективного восприятия действий человека.

В данном случае решается задача разработки метода обучения и представления знаний в обобщенном виде, близком принципам функционирования биологических систем, естественном для восприятия ВС как человеку, так и роботу. Решение данной задачи является одной из ключевых для современной робототехники и информационных систем, в целом.

Ниже представлены предварительные результаты использования ФСМ для семантического и структурного описания траектории движения, например, телекамеры в схвате робота с выбором позиции, удобной для наблюдения.

§6.5 Исследование новых методов моделирования движений Основной подход к моделированию движений ИМС (робота) в процессе обучения показом изложен в работе [70]. Методы программирования путем обучения показом и последующего воспроизведения движений роботом, соответствующих указанным сборочным операциям, рассмотрены в работах [71].

Главным вопросом в реализации моделей движений, задаваемых естественным образом, посредством движений руки оператора, является способ записи и воспроизведения трехмерных траекторий ИМС относительно объектов МВС.

Известная в гео-информационных системах проблема совмещения топологии и объектов внешней среды, которая решается в настоящее время и наиболее близка к проблеме записи движений, планирования маршрута в робототехнике, прокладки трассы штурманом с использованием интеллектуальных гео-информационных систем (ГИС).

При выполнении штурманских задач для автономных роботов и различных транспортных средств рассматривается движение в плоскости (на поверхности сферы) или в нескольких плоскостях (эшелонах). Кроме того, в большинстве случаев движущийся объект рассматривается как математическая точка, не имеющая собственной ориентации в пространстве. Не имеет значения форма траектории свободного движения в пространстве, прокладка пути ведется по кратчайшему расстоянию, по прямой. В случае огибания рельефа ВС движение повторяет по форме препятствие.

Следует подчеркнуть, что в предложенных ранее гибридных моделях ВС не рассматривается модель движения робота во ВС.

Известны также методы планирования точек наблюдения объектов (наведения на цель) автономных средств (роботов) и традиционные штурманские задачи прокладки трассы (навигации) и обучения движениям (траектории полета) решается, в том числе разработчиками БПЛА или МЛА.

Разнообразие типов движений в пространстве ВС, включающее манипуляции с предметами (объектами и инструментом), а также наибольшая сложность и изменчивость конфигураций ВС являются особенно характерными для сборочных операций. Поэтому автоматизация сборки является наиболее сложной, интеллектуальной задачей в мехатронике и робототехнике.

Существует проблема хранения обученных движений ИМС (роботов) относительно объектов внешней среды для двух случаев движений: осмотра и манипуляций с объектом во внешней среде.

Для решения данной проблемы нами предложено использовать для процесса обучения показом ИМС сочетание модели объекта и модели движения, которые основаны на работах М. Минского [67]. Фрейм-структурированная модель (ФСМ) определяется как способ хранения информации не только о форме объектов ВС, а также и формы и траектории движений. Язык описания, используемый в ФСМ, представляет из себя многоуровневую, иерархическую систему фреймов, содержащих описание элементов формы, метрические характеристики, методы и процедуры при работе с данными объектами.

Структура ФСМ отражает (копирует) структуру формы объекта или формы траектории движения. Структура ФСМ развивается в процессе обучения и применения ИМС, при распознавании объектов и обучения показом выполнению типовых движений.

Важно отметить то, что указанным элементарным движениям (фрагментам) «можно присвоить соответствующие имена и считать их операторами языка, с помощью которого достаточно компактно можно описывать действия робота» [72].

Примером записи элементарного фрейма траектории движения (или формы объекта) на языке ФСМ является описание формы буквы "А" (рис. 6.4).

Например, сборочные операции, выполняемые роботом в автоматическом режиме, должны быть заранее описаны, желательно на естественном языке, понятном и роботу и человеку. Человеку свойственно дополнять всякое объяснение процесса сборки показом ("лучше один раз увидеть…"). При этом предлагается использовать язык описания движений (операций сборки), аналогичный языку описания геометрической формы объектов: наклонить, вращать (по кругу), вдвинуть.

Примером записи элементарного фрейма движения на языке ФСМ для случая обхода препятствия является описание формы траектории (рис. 6.5).

Для моделирования формы объектов и формы движений предложено использовать общий язык структурированных описаний ФСМ, в которых считается, что форма объекта определяется и описывается формой его элементов, а траектория движения (сборки) фреймом из описаний формы элементарных движений.

В нашем случае проще всего внести форму обучаемого движения в качестве самостоятельной модели, входящей в данную модель ВС. Также, эта модель может использоваться и для других видов моделей ВС. Это обусловлено, главным образом, наличием сенсоров, позволяющих откорректировать обученное движение (адаптировать его) к конкретной модели ВС при воспроизведении движения.

Таким образом, модель движения робота является третьей компонентой модели ВС, включающей в себя при графической интерпретации:

- модели объектов, содержащих типичные и отличительные признаки;

- модели конфигураций или топологии в пространстве связей мест положения объектов в данной конкретной ВС, содержащую только метрические отношения без указания семантики меж объектовых связей;

- модели конфигурации 3D поверхности (оболочки), в которой находится траектория обученного движения.

Будем хранить в памяти модели объектов, дополненные в образной форме видами изображений, полученных с определенной позиции обзора телекамерой роботаманипулятора, связанными между собой фреймами движений - переходов, записанными в пространстве координат робота. В результате предполагается достичь создания на основе ФСМ общей модели описания и хранения знаний робота об окружающей его внешней среде, возможных и необходимых (целесообразных) действиях в ней.

§6.6 Алгоритм обучения методом показа для робота-манипулятора При рассмотрении процессов обучения ИМС элементарным операциям и воспроизведении этих операций обнаруживается важная особенность этих процессов. Она состоит в том, что как алгоритмы обучения, так и воспроизведения имеют фрагменты, которые используются без изменения или с очень малыми изменениями в разных операциях, а также могут повторяться в одной несколько раз [69].

Действительно, среди большого разнообразия движений, большинство из них могут быть представлены как суперпозиция ограниченного числа элементарных движений (фрагментов движения). Семантика или структура таких сложных сборочных операций может быть описана аналогично описанию МВС в виде ФСМ. Такими фрагментами движений могут быть для многозвенного робота-манипулятора:

1. Движение переноса по произвольной сложной траектории из текущего положения в некоторое конечное g = g(l).

2. Движение коррекции, с использованием в качестве входной информации последовательность изображений реперных точек.

3. Движение обзора, в процессе которого последовательно формируется: матрицы положения схвата Тb, Тb1, Тb2, векторы суставных координат gb, gb1, gb2, и геометрическая траектория g = g(l).

4. Движение в позицию, удобную для наблюдения.

5. Движение в позицию, удобную для взятия.

6. Движение «наезда» на предмет.

7. Движение захвата.

В традиционных системах обучения с помощью того или иного метода интерполяции по полученной последовательности может быть определена непрерывная, т.н.

геометрическая, траектория движения робота, которая может быть представлена как функция некоторого параметра (l), который можно считать предварительным результатом обучения робота фрагменту движения из одного положения в другое:

где: lb – вектор координат начальной точки, l – вектор координат текущей точки, le – вектор координат конечной точки.

Традиционный алгоритм обучения движению обеспечивает формирование геометрической траектории g(l) и включает в себя следующее:

- формирование последовательности троек двухмерных векторов xmb(1), xmb(2), xmb(3);

xmI, xmI(2), xmI(3); …; xmе(1), xmе(2), xmе(3), соответствующих положениям изображений 3-х реперных точек на перчатке при обучении;

- формирование последовательности Tb, TI, TII, …, Te матриц положения перчатки, решение систем уравнений (1).

Предложенный новый принцип формирования ФСМ движения предполагает выполнение следующих процедур:

- анализ формы элементарных движений с использованием анализатора ЧМИ, Формирующего последовательность моделей формы (GM) и топологии (GT) движений;

- формирование непрерывной геометрической траектории как сочетание элементарных движений в массив {GMi,GTi}.

В традиционных системах обучения движениям в памяти ИМС приходится запоминать довольно значительный объем информации:

1. Значения матрицы направляющих косинусов, характеризующие ориентацию перчатки в координатной системе РМ оператора, соответствующие начальному b, конечному е и нескольким промежуточным bi (i=1, 2, 3,…) положениям схвата, которые он должен занять при выполнении движений.

Этих данных достаточно для построения последовательности матриц положения Tb, Tb1, Tb2, …, Te схвата при обзорном движении; (33) – блоки ориентации в этих матрицах являются матрицами b, b1, b2, …, е; 31 – блок положения полюса схвата соответствует исходному положению схвата.

По этой последовательности уже описанным путем может быть построена геометрическая, а по ней временная траектория перемещения инструмента, которое он должен совершить для реализации обзора.

При обучении этому действию оператор должен перемещать свою руку с одетой на нее перчаткой примерно так, как это должен делать схват в процессе обзора, причем положение запястья руки оператора может быть произвольным, удобным для оператора.

2. Изображения предмета с телекамеры перчатки при нескольких положениях, соответствующих различным положениям схвата для контроля правильности обучения.

3. Координаты реперных точек изображений объекта (до 6-ти).

4. Характерные признаки идентификации различных изображений объекта, при различных положениях перчатки в процессе обучения.

5. Параметры раскрытия схвата и допустимая сила сжатия предмета.

При обучении показом с использованием ФСМ для хранения формы и траектории движений объем информации, необходимой для хранения и передачи по каналам связи в дистанционно-управляемую автономную ИМС, существенно меньше.

§6.7 Алгоритм воспроизведения движения после обучения показом Особенность воспроизведения движения робота в реальной ВС заключается в том, что при воспроизведении одной операции, приведенные выше фрагменты могут следовать в разных последовательностях в зависимости от внешних условий. Благодаря отмеченным особенностям, оказывается весьма целесообразным формировать различные движения при обучении и воспроизведении из указанных фрагментов.

Количество используемых элементарных движений (фрагментов), возрастает при увеличении воспроизводимых операций. Однако, это возрастание будет несоизмеримо меньшее, чем возрастание числа операций, для выполнения которых используется ИМС.

Важно отметить то, что указанным элементарным движениям (фрагментам) «можно присвоить соответствующие имена и считать их операторами языка, с помощью которого достаточно компактно можно описывать действия робота» [69].

Порядок следования фрагментов в зависимости от внешних условий ВС, определяется в результате проверки условий перехода к тем или иным фрагментам, определяемых решаемой задачей телеуправляемой ИМС.

Автоматизированное воспроизведение ИМС зарегистрированных при обучении движений руки оператора {GMi,GTi} должна включать следующие процедуры (в режиме off-line):

- простое воспроизведение траектории {GMi,GTi} на модели ВС с использованием компьютерной модели робота-манипулятора;

- автоматическая фильтрация (сглаживание) случайных выбросов (помех);

- вместо традиционной ручной пошаговой проверки результата обучения выполнить автоматический семантический анализ формы (GM) и топологии (GT) движений;

- автоматически синтезировать траекторию с семантическим описанием, которую предъявить оператору (нескольким экспертам) для проверки и устранения ошибок непосредственно в описании ФСМ траектории;

- проверить синтезированную траекторию на МВС на предмет безопасности отработки движения, предупреждения столкновения с объектами;

- передать результат обучения по линии связи в реальной телеуправляемой ИМС;

- проверить синтезированную траекторию на копии МВС, находящейся в удаленной ИМС, для устранения возможных потерь при передаче по каналу связи, а также проверки правильности синтеза движения в ИМС.

При воспроизведении движения в традиционных системах по обученной траектории g=g(l) без сенсорной коррекции необходимо сформировать функцию изменения вектора l(t) на участке lb l le. Обычно начальные и конечные скорости l(t) известны, и чаще всего равны нулю:

В простейшем случае формирования закона l(t) в нем выделяется 3 интервала:

интервал «разгона» от начальной скорости (l'e) до некоторой допустимой скорости (l'd), интервал движения с заданной скоростью и интервал торможения от заданной скорости до нулевой (l'ep).

При разгоне и торможении должны иметь место постоянное ускорение (l''d), величина которого должна быть такой, чтобы значения векторов скоростей g' и ускорений g'' были физически реализуемыми при существующих ограничениях на вектор управления (U) приводами манипулятора.

Величины этих ограничений можно определить исходя из рассмотрения динамической модели (R) манипулятора, которая связывает вектор управления (U) с векторами динамики движения (g, g', g'').

При воспроизведении движения переноса функция l = l(t) определяется следующими соотношениями:

- на интервале разгона (0 < t t1), где t1=sign (l'd) d :

Воспроизведение движения робота-манипулятора во времени производится при реализации полученной функции l(t) в траектории движения g(l):

При воспроизведении движений g = g(l(t)) может быть использован для определения вектора управлений приводами манипулятора U путем замены величин g, g', g'' в динамической модели манипулятора с приводами U = R(g, g', g'') их значениями g = g(l(t)).

В результате формируется функция управления приводами манипулятора во времени.

В предложенном новом варианте воспроизведение движения выполняется на основе массива данных ФСМ типовых движений, форма которых была запомнена ИМС на этапе обучения методом показа. Следует отметить, что человек совершает естественные движения с постоянным ускорением, в отличие от робота-манипулятора, для которого характерны движения с постоянной скоростью. Поэтому робот или ИМС должны выполнять движения в собственной динамике, отличной от динамических свойств человека-оператора.

§6.8 Использование модели движения для проверки результатов обучения Для большей достоверности результатов обучения целесообразно контролировать процесс воспроизведения движения ИМС с использованием встроенной в ИМС собственной «копии МВС», а также, если это возможно, контролировать работу ИМС по каналу связи с учетом возможных помех и временных задержек в сеансах связи.

Конечно, основное обучение ИМС (особенно космических и медицинских ИМС) должно производиться заранее, непосредственно на Земле. В то же время имеется возможность использовать режим дистанционной коррекции результатов обучения ИМС с целью возможного ее оперативного использования для дообучения в космосе или в телемедицине.

Выполнение контроля воспроизведения обученного движения ИМС (космического робота или медицинского телеуправляемого робота) должно происходить следующим образом:

- с некоторым опережением во времени, параллельно с выполнением рабочего движения ИМС на МВС, запускается его модель ИМС с предикцией текущего положения по данным, поступающем от ИМС для возможности экстренной коррекции траектории;

- траектория движения автоматически корректируется по сигналам сенсоров ИМС относительно реального расположения объектов ВС вплоть до замены одних элементарных движений (или целых фрагментов) обученных движений на другие, в соответствии с заранее показанными при обучении альтернативными вариантами выполнения рабочего движения.

После выполнения очередного рабочего движения ИМС на Землю (в ЦУП) могут быть переданы фактические траектории или их описания на языке ФСМ, составленные после автоматического анализа движений в самой ИМС. Эта информация в совокупности с результатами сканирования реальной ВС в процессе выполнения рабочего движения ИМС должны использоваться в ЦУПе для коррекции МВС в АРМ оператора.

В случае отсутствия существенных коррекций в процессе выполнения рабочего движения обучение считается правильным, взаимопонимание оператора с ИМС адекватным, и результаты обучения могут использоваться в дальнейшем.

§6.9 Преимущества метода обучения показом Изложенный метод обучения робота показом движения руки имеет целый ряд преимуществ по сравнению с традиционным способом программирования методом копирования движения, при котором оператор перемещает в пространстве, например, схват манипулятора по желаемой траектории с непрерывной записью текущих координат в память системы управления (СУ) робота.

а). Одно из преимуществ обучения показом состоит в отсутствии необходимости оператору находиться непосредственно в рабочей зоне телеуправляемого робота, например, внутри космической станции или даже в открытом космосе на внешней поверхности орбитальной станции, а также в других опасных условиях.

б). Кроме того, движения человека-оператора автоматически анализируются ЧМИ семантически и топологически на предмет обеспечения безопасности движения и допустимости конфигурации манипулятора.

в). Не все движения при копирующем обучении являются оптимальными с точки зрения динамики и кинематики робота, поэтому при воспроизведении обученных таким способом движений часть фрагментов необходимо заменить на другие, взятые из набора ранее обученных, из-за того, что обучение было произведено некорректно.

г). Традиционные средства супервизорного управления, в которых используются пульт или джойстик для задания обобщенных команд управления в процессе обучения, в данном случае получают развитие. Фактически, человек на языке движений руки (жестов) задает команду или показывает вид фрагмента движения, которые анализируются, в нашем случае, средствами ЧМИ и передаются в обобщенном виде телеуправляемому роботу.

д). Другим существенным преимуществом обучения показом является естественность движений, а также возможность программирования весьма сложных пространственных перемещений, так как перевести собственную руку по нужной, может быть, весьма сложной траектории гораздо быстрее, естественнее и проще контролировать выполнение, чем осуществить перемещение руки робота с помощью специального ручного пульта или джойстика.

Именно поэтому при программировании с помощью пульта ограничиваются использованием прямолинейных геометрических траекторий, либо в пространстве суставных координат, либо в пространстве положений схвата.

е). Существенное ограничение точности при обучении с помощью очувствленной перчатки показом траектории движения рукой человека компенсируется в полной мере наличием сенсоров (телекамеры) как в самой перчатке, так и сенсорами ИМС.

Проблема недостаточной точности обучения показом траектории движения может быть решена при отработке на модели ВС и при воспроизведении следующим образом:

а). Движение выполняется заведомо на безопасном расстоянии от объектов ВС, поэтому не требуется особой точности движений в этой зоне.

б). В том случае, когда схват робота приближается в процессе движения к поверхности объекта, траектория должна быть все равно откорректирована либо по информации от сенсоров, либо с использованием силомоментного очувствления схвата.

в). Необходимость выполнения корректирующего движения присутствует в большинстве случаев использования автономного телеуправляемого робота вследствие отсутствия точной информации об относительном положении робота и объектов ВС.

Поэтому высокая точность обучения движениям все равно не будет востребована, т.к.

траектория робота корректируется по сигналам сенсоров.

§6.10 Моделирование обучения движениям среди объектов ВС Рассмотрим подробнее процессы обучения и воспроизведения движений ИМС с сенсорной системой, обеспечивающей восприятие (навигацию ИМС) среди объектов ВС, например, очувствленного робота с телекамерой в схвате. Для обучения в этом случае должна использоваться перчатка с установленной на ней телекамерой.

Процесс обучения движениям ИМС среди объектов ВС, состоит в том, что рука оператора, на которую одета очувствленная перчатка, осуществляет движение в пространстве ВС, которое должен совершить впоследствии схват манипулятора. Для этого необходимо на стадии обучения необходимо выполнить следующие операции (в режиме on-line):

- показать фрагмент движения рукой оператора в пространстве рабочего места пункта управления. среди объектов макета ВС (или виртуальной моделью руки в МВС);

- зарегистрировать с помощью человеко-машинного интерфейса (ЧМИ) и записать в память ЭВМ траекторию фрагмента движения (GM, GT), содержащего метки времени и соответствующие им вектор (X) 6-ти координат положения (x=x(l), y=y(l), z=z(l)) и ориентации (x=x(l), y=y(l), z= z(l)) руки оператора;

- автоматически регистрируется видеоинформация с идентификацией и измерением координат изображений характерных признаков (реперных точек) объектов ВС;

- ввести в модель элементарного движения (GM(X), GT(X)) дополнительную информацию о воспринимаемых объектах ВС во время этого движения в виде ФСМ (M(X), T(X));

- сформировать массив ФСМ траектории движения в виде массива элементарных движений, содержащего данные о форме, топологии движения и форме, топологии наблюдаемых движений { GM(X), GT(X); M(X), T(X) }.

Вместо реальных макетов ВС может использоваться виртуальное изображение МВС и руки в компьютерной модели, отображаемой на графической станции автоматизированного рабочего места (АРМ) оператора. Для управления компьютерной моделью руки разработан ЧМИ на основе системы HTS+, описанной в [52].

Работа удаленного оператора с обеспечением эффекта присутствия потребовала создания и использования реконструированных изображений реальных объектов.

Оператор может наблюдать 3-х мерные изображения с любой стороны, как в голографии, можно коснуться или перемещать виртуальные объекты, включая осязание и силовое воздействие с имитацией веса или условий невесомости.

§6.11 Процесс обучения показом движений с коррекцией На стадии обучения оператором с помощью очувствленной перчатки выполняется показ движения для последующей коррекции движения схвата роботом с телекамерой по изображению объектов ВС. Положение очувствленной перчатки относительно объектов макета ВС определяется в процессе обучения показом движения путем решения, т.н.

«навигационной задачи». Оригинальное решение навигационной задачи для данного случая предложено Ф.М.Кулаковым [73].

В процессе коррекции движений в ФСМ ИМС должна вводиться информация для определения пространственного положения схвата. Рассмотрим пример вычисления пространственного положения обучающей перчатки с встроенной телекамерой для случая наличия 3 или 4 характерных признаков (реперных точек) в поле зрения телекамеры.

Если положения 3-х реперов в системе координат (СК) объекта заданы векторами X(1), X, X(3) (рис. 6.6), то в неподвижной системе координат камеры они, очевидно, могут быть представлены как:

где: T = - матрица положения СК объекта относительно СК камеры;

X ( i ) = (X(i),1) - 4-мерный вектор гомогенных (однородных) координат iого репера;

A - (33) – матрица направляющих косинусов;

X0 –3-х мерный вектор смещения начала СК объекта относительно начала СК камеры.

Координаты реперов на матрице телекамеры в СК камеры могут быть представлены так:

где:

Ti· = (ai1, ai2, ai3, X0i) – iая строка матрицы T;

aij – элемент (33) матрицы направляющих косинусов;

X0i – i-я составляющая вектора смещения начала координат головы относительно начала координат камеры;

f – фокусное расстояние.

Система (1) содержит шесть уравнений. Поскольку положение реперов в СК объекта известно, то все элементы векторов X(i) известны. Координаты изображений реперов xim)1, xim)2 в плоскости матрицы также известны – они определяются в процессе обработки TVi изображения реперов. Очевидно, число подлежащих нахождению элементов этих уравнений равно 12.

Из них девять направляющих косинусов aij, i = 1,2,3, j = 1,2,3 и 3 координаты смещения координатной системы объекта относительно СК камеры X0i, i = 1,2,3. Они объединены в вектор:

Таким образом, число неизвестных на шесть больше числа уравнений (2).

Следующий возможный подход нахождения позиции и ориентации объекта при заранее известном положении реперов в СК объекта предполагает наличие избыточного количества реперов, а следовательно, и уравнений, связывающих искомые неизвестные.

Это позволяет, во-первых, несколько упростить процесс вычисления, во-вторых, исключить возможные неподходящие решения. Появление последних возможно из-за нелинейности системы уравнений, что порождает неединственность решения.

Предполагается, что имеется не три, а четыре репера, определяемые в неподвижной СК камеры векторами х(i) i=1,2,3,4. Связь этих величин х(i) с координатами их изображений xim)1, xim)2, очевидно будет иметь вид:

Это система 8-ми линейных уравнений. Поскольку координаты изображений xim)1, xim) точечных реперов известны, то эти 8 уравнений содержат 12 неизвестных - компонент векторов x1i ), x2i ), x3i ) (i = 1,2,3,4).

Для их определения необходимы, по крайней мере, еще четыре уравнения.

В качестве этих уравнений рационально взять уравнения, получаемые на основе знания межреперных расстояний Действительно, поскольку положения реперов X(i) (i = 1,2,3,4) в СК объекта известно, то известны и их расстояния. Эти расстояния, очевидно, остаются неизменными в любой системе координат.

Поэтому существует, по крайней мере, еще шесть уравнений для шести возможных расстояний между реперами. Эти уравнения связывают переменные x1i ), x2i ), x3i ), i=1,2,3,4. Из них достаточно использовать четыре:

Совместно с системой (8) система (9) дает 12 уравнений относительно 12 неизвестных, объединенных в вектор:

Решение этой системы как и в предыдущих случаях можно находить методом Ньютона с помощью линеаризированной системы уравнений (9), (10).

где: y(Y0) – 12-мерная вектор-функция, являющаяся левой частью систем (9), (10) при известном начальном значении аргумента Y = Y0; - (1212) функциональная матрица системы (9), (10) при значении Y = Y0.

Следует заметить, что значительное упрощение вычисления элементов матрицы Т будет иметь место, если считать, что:

- реперы расположены таким образом, что прямая, проходящая через репер 1 и репер перпендикулярна прямой, проходящей через реперы 2 и 4 (рис. 6.7);

СК камеры Рис. 6.7 Оптимальное расположение 4-х реперов в системе координат объекта - первая ось СК объекта проходит через реперы 1 и 3 по направлению к 3;

- вторая ось параллельна прямой, проходящей через реперы 2 и 4 и направлена к реперу 4;

- третья ось по направлению совпадает с вектором, являющимся векторным произведением первых двух осей;

- начало координат системы координат головы находится в центре отрезка прямой, соединяющего реперы 1 и 3.

В этом случае, первые три элемента первого столбца матрицы T:

Второго:

Третьего:

Вектор смещения начала координат объекта относительно начала координат камеры:

Если положения реперов в СК объекта неизвестны, то элементы матрицы положения объекта в TV-камеры можно определить при наличии 6-ти реперов и дополнительном использовании калибровки. Калибровка выполняется один раз до начала работы, с целью определения положения изображений реперов, при известном положении объекта, определяемом матрицей T0. В этом случае положения изображений шести реперов определяются 12-ю уравнениями:

в которых имеется 18 неизвестных компонент векторов X (i) (i=1,2,3,4,5,6).

Величина f и значения матрицы T0 известны, а x0iim1, x0iim 2 (i=1,2,...6) определяются в результате калибровки. Эти уравнения позволяют выразить первые две компоненты каждого из шести векторов X(i) через третью их компоненту X 3i) и известные элементы матрицы T0 и величину f.

Например, если:

Для определения текущего значения матрицы T, дополнительно используются уравнений:

Поскольку координаты изображения реперов xim)1 и xim)2 измеряются и становятся известными, эти уравнения содержат 18 неизвестных элементов. 12 из них это элементы X 1( i ), X 2i ) векторов X (i), i = 1,2,...6. Кроме того неизвестные элементы строки T1, T2, T матрицы Т являются известными функциями 6 величин углов (q1,q2,q3) и координат (X01,X02,X03) смещения СК объекта относительно начала СК камеры.

С помощью (16) можно выразить 12 неизвестных величин X 1(i ), X 2i ), i=1,2,3,...,6, входящих в (16) через 6 величин X 3i), i=1,2,...6. Тогда эти 12 величин могут быть исключены, в уравнениях (15) остаются только 12 неизвестных: шесть X 3i), i=1,2,...,6 и шесть величин q1,q2,q3,X01,X02,X03.

Преобразованные таким образом уравнения будут иметь вид:

(x T - fT ) (X3 - X03 ) + (xim)2T32 + fT12 ) xim2 (X3(i) - X03 ) + (xim)1T33 + fT13 )X3(i) + xim)1X03 + fX01 = i = 1,2,... Значения элементов Tij = aij, i=j=1,2,3 входящих в эти уравнения, являются функциями q1,q2,q3, в соответствии с выражением (6).

Таким образом, уравнения (18) представляют собой систему из 12 уравнений относительно 12 неизвестных X 3i), i=1,2,...,6 и q1,q2,q3,X01,X02,X03. Как и в предыдущем случае, эта система может быть решена с использованием метода Ньютона.

§6.12 Решение навигационной задачи при обучении ИМС После обучения ИМС должна будет воспроизвести движение схвата в реальной ВС с использованием алгоритма коррекции этого движения по сигналам от телекамеры, находящейся в схвате, путем решения, т.н. «корректирующей задачи».

При обучении робота движению в поле зрения телекамеры перчатки попадает целый ряд характерных точек (реперов) объектов ВС. Это может быть предмет, к которому подводится рука оператора, чтобы затем производить с ним манипуляции. В случае промышленной ВС контуры этих объектов, а следовательно, их изображения имеют правильные геометрические формы, например, состоят из отрезков прямых, соединенных между собой под разными углами [73].

Реперными точками могут быть также специальные точечные объекты, которые легко выделить на телевизионном изображении макета ВС, например, это могут быть точечные источники света.

Рассмотрим вариант, когда векторы положения этих точек х(i)= (х1(i), х2(i), х3(i)), i=1,2,3 в базовой системе координат заранее известны. Изображение этих точек на изображающей плоскости объектива телекамеры являются проекциями реальных точек на эту плоскость в переменном масштабе k(i)= /d(i)-, обратно пропорциональном расстоянию d(i) точки до изображающей плоскости объектива; здесь - параметр объектива.

Полагаем, что система координат, связанная с объективом телекамеры, а, следовательно, с перчаткой, расположена так, как это показано на рис. 2, т.е. оси х1 и х этой системы находятся в изображающей плоскости. Тогда расстояние d(i) равно проекции i-й реперной точки на третью ось системы координат, связанной с телекамерой d(i)=х3m(i) положения изображений точек х(i) на изображающей плоскости представятся двухмерными векторами:

где: T - (24) – матрица, составленная из первых двух строк матрицы T=, характеризующей поворот и смещение координатной системы, связанной с перчаткой относительно базовой координатной системы; здесь –матрица направляющих косинусов, относительного поворота координатных систем, (хn = (хn1, хn2, хn3) – вектор смещения начал координат (полюсов этих систем);

где: T3. – третья строка матрицы T;

~ (i) = (х1(i), х2(i), х3(i), 1).

Очевидно, что матрица Т полностью определяет пространственное положение перчатки в базовой системе координат, и нахождение ее элементов является результатом решения вышеупомянутой навигационной задачи определения пространственного положения перчатки при обучении.

Путем простой обработки изображения реперных точек векторы ~ m(i), i = 1, 2, 3 легко определяются, поэтому левая часть уравнений (1) является известной, и эти уравнения представляют собой систему из 6 уравнений относительно 12 неизвестных элементов матрицы T, которыми являются 3 компоненты вектора хn и 9 элементов матрицы.

Поскольку элементы матрицы связаны еще шестью уравнениями ортогональности и ортонормированности, то всего имеется 12 уравнений, т.е. столько. Сколько имеется неизвестных, что, очевидно, достаточно для определения искомой матрицы Т.

При «обучающем» движении руки оператора с заданной частотой должна выполняться процедура, включающая операцию выделения изображений реперных точек и операцию вычисления значений двумерных векторов ~ и(i), i = 1, 2, 3, их положения на изображающей плоскости.

В результате этих действий в базе данных ЧМИ накапливается последовательность значений троек векторов соответствующих последовательности положения перчатки в процессе движения руки оператора, которое робот будет в последствии воспроизводить.

Каждый элемент этой последовательности несет информацию, достаточную для решения навигационной задачи, т.е. для получения последовательности Tb, TI, TII, …, Te значений матрицы будущего положения схвата робота.

§6.13 Обучение движению взятия предметов Наиболее характерным примером взаимодействия робота с объектами ВС является взятие произвольно-ориентированных объектов схватом робота. Задача взятия объектов имеет несколько возможных случаев (сценариев), встречающихся на практике. В наиболее простом (1) случае имеется один (известный) объект ВС. Требуется обучить робот операции взятия этого объекта независимо от возможных незначительных изменений его позиции и ориентации.

Более сложным является случай (2), когда позиция и ориентация известного объекта ВС заранее не известна. Наиболее типичным является случай (3) наличия нескольких известных объектов ВС с априорно неизвестной их позиций и ориентаций.

Еще более сложный сценарий взятия имеет место в случае (4), когда среди известных объектов во ВС могут находиться априорно неизвестные объекты и помехи, которые могут препятствовать процедуре взятия.

Режим обучения в случае Процесс взятия в первом случае целесообразно осуществить с помощью трех действий.

Первое из - обучение переносу схвата из текущего положения в удобное для последующего движения, после которого предмет должен оказаться между губками схвата. Например, это положение будет соответствовать положению, когда схват находится на небольшом расстоянии от предмета и ориентирован таким образом, чтобы последующее движение схвата было поступательным и производилось вдоль оси, являющейся продольной осью симметрии схвата. Именно это движение является вторым действием, которое должен выполнить робот; это действия также является переносом, но более простым, чем первый перенос. Наконец, третье действие это действие собственно схватывание с заданной силой сжатия.

Первое действие состоит из двух движений: переноса и коррекции. При обучении этому действию оператор перемещает к макету объекта руку с одетой на нее перчаткой с наиболее удобной для взятия стороны и устанавливает ее на небольшом расстоянии от предмета с необходимой ориентацией. При этом в базу данных системы обучения и управления вводится информация, необходимая для воспроизводства траектории движения руки и ее коррекции на последнем участке.

Эта коррекция, как и в случае движения переноса, необходима из-за больших погрешностей при решении навигационной задачи определения пространственного положения перчатки, а также, в отличии от случая переноса, из-за возможных смещений после обучения предмета, который должен быть взят схватом.

Второму действию можно в простых случаях сборочных операций не обучать, так как для обоих случаев взятия оно одинаково, а именно, поступательно с ориентацией схвата, которую он имеет после завершения предыдущего движения, причем, вектор скорости центра схвата совпадает с осью его симметрии и направлен «от схвата». И поэтому вся необходимая для его реализации информация известна, кроме момента окончания и скорости этого движения.

В случае наличия на пальцах схвата сенсора, регистрирующего наличие предмета в схвате, это действие можно завершать по сигналу этого сенсора. Скорость же всегда можно использовать одну и ту же.

Что касается третьего движения схватывания, то в результате обучения должна быть запомнена сила сжатия пальцев схвата, достаточная для удержания предмета и не слишком большая, чтобы не разрушить данный предмет. Эта операция может быть реализована с использованием дополнительных сило-моментных и тактильных датчиков в схвате робота.

Режим обучения в случае А). Обзорное движение Процесс взятия предмета в случае 2, в отличие от случая 1, должен начинаться с действия, в задачу которого входит нахождение предмета, предназначенного для взятия.

Это действие включает обзорное движение и собственно процедуру распознавания предмета для взятия.

В процессе обучения обзорному движению перчатка на руке оператора должна осуществлять, например, круговое вращение вокруг оси, которая примерно перпендикулярна плоскости, на которой находится предмет, причем оптическая ось объектива телекамеры должна находиться под некоторым наклоном к этой плоскости.