На правах рукописи

Ситалов Дмитрий Сергеевич

МОДЕЛИРОВАНИЕ ПЕРЕМЕЩЕНИЯ АВАТАРА

В ПРОСТРАНСТВЕ И ЕГО ВЗАИМОДЕЙСТВИЯ

С ОБЪЕКТАМИ ВИРТУАЛЬНОЙ СРЕДЫ

Специальность 05.13.18 – Математическое моделирование,

численные методы и комплексы программ

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Новочеркасск – 2012 2

Работа выполнена на кафедре «Программное обеспечение вычислительной техники»

ФГБОУ ВПО «Южно-Российский государственный технический университет» (Новочеркасский политехнический институт)» и в ООО «Центр тренажеростроения и подготовки персонала» (г. Москва).

Научный руководитель кандидат технических наук, доцент Гринченков Дмитрий Валерьевич

Официальные оппоненты Гайджуров Петр Павлович, доктор технических наук, профессор, ФГБОУ ВПО «Южно-Российский государственный технический университет» (Новочеркасский политехнический институт)», профессор кафедры «Сопротивление материалов, строительная и прикладная механика»

Наумов Борис Александрович, кандидат технических наук, доцент, ФГБУ «Научно-исследовательский институт Центра подготовки космонавтов имени Ю.А. Гагарина», ведущий научный сотрудник

Ведущая организация Научно-исследовательский институт многопроцессорных вычислительных систем имени академика А.В. Каляева федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет»

Защита диссертации состоится «20» апреля 2012 г. в 10 часов на заседании диссертационного совета Д 212.304.02 при ФГБОУ ВПО «Южно-Российский государственный технический университет (Новочеркасский политехнический институт)» по адресу: 346428, г. Новочеркасск, Ростовской обл., ул. Просвещения, 132, (гл. корпус, ауд. 149)

С диссертацией можно ознакомиться в научно-технической библиотеке «ЮжноРоссийского государственного технического университета (Новочеркасского политехнического института)». С текстом автореферата можно ознакомиться на сайте ЮРГТУ (НПИ) www.npi-tu.ru

Автореферат разослан «07» марта 2012 г.

Ученый секретарь диссертационного совета канд. тех. наук, профессор Иванченко А.Н.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Для обеспечения высокого уровня профессиональной подготовки операторов, управляющих сложными наземными, воздушными и морскими объектами, успешно используются тренажеры и тренажерные комплексы, в которых в максимально полной мере воспроизводятся условия реальной деятельности этих операторов. Наряду с полномасштабными (натурными) тренажерами, которые строятся на базе использования на рабочих местах операторов физических макетов управляемого оборудования, широкое применение находят компьютерные тренажеры, в которых ограничиваются схемной визуализацией приборного оборудования; при этом программно моделируется динамика протекающих процессов и логика функционирования управляемых оператором систем. В связи с отсутствием реального оборудования компьютерные тренажеры значительно дешевле, однако в силу того, что окружающая среда в них не воспроизводится, уровень адекватности условий деятельности оператора в таких тренажерах существенно ниже.

Последние годы все более широкое применение при создании средств подготовки операторов находят технологии виртуальной реальности. В системе виртуальной реальности (СВР) органы управления и другие объекты окружающей среды тоже моделируются в соответствии с воспроизводимой ситуацией путем геометрического моделирования каждого объекта сцены. Таким образом, применение СВР в тренажеростроении позволяет достигать достаточно высокого уровня подобия воспроизводимого процесса управления при меньших затратах на имитацию оборудования рабочего места оператора.

Однако в настоящее время при использовании СВР не предусматривается визуальное присутствие человека-оператора в виртуальной среде. Изменение положения органов управления и перемещение объектов виртуальной среды производится условным воздействием на некоторые активные зоны экрана. Следовательно, и в этом случае имеет место условность выполнения действий, связанных с тем, как взаимодействует человек с объектами виртуальной среды. Для повышения адекватности процесса моделирования управляемого оператором объекта становится актуальной задача непосредственного помещения человека (аватара) в виртуальную среду.

В зависимости от характера процесса обучения и отрабатываемых на тренажере задач оператор должен иметь возможность либо наблюдать себя в виртуальной среде «со стороны», либо видеть свои руки, когда он осуществляет воздействие на какой-либо объект виртуальной среды. Одной из важнейших задач, которые решаются на базе тренажеров, является отработка взаимодействия нескольких членов экипажа при выполнении комплексных задач (например, при ликвидации аварийной ситуации). В этом случае обучаемый оператор должен видеть аватаров (виртуальные копии других членов экипажа), которые совместно с обучаемым участвуют в выполнении упражнения.

Следует отметить, что аналогичная задача моделирования действий аватара в условиях изменяющейся виртуальной среды успешно решается в компьютерных играх. Однако при использовании модели человека в тренажерах возникают принципиальные трудности, связанные с высоким уровнем неопределенности тех действий, которые должен будет осуществить обучаемый в следующий момент времени с учетом моделируемой ситуации (ситуацию задает и может постоянно изменять инструктор). Хотя и в игровых комплексах в реальном масштабе времени моделируется не полностью определенный процесс, тем не менее, всю совокупность возможных действий пользователя обычно удается свести к ограниченному набору типовых операций, которые формируются заранее и заносятся в библиотеку фрагментов действий, а в процессе игры производится выбор и «склеивание» соответствующих фрагментов.

В тренажерах не всегда удается свести множество действий оператора к ограниченному набору. Например, если требуется включить определенный тумблер в некоторой зоне пульта, а исходное положение аватара заранее не определено, то существует бесконечное множество траекторий перемещения пальца аватара из исходного положения к заданной точке пульта. Поэтому возникает задача разработки и программной реализации в реальном масштабе времени алгоритмов координированного перемещения человека в виртуальной среде при заданном начальном и конечном положении частей его тела.

Диссертационная работа направлена на решение актуальной проблемы повышения эффективности и качества профессиональной подготовки специалистов путем осуществления компьютерного моделирования действий операторов современных тренажномоделирующих комплексов (ТМК), построенных с использованием технологий виртуальной реальности. Общие подходы к проектированию тренажеров и повышению качества обучения персонала на тренажерах отражены в работах Шукшунова В.Е., Потоцкого С.И., Циблиева В.В., Безрукова Г.В., Душенко А.Г., Жука Е.И., Зубова Н.Е., Макарова А.М., Наумова Б.А., Фоменко В.В., Кобзева В.В., Шилова К.Ю., Бобровича В.Ю., Алтунина В.К.

Диссертационная работа соответствует перспективным планам Центра тренажеростроения и задачам обеспечения Федеральной космической программы России на 2006- годы. Работа выполнена в рамках утвержденных в ЮРГТУ (НПИ) научных направлений «Проблемы автоматизации и обработки информации в тренажерах, информационных и обучающих комплексах» и «Интеллектуальные тренажно-обучающие комплексы, тренажеры, системы виртуальной реальности, виртуальные лаборатории – основа инновационных образовательных программ в технических университетах».

Целью диссертационной работы является разработка, исследование и реализация математических моделей движения оператора в виртуальной среде моделируемого объекта, которым управляет обучаемый оператор, позволяющие увеличить эффективность обучения персонала за счет воспроизведения непосредственного воздействия аватара на орган управления и обеспечения возможности проведения комплексных упражнений группой операторов.

Для достижения указанной цели в диссертационной работе решаются следующие основные задачи исследования:

анализ существующих методов и средств моделирования аватара в СВР;

построение математической модели аватара, учитывающей специфику ее применения в составе тренажера;

разработка модели перемещения аватара в виртуальном мире тренажера с использованием технологий компьютерной анимации персонажа;

разработка математической модели движения аватара в зоне оперативного пространства в штатных и экстремальных ситуациях;

реализация численных методов оптимизации движения при моделировании перемещения аватара в зоне оперативного пространства;

построение комплекса программных средств, обеспечивающего моделирование ситуации, в которой человек выполняет операции по управлению сложным динамическим объектом;

проведение теоретических и экспериментальных исследований эффективности применения модели аватара в составе тренажера: а) оценка временных характеристик разработанной математической модели движения руки аватара к целевой точке в процессе решения практической задачи, связанной с управлением сложным объектом; б) проведение экспериментального исследования, связанного со структурой геометрической модели аватара;

оценка адекватности разработанных моделей перемещения аватара в виртуальном мире тренажера и движения в оперативном пространстве.

Методы исследований и достоверность результатов. В работе использованы методы математического и компьютерного моделирования, компьютерной графики, линейной алгебры, стереометрии, аналитической геометрии, вычислительной математики, робототехники и теоретической механики. Достоверность научных результатов и выводов подтверждается непротиворечивостью теоретических положений, корректным использованием математического аппарата матричных преобразований, линейной алгебры, теории вероятностей и методов оптимизации. Обоснованность принятых допущений и достоверность предложенных моделей подтверждается результатами практической реализации разработанных моделей.

Объектом исследования является представление деятельности человека в виртуальной среде при его перемещении и взаимодействии с оборудованием управляемого объекта.

Предметом исследования являются математические модели перемещения аватара в виртуальном мире тренажера и движения в зоне оперативного пространства, численные методы их описывающие.

Научная новизна. Основные научные результаты, содержащиеся в диссертации:

разработана общая концепция построения и структура системы моделирования действий аватаров в виртуальном пространстве, отличительной особенностью которой является комбинированное использование заранее подготовленных анимаций перемещения тела аватара в виртуальном мире тренажера и генерации движения руки аватара в зоне оперативного пространства в реальном масштабе времени;

математическая модель скелета аватара как многозвенного комплекса, позволяющая имитировать действия оператора при управлении технической системой, особенностью которой является обеспечение возможности изменения структуры скелета руки аватара в реальном масштабе времени, что позволяет значительно упростить решение задачи подведения руки аватара в целевую точку;

новый метод решения задачи моделирования движения аватара в области оперативного пространства как задачи оптимального перемещения руки аватара в целевую точку воздействия на объект виртуального мира, основанный на допустимых траекториях движения элементов скелета руки аватара;

экспериментальное исследование моделей движения аватара в оперативном пространстве, подтвердившее эффективность разработанной модели аватара на основе допустимых траекторий движения элементов руки;

численные методы программной реализации предложенных моделей, позволяющие в реальном масштабе времени воспроизводить в виртуальном пространстве действия человека по управлению техническими объектами. На основе этого сформированы рекомендации к построению геометрической модели аватара.

Основные положения, выносимые на защиту:

1. Общая концепция построения системы моделирования действий аватаров в виртуальном мире тренажера.

2. Оптимизационная модель движения аватара в зоне оперативного пространства и численный метод ее реализации, учитывающие ограничения на движения элементов руки аватара и допустимые траектории перемещения ее элементов.

3. Результаты моделирования и экспериментальных исследований, подтверждающие адекватность разработанных моделей и эффективность предложенных алгоритмов перемещения аватаров в виртуальном мире тренажера и движения в зоне оперативного пространства.

4. Комплекс программ, реализующих предложенные модели движения аватара в виртуальном мире тренажера.

Практическая ценность работы заключается в создании моделей и алгоритмов, обеспечивающих возможность строить СВР, в которой воспроизводится работа виртуального оборудования с имитацией действий одного или нескольких операторов, работающих в виртуальной среде. Такие системы могут эффективно использоваться в тренажерах для подготовки операторов к управлению сложными объектами. Возможности разработанного программного обеспечения (ПО) позволяют построить траекторию перемещения аватара в заданную точку виртуального пространства тренажера из произвольного начального положения, воспроизвести плавное движение аватара по вычисленной траектории, а также моделировать взаимодействие аватара с заданным объектом виртуального мира.

Реализация результатов работы. Результаты диссертационной работы использованы в процессе создания стенда для отработки планируемых полетных операций на основе моделирования действий экипажа в виртуальной среде интерьера Международной космической станции (МКС) и транспортного корабля «Союз-ТМА» с применением технологий виртуальной реальности и в процессе разработки трехмерных моделей и виртуальных руководств в рамках эксперимента «ВИРУ». Разработанные математические модели и научные результаты работы также внедрены в учебный процесс ЮРГТУ (НПИ).

Апробация работы. Основные положения диссертации и отдельные ее результаты докладывались, обсуждались и получили одобрение на:

седьмой международной научно-практической конференции «Пилотируемые полеты в космос», 2007 г. (Звездный городок);

научно-технических конференциях ЮРГТУ (НПИ) «Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем» в 2008, 2009 и 2010 гг.;

научно-технической конференции факультета информационных технологий ЮРГТУ (НПИ) по проблемам автоматизации обработки информации в информационных и управляющих комплексах, 2009 г.;

XIX научно-технической конференции молодых ученых и специалистов, посвященная 50-летию первого полета человека в космос, 2011 г. (ОАО «РКК «Энергия»).

В полном объеме диссертационная работа докладывалась и обсуждалась в ООО «Донской филиал Центра тренажеростроения» (г. Новочеркасск). Получено 2 акта внедрения в комплексные ТМК и акт внедрения научных результатов в учебный процесс ЮРГТУ (НПИ).

Публикации. По результатам выполненных исследований опубликовано 10 научных работ, из них 3 в рекомендованных ВАК изданиях, получено 4 свидетельства о регистрации программ для ЭВМ.

Структура диссертации. Диссертация состоит из введения, четырех глав, заключения и трех приложений, изложена на 204 страницах и содержит: 5 таблиц, 100 рисунков и список литературы, включающий 115 наименований.

Автор выражает благодарность к.т.н., проф. А.Н. Иванченко за ценные замечания и помощь в оформлении диссертационной работы.

Особую благодарность и признательность автор выражает к.т.н., проф.

С.И. Потоцкому за руководство научными исследованиями, ценные рекомендации по подготовке и оформлению диссертационной работы, а также помощь в становлении автора как ученого и специалиста в области тренажеростроения.

ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы диссертации, сформулированы цель и задачи, показаны научная новизна и практическая значимость работы. Представлены положения, выносимые на защиту, апробация работы и структура диссертации.

В первой главе «Анализ методов моделирования аватара в системах виртуальной реальности тренажеров» приводится анализ особенностей построения современных тренажных средств, в которых используются технологии виртуальной реальности. Показано, что одним из перспективных путей совершенствования тренажеров данного типа является моделирование действий оператора и обеспечение возможности проведения комплексных упражнений.

Вводятся понятия аватара, представляющего собой модель человека в виртуальном мире, и оперативного пространства аватара, являющегося аналогом зоны сервиса в теории многозвенных манипуляторов, и определяющего точки пространства вблизи аватара, к которым он может подвести руку без перемещения своего тела, выполняя движение только рукой.

Рассмотрены действия оператора в виртуальной среде тренажера, а также способы моделирования этих действий. В диссертационной работе рассматривается два типа движений:

определенные движения, представляющие собой ограниченное количество однотипных движений, которые часто повторяются и ввиду этого их можно заранее подготовить (определить): линейное перемещение, разворот, приседание, пролет по станции;

недоопределенные движения, которые чрезвычайно разнообразны и ввиду этого их заранее подготовить нельзя: разворачивать голову в заданном направлении (множество направлений взгляда), осуществлять нажатие кнопок на пультах управления и переключение тумблеров указательным пальцем правой руки (множество комбинаций взаимного положения аватара и целевой точки), осуществлять хватательные движения руками в зависимости от габаритов объекта.

Рассматривая задачу моделирования действий аватара можно провести аналогию с анимацией персонажей в компьютерных 3D играх, где движения персонажа заранее известны, ограничены небольшим количеством возможных траекторий перемещения и ввиду этого реализуются посредством предварительной подготовки определенных (типовых) движений при создании персонажа в инструментальных комплексах трехмерного моделирования. В работах Ф. Луна, Д. Адамса, Тютина В.В., Семакина М.М. рассматриваются вопросы анимации трехмерных персонажей в области машинной графики и компьютерных игр. Однако ввиду значительного многообразия движений оператора тренажера решение задачи моделирования аватара с помощью воспроизведения ограниченного набора движений посредством компьютерной анимации персонажей не представляется возможным.

Другой близкой областью является раздел робототехники – кинематика многозвенных манипуляторов, где движение руки-манипулятора рассчитывается в реальном масштабе времени с высочайшей точностью на основе решения уравнений движения системы звеньев кинематической цепи манипулятора. К исследованиям в области кинематики многозвенных манипуляторов можно отнести работы Корендясева А.И., Саламандра Б.Л., Кобринского А.Е., Веселовского В.В., Вукобратовича М., Стокича Д., Кирчански Н. Решение задачи моделирования движения аватара на основе данного подхода является неэффективным ввиду высокой вычислительной сложности моделей движения, учитывающих ряд параметров, которые не требуются для воспроизведения движения аватара в виртуальном мире тренажера (устойчивость, моменты сил и др.).

Рассматриваются способы моделирования недоопределенных движений аватара, представляющих собой задачу перемещения руки аватара в заданную (целевую) точку виртуального пространства. Выполнен анализ возможности применения методов решения подобных задач из смежных областей: моделирование персонажей в компьютерных играх (RagDoll) и 3D фильмах, движение руки робота-манипулятора, компьютерная анимация трехмерных моделей персонажей в инструментальных комплексах трехмерного моделирования с использованием методов инверсной кинематики. В результате анализа сделан вывод, что существующие методы, позволяющие получить решение задачи движения аватара в зоне оперативного пространства, обладают рядом недостатков и, как следствие, применение этих методов является неэффективным. Поэтому актуальной является разработка нового метода реализации недоопределенных движений, основанного на геометрических параметрах руки аватара без выполнения моделирования движения, построенного на физических законах, но реализующего оптимизацию движения и учитывающего особенности кинематики руки человека.

Формулируется постановка задачи моделирования перемещения аватара в виртуальном мире тренажера и выделяются основные этапы ее решения, среди которых можно выделить следующие: обеспечение возможности аватара перемещаться по сцене виртуального мира тренажера и осуществлять руками управление оборудованием (выполнять определенные и недоопределенные движения); достижение достаточной точности движений, которая обеспечивала бы возможность сторонним наблюдателям видеть, какие именно действия выполняет аватар (средний размер кнопки пульта управления 1 см); снижение потребности в вычислительных ресурсах, что расширяет сферу применения модели аватара путем снижения требований к аппаратному обеспечению тренажера; обеспечение достаточного уровня детализации геометрической модели аватара; обеспечение плавности выполнения моделируемых движений; учет биомеханических особенностей строения тела человека, таких как ограничения на поворот звеньев в суставах, нормальные и предельно допустимые скорости движения элементов тела аватара.

Во второй главе «Математические модели движения аватара в виртуальной среде тренажера» рассмотрена общая структура модели аватара, представляющая собой комбинацию компьютерной модели, которую оператор видит на экране, и математической модели, определяющей движение компьютерной модели. Модель аватара предлагается строить как систему, состоящую из двух компонентов: модель скелета, определяющая пространственное положение аватара на сцене и движение частей его тела, и наложенная на него геометрическая модель поверхности тела (модель реальной формы соответствующей части тела человека), представляющая собой кожу аватара (рис. 1). Связь геометрической и скелетной моделей аватара осуществляется с применением технологии скелетной анимации (Skeletal Animation). Таким образом, движение участка поверхности тела аватара определяется положением близлежащих элементов скелета, что соответствует биологическому строению тела человека.

Предложен подход к реализации движений на основе построения модели аватара как комбинированной системы, включающей как воспроизведение заранее подготовленных наборов анимаций для определенных движений оператора (передвижение по сцене виртуального мира), так и моделирование движения аватара в реальном времени для моделирования недоопределенных движений.

Построена классификация определенных движений аватара. На рис. 2 прямоугольниками обозначены анимации соответствующих определенных движений, а овалами – состояния модели аватара (в скобках указан порядковый номер анимации). Переход из одного состояния в другое осуществляется посредством воспроизведения заранее подготовленной анимации, что обозначено стрелками.

На схеме классификации движений выделено два стационарных состояния, в которых человек может находиться длительное время: стоять прямо без действия и сидеть на корточках. Анимации всех движений строятся таким образом, чтобы они начинались и заканчивались в одном из возможных стационарных состояний. Переход между данными двумя состояниями возможен только путем моделирования приседания, вставания из состояния приседа и прыжка с воспроизведением соответствующих анимаций.

Разработанная модель движения руки аватара к целевой точке (выполнение недоопределенного движения) включает в себя следующие этапы:

1. Решение обратной задачи, в ходе которого определяется конфигурация скелета руки аватара, соответствующая конечному положению руки, когда указательный палец подведен к целевой точке.

2. По известным начальной (текущей) Q start (q1start,..., qn ) и конечной (вычисленной) Qend (q1end,..., qn ) конфигурациям скелета выполняется сферическая линейная интерполяция (SLERP) кватернионов с изменяющимся параметром (t ) 0,1 для определения промежуточных конфигураций Qcur (q1cur,..., qn ) руки аватара при движении к целевой точке (n – количество элементов в скелете руки аватара). Параметр (t ) определяется на каждом такте моделирования по формуле где ( t tнач ) – время, прошедшее с начала движения руки к целевой точке; Тдвиж – общее время подведения руки аватара к целевой точке. SLERP выполняется по следующей формуле где – угол вращения из начальной конфигурации Qstart к конечной Qend.

Разработан алгоритм определения траектории движения руки аватара к целевой точке в штатных и экстремальных ситуациях. Параметром, непосредственно влияющим на скорость движения элементов руки аватара, является время движения к целевой точке Тдвиж, Tдвиж max i / i огр, где i – угол вращения i-го звена скелета при движении руки аваi тара к целевой точке; i огр – ограничение угловой скорости движения i-го звена скелета, которое выбирается исходя из моделируемой ситуации (штатная, экстремальная) и биомеханических параметров движения руки человека. В штатной ситуации параметр Тдвиж выбирается таким, чтобы скорости движения элементов руки соответствовали номинальным параметрам движения руки человека. В экстремальной ситуации выполняется моделирование максимально быстрого движения руки к целевой точке, но с учетом ограничений предельно допустимых скоростей движения элементов руки человека.

Для моделирования движения с ускорением элементов руки предлагается использовать сферическую линейную интерполяцию с нелинейно изменяющимся параметром. Моделирование движения с ускорением состоит из трех фаз: а) равноускоренное движение на интервале t0, t1 – разгон из состояния покоя до ограничивающей скорости огр с угловым ускорением огр (при этом элемент за время t1 t1 t0 поворачивается из начальной ориентации 0 на угол 1 ); б) равномерное движение на интервале t1, t2 со скоростью огр (элемент за время t2 t2 t1 поворачивается на угол 2 ); в) равнозамедленное движение на интервале t2, t3 – торможение со скорости огр до нуля с замедлением минус огр (элемент за время t3 t3 t2 поворачивается на угол 3 ). При этом изменение угла поворота элемента скелета производится по следующим законам движения:

Тогда параметр интерполяции определяется по формуле (t ) (t ) 0.

Для уменьшения вычислительных затрат выполнено исследование методов преобразования скелетной структуры руки модели аватара, содержащей 6 элементов в кинематической цепи от плеча к кончику указательного пальца. Упрощенная модель руки содержит элемента и построена на том допущении, что человек выполняет операции управления без движения элементов кисти, а все движение производится в суставах плеча, локтя и запястья.

Разработан математический аппарат преобразования параметров элементов скелета при переходе от полной модели скелета руки аватара к упрощенной, (рис. 3), и наоборот.

Рис. 3 – Полная (слева) и упрощенная (справа) модель скелета руки аватара Предложен новый метод решения обратной задачи моделирования движения аватара с применением математического аппарата геометрии и линейной алгебры, основанный на допустимых траекториях движения частей тела аватара. Исходными данными при решении обратной задачи моделирования аватара на основе данного подхода являются: положение аватара и целевой точки Cц ( xц, yц, zц ) в виртуальном мире тренажера; параметры скелета аватара (длины звеньев, допустимые углы вращения в суставах); диапазон допустимых направлений (ц,ц ) подведения руки к целевой точке ( ц – отклонение кисти от нормали в целевой точке; ц – направление отклонения кисти); ограничивающие параллелепипеды (ОП) частей тела аватара и объектов виртуального мира, с которыми обрабатываются столкновения. В результате требуется определить обобщенные координаты qп, qпр, qз звеньев кинематической цепи руки аватара (плеча, предплечья и запястья соответственно).

Задача определения параметров кинематической цепи руки аватара разделена на следующие этапы:

1. Переход от полной модели скелета руки аватара к упрощенной.

2. Определение положения сустава запястья CЗ ц,ц в конечном положении в зависимости от направления подведения руки к целевой точке. Для этого вычисляется матрица МЦ,М преобразования из системы координат целевой точки в мировую систему координат:

3. Определение множества допустимых положений локтевого сустава Спр(xпр, yпр, zпр) и решение задачи оптимизации положения локтевого сустава при действии аватара в оперативном пространстве. Для этого рассмотрим движение плеча независимо от предплечья («в отрыве от предплечья»). Плечевое звено вращается в плечевом суставе, при этом локтевой сустав Спр описывает в пространстве сферу Sп с центром в Сп радиусом lп (рис. 4). Аналогично предплечье вращается независимо от плеча в суставе запястья, при этом локтевой сустав Спр описывает в пространстве сферу Sпр с центром в Сз радиусом lпр. Очевидно, что точки пересечения этих двух сфер Sп и Sпр образуют множество возможных положений локтевого сустава.

Таким образом, обратная задача сводится к задаче поиска точек пересечения двух сфер, обозначенных Sп и Sпр на рис. 4. Для упрощения вычислений введем новую систему координат O’x’y’z’ с центром в плечевом суставе и ориентированную таким образом, чтобы сустав запястья лежал на оси O’x’. Тогда Sп : x 2 y 2 z 2 lп ; Sпр : ( x d ) y z lпр. Решение обратной задачи (x’пр, y’пр, z’пр) представляет собой окружность S реш : y z Rnp радиуса Rпр ln xnp с центром в точке (xпр, 0, 0), заданную в системе координат O’x’y’z’, лежащую в плоскости, перпендикулярной оси O’x’ (рис. 4).

Вследствие того, что рука аватара обладает кинематической избыточностью, найденное решение не единственно и представляет собой множество допустимых положений локтевого сустава, из которых выбирается наиболее соответствующее реальному движению человека путем решения оптимизационной задачи определения допустимой конфигурации скелета руки аватара.

Рис. 4 – Решение обратной задачи моделирования аватара на основе допустимых 4. Вычисление обобщенных координат qп, qпр и qз, определяющих ориентацию звеньев кинематической цепи руки аватара в конечной конфигурации скелета руки аватара, выполняется следующим образом:

а). По найденным положениям суставов скелета руки аватара определяются направления осей Ox всех элементов скелета руки аватара. Поскольку принята договоренность, что ось Ox элемента скелета направлена вдоль элемента скелета, то оси Ox лежат на прямых, соединяющих суставы руки аватара:

б). Направления осей Oy и Oz систем координат элементов скелета руки аватара определяются таким образом, чтобы вращение ортов системы координат при движении из начальной конфигурации скелета к конечной было минимальным. Это достигается путем применения процедуры ортогонализации Грамма-Шмидта:

в). По ортам осей систем координат строятся матрицы преобразования из одной системы координат в другую для всех элементов скелета руки аватара и кватернионы, являющиеся обобщенными координатами элементов скелета.

5. Возврат от упрощенной модели скелета руки аватара к полной.

В третьей главе «Оптимизационная модель определения конечной конфигурации руки аватара и численные методы ее реализации» предложен метод выбора одного из множества найденных допустимых положений локтевого сустава при движении аватара в оперативном пространстве на основе решения задачи оптимизации с ограничивающими условиями, учитывающими допустимые движения элементов скелета в суставах. Оптимизационная задача решается во введенной ранее системе координат O’x’y’z’. Переменными параметрами при оптимизации являются:

1. Положение локтевого сустава Cnp ( x 'пр, y 'пр, z 'пр ). Поскольку координата x 'пр покон стоянная, а пары y 'пр, z 'пр лежат на окружности радиуса Rпр ln xnp, то возможные положения локтевого сустава описываются одной угловой координатой 0,2 (рис. 5):

2. Направление подведения кисти к целевой точке (ц,ц ).

В качестве целевой функции оптимизации предлагается использовать принцип нижайшего локтя, применяемый в робототехнике при разработке антропоморфных манипуляторов. Критерий оптимизации движения руки аватара на основе принципа нижайшего локтя определяет такое конечное положение локтевого сустава Qкон, при котором расстояние от локтевого сустава до плоскости пола d минимально (рис. 5). При этом целевая функция имеет следующий вид где N ( A, B, C ) – нормаль плоскости пола; D – расстояние от плоскости пола до начала координат.

Рис. 5 – Критерий оптимизации движения аватара в оперативном пространстве по Ограничивающие условия делятся на три группы:

1. Для учета биомеханических параметров движения руки человека применены ограничения, учитывающие максимальные углы вращения в суставах плеча, локтя и запястья.

При этом необходимо для положения локтевого сустава, вычисленного на текущей итерации, для каждого i-го элемента скелета руки определить обобщенные координаты и преобразовать их в углы Эйлера ix, iy, iz, определяющие вращение элемента скелета вокруг осей Ox, Oy, Oz родительского элемента соответственно. Тогда ограничения будут иметь вид imin, x ix imax, x, imin, y iy imax, y, imin, z iz imax, z. Преобразуя данные ограничения к форме gi,ц,ц 0, удобной в численной реализации метода оптимизации, получим:

3. Ограничения, введенные для предотвращения коллизий (столкновений) элементов руки с другими частями тела аватара и с объектами виртуального мира тренажера, определяются как расстояние между ОП i-го элемента руки (ОПi) и ближайшим ОП объекта тренажера или части тела аватара (ОПobj):

Таким образом, постановка задачи оптимизации положения локтевого сустава, имеет следующий вид:

ограничивающие условия (2-5).

Аналитически показано, что в приведенной постановке задачи оптимизации целевая функция имеет минимум, следовательно, поставленная задача имеет решение.

Рассмотрены численные методы решения задачи оптимизации положения локтевого сустава: методы поиска (модифицированный метод Хука-Дживса, комплексный метод Бокса), методы последовательной оптимизации (метод штрафных функций, метод барьерных поверхностей, метод SUMT Фиакко и Маккормика). На основе выполненного анализа преимуществ и недостатков вышеуказанных методов применительно к решению поставленной задачи оптимизации положения локтевого сустава при движении аватара в оперативном пространстве выбран метод оптимизации SUMT (Sequential Unconstrained Minimization Technique) Фиакко и Маккормика, основанный на применении метода штрафных функций для последовательности значений r, стремящейся к нулю, задач без ограничений следующего вида где P( x) r 1 gi ( x) – функция штрафа; x,ц,ц – вектор параметров оптимизации;

r – малая положительная величина.

Показано, что применение метода SUMT является наиболее предпочтительным, поскольку он не накладывает требований на выпуклость допустимой области, что является существенным, поскольку область ограничений при решении задачи оптимизации положения локтевого сустава задается неявно и зависит от множества переменных факторов. Метод штрафных функций на этапе безусловной оптимизации позволяет использовать методы прямого поиска, что является значимым, поскольку целевая функция нетривиальна и ее дифференцирование затруднено. Реализацию метода штрафных функций целесообразно строить на методе безусловной оптимизации многомерной функции Хука-Дживса, поскольку он обладает хорошими параметрами сходимости и эффективен для широкого спектра функций.

Выполнено экспериментальное исследование временных характеристик численных методов решения задачи оптимизации положения локтевого сустава при движении аватара в оперативном пространстве, результаты которого приведены в табл. 1.

Таблица 1 – Исследование методов оптимизации с условиями метод Хука-Дживса Анализ результатов экспериментов показал, что использование метода SUMT Фиакко и Маккормика является предпочтительным, поскольку он обладает значительно большей точностью при сравнимых временных затратах, сходится в 100 % случаев и гарантировано приводит к получению решения, принадлежащего допустимой области, даже в случае преждевременного завершения работы метода.

В четвертой главе «Разработка программного комплекса и реализация моделей движения аватаров в виртуальной среде тренажера» приводятся результаты программной реализации предложенных моделей, структура пакета прикладных программ, особенности применения разработанных программных компонентов в составе тренажера. Предложена структура данных, описывающих элементы скелета аватара, содержащая необходимую информацию для реализации предложенных моделей движения. При проведении комплексных упражнений модели аватаров участников тренировки переносятся в распределенный модельный мир ТМК, что позволяет каждому участнику тренировки видеть в виртуальном мире аватаров других участников упражнения. Рассмотрена структура разработанного пакета программ, реализующих предложенные модели движения, указаны его ключевые особенности, рассмотрены вопросы внедрения программных компонентов моделирования аватара в ТМК.

Выполнено экспериментальное сравнение модели движения аватара в оперативном пространстве, построенной на кинематике манипуляторов (реализованной с использованием библиотеки моделирования физических процессов NVidia PhysX), и модели, основанной на допустимых траекториях движения элементов скелета руки аватара, результаты которого приведены на рис. 6. Из данного рисунка видно, что наилучшие результаты показывает модель на основе допустимых траекторий движения частей тела аватара. На различных конфигурациях оборудования модель, построенная на допустимых траекториях движения, работает в 1,5-2 раза быстрее.

Компьютер с поддержкой Компьютер без Компьютер среднего Рис. 6 – Оценка времени вычисления траектории перемещения руки для различных моделей движения аватара в оперативном пространстве Произведено экспериментальное исследование моделей движения аватара в тренажере. При выполнении недоопределенного движения руки аватара к целевой точке на интервале времени [tн, tк] у исследуемых моделей движения аватара в оперативном пространстве наблюдается снижение частоты кадров вывода изображения, вызванное вычислением траектории перемещения руки аватара (рис. 7). При использовании моделирования движения на основе модели RagDoll вычисление положения элементов руки выполняется в каждом такте моделирования, поэтому применение данной модели движения вызывает падение частоты кадров на всем интервале времени движения руки, тогда как в двух других моделях движения траектория перемещения руки вычисляется один раз в начале движения.

Снижение частоты кадров при работе моделей движения на основе кинематики манипуляторов и динамики RagDoll составляет 6-7 кадров в секунду, тогда как для модели на основе допустимых траекторий движения снижение частоты кадров в 3 раза меньше и составляет 2 кадра в секунду. На рис. 7 приведены результаты эксперимента при выполнении одним аватаром движения одной рукой. В случае присутствия в виртуальном мире нескольких аватаров и при выполнении недоопределенных движений обеими руками, снижение частоты кадров еще более существенно. Таким образом, применение модели перемещения аватара в оперативном пространстве на основе допустимых траекторий движения является наиболее эффективным.

Частота кадров, Гц Рис. 7 – Частота вывода кадров при выполнении недоопределенного движения аватаром Выполнен ряд экспериментов по оценке временных характеристик предложенных моделей, оценена производительность программных модулей при работе с геометрическими моделями разной детализации. Анализ результатов экспериментов показал, что на современном оборудовании детализация геометрической модели аватара (количество вершин) практически не влияет на время ее обработки. Выполнена экспериментальная оценка параметров геометрической модели аватара в зависимости от количества сегментов вблизи суставов, являющегося параметром качества геометрической модели.

В результате проведенных экспериментов расхождение верхней оценки вычисленных мгновенных угловых скоростей движения элементов руки аватара и их экспериментально установленных предельно допустимых значений составило не более 0,1 %, что можно отнести к погрешности вычислений.

Приведены варианты применения модели аватара в тренажере для моделирования действий оператора и соответствующие им способы управления его движением. Для моделирования присутствия в виртуальном мире реально не существующего участника тренировки, разработан программный модуль задания движения аватара, реализующий управление на основе выполнения заранее подготовленной программы действий, представленной в виде сценария на языке Lua. Набор интерпретируемых команд включает в себя определенные движения аватара и команду движения руки к целевой точке (недоопределенные движения), моделирующую воздействие аватара на орган управления. Реализован алгоритм поиска пути, позволяющий аватару, управляемому компьютерными средствами, осуществлять корректное перемещение по сцене виртуального мира не пересекая непроходимые объекты и препятствия. Для этого в виртуальный мир тренажера вписывается граф перемещений. Вершинами графа являются стационарные позиции аватара, в которых он может находиться в состоянии покоя и выполнять движения в оперативном пространстве. Дуги графа представляют собой пути перемещения между стационарными позициями и строятся таким образом, чтобы не пересекали непреодолимые препятствия. Траектория перемещения аватара по сцене виртуального мира строится на основе решения задачи поиска пути на графе, реализованному по алгоритму Дейкстры.

Выполнен обзор преимуществ в обучении персонала, полученных в результате использования модели аватара в ТМК, ключевыми из которых являются следующие:

достигается более высокая адекватность моделирования ситуации. Вместо условного выполнения действия (например, нажатие кнопки) производится непосредственное выполнение данной операции рукой аватара;

при моделировании взаимодействия аватара с предметами виртуального мира тренажера существует возможность производить такие действия, как управление оборудованием (нажатие кнопок, переключение тумблеров), взятие предметов в руки и их перенос (например, перемещение огнетушителя);

при моделировании ситуации с несколькими операторами, тренирующимися совместно на одном объекте, каждый из них видит в виртуальном мире образы других операторов.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ ДИССЕРТАЦИОННОЙ РАБОТЫ

1. Сформулирована общая концепция построения системы моделирования действий оператора тренажера, отличающаяся тем, что предусматривает не только моделирование воздействий оператора на органы управления, но и их непосредственное визуальное воспроизведение моделью аватара, что позволяет в значительной степени повысить адекватность моделирования ситуации.

2. Предложенные модель аватара и алгоритмы его движения в виртуальном пространстве тренажера отличаются тем, что реализуют комбинированное использование заранее подготовленных анимаций перемещения тела аватара в виртуальном пространстве и генерации движения руки аватара в требуемую точку в реальном масштабе времени, что позволяет воспроизводить весь спектр действий оператора: перемещение в пространстве к рабочей зоне и взаимодействие с оборудованием.

3. Разработана и реализована оптимизационная модель движения аватара в оперативном пространстве на основе допустимых траекторий движения элементов скелета руки аватара, обладающая высоким быстродействием и отличающаяся тем, что при моделировании перемещения руки аватара к целевой точке используются только геометрические параметры элементов тела аватара и на движения накладываются ограничения, основанные на биомеханических параметрах движения тела человека, что позволяет в реальном масштабе времени моделировать взаимодействие аватара с объектами тренажера, не требующая использование специализированного оборудования.

4. Разработанные геометрическая модель аватара и комплекс программ отличаются новизной и реализуют разработанные модели и алгоритмы движения, что позволяет моделировать весь набор движений человека-оператора тренажера. Проведены комплексные эксперименты по оценке эффективности разработанных алгоритмов моделирования перемещения аватара, показавшие двукратное преимущество в скорости работы предложенной оптимизационной модели движения аватара в оперативном пространстве по сравнению с существующими решениями.

5. Опубликовано 10 печатных работ, в том числе 3 в рекомендованных ВАК изданиях, получено 4 свидетельства о регистрации программ для ЭВМ.

СПИСОК ОСНОВНЫХ ПУБЛИКАЦИЙ

Публикации в ведущих изданиях, рекомендованных ВАК 1. Ситалов, Д.С. Упрощенная модель руки для решения обратной задачи моделирования аватара / Д.С. Ситалов // Изв. вузов. Северо-Кавк. регион. Техн. науки. – 2010. – № 6. – С. 15-18.

2. Ситалов, Д.С. Проблемы моделирования действий оператора в современном тренажере / Д.С. Ситалов // Программные продукты и системы. – 2010. – № 4 (92). – С. 137-140.

3. Ситалов, Д.С. Оптимизационная модель решения обратной задачи моделирования движения аватара в оперативном пространстве / Д.С. Ситалов // Программные продукты и системы. – 2011. – №3 (95). – С. 114-117.

Публикации в сборниках научных статей, трудов и материалов конференций 4. Ситалов, Д.С. Проблемы построения сопряженной системы реального и виртуального мира / С.И. Потоцкий, А.Г. Душенко, Д.С. Ситалов // Пилотируемые полеты в космос:

сб. тез. VII Междунар. науч.-практ. конф., Звездный городок, Моск. обл., 14-15 нояб. 2007 г. / ЦПК им. Ю.А. Гагарина. – Звездный городок, 2007. – С. 115-116.

5. Ситалов, Д.С. Постановка задачи моделирования аватара в виртуальном окружении и этапы ее реализации / Д.С. Ситалов // Теория, методы проектирования, программнотехническая платформа корпоративных информационных систем: материалы VI Междунар.

науч.-практ. конф., г. Новочеркасск, 26 мая 2008 г. / Юж.-Рос. гос. техн. ун-т (НПИ). – Новочеркасск: ЮРГТУ, 2008. – С. 85-86.

6. Ситалов, Д.С. Моделирование скелета аватара / Д.С. Ситалов // Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем: материалы VI Междунар. науч.-практ. конф., г. Новочеркасск, 26 мая 2008 г. / Юж.Рос. гос. техн. ун-т (НПИ). – Новочеркасск: ЮРГТУ, 2008. – С. 86-95.

7. Ситалов, Д.С. Об опыте использования новых информационных технологий в рамках УНИК ЮРГТУ (НПИ) / С.И. Потоцкий, Д.С. Ситалов, Е.Ю. Шашлова // Состояние и перспективы развития университетских технопарков как механизмов интеграции вузовского сектора науки, образования и производства и как механизмов поддержки создания и развития малых и средних инновационных предприятий: материалы науч. конф., г. Москва, 1- окт. 2008 г. – Новочеркасск: ЮРГТУ, 2009. – С. 92-96.

8. Ситалов, Д.С. Варианты применения модели аватара. Проблемы решения обратной задачи при моделировании аватара / Д.С. Ситалов // Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем: материалы VII Междунар. науч.-практ. конф., г. Новочеркасск, 25 мая 2009 г. / Юж.-Рос. гос. техн. ун-т (НПИ). – Новочеркасск: ЮРГТУ, 2009. – С. 167-170.

9. Ситалов, Д.С. Подход к решению обратной задачи при моделировании аватара с позиции динамики систем / Д.С. Ситалов // Теория, методы проектирования, программнотехническая платформа корпоративных информационных систем: материалы VII Междунар.

науч.-практ. конф., г. Новочеркасск, 25 мая 2009 г. / Юж.-Рос. гос. техн. ун-т (НПИ). – Новочеркасск: ЮРГТУ, 2009. – С. 170-173.

10. Ситалов, Д.С. Разработка структуры системы управления движением аватара / Д.С. Ситалов // Теория, методы проектирования, программно-техническая платформа корпоративных информационных систем: материалы VIII Междунар. науч.-практ. конф., г. Новочеркасск, июнь 2010 г. / Юж.-Рос. гос. техн. ун-т (НПИ). – Новочеркасск: ЮРГТУ, 2010. – С. 54-59.

11. Свидетельство о регистрации программы для ЭВМ № 2011613005 «Модель аватара» / Д.С. Ситалов. – Зарегистрировано в реестре программ для ЭВМ 14.04.2011.

12. Свидетельство о регистрации программы для ЭВМ № 2011618253 «Программный модуль моделирования поведения аватара» / Д.С. Ситалов. – Зарегистрировано в реестре программ для ЭВМ 19.10.2011.

13. Свидетельство о регистрации программы для ЭВМ № 2011618252 «Программный модуль моделирования определенных движений аватара» / Д.С. Ситалов. – Зарегистрировано в реестре программ для ЭВМ 19.10.2011.

14. Свидетельство о регистрации программы для ЭВМ № 2011618510 «Программный модуль моделирования недоопределенных движений аватара» / Д.С. Ситалов. – Зарегистрировано в реестре программ для ЭВМ 31.10.2011.

Личный вклад автора в опубликованных в соавторстве работах: в [4] – оценка эффективности построения сопряженной системы виртуальной реальности; [7] – структура мультимедийного комплекса для проведения лекций.

МОДЕЛИРОВАНИЕ ПЕРЕМЕЩЕНИЯ АВАТАРА

В ПРОСТРАНСТВЕ И ЕГО ВЗАИМОДЕЙСТВИЯ

С ОБЪЕКТАМИ ВИРТУАЛЬНОЙ СРЕДЫ

Формат 6084 1 16. Бумага офсетная. Ризография.

Усл. печ. л. 1,0. Уч.-изд. л. 1,41. Тираж 100 экз. Заказ 48-4238.

346428, Новочеркасск, ул. Просвещения,