«Программные технологии автоматизации построения реалистичных изображений ...»

Российская академия наук

Федеральное государственное бюджетное учреждение науки

Институт прикладной математики им. М.В. Келдыша

На правах рукописи

Волобой Алексей Геннадьевич

Программные технологии автоматизации

построения реалистичных изображений

Специальность 05.13.11 – математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей.

ДИССЕРТАЦИЯ

на соискание ученой степени доктора физико-математических наук

Научный консультант – доктор физико-математических наук профессор В.А. Галактионов Москва – Содержание Введение

Базовые алгоритмы генерации реалистичных изображений

Глава 1. Методы автоматизации задания объектов цифровой модели сцены

1.1. Автоматизация задания геометрии сцены

1.1.1. Конвертация геометрии из распространенных САПР форматов

1.1.2. Интеграция c системами автоматизированного проектирования

1.1.3. Интеграция с 3DS Max

1.1.4. Интеграция с CATIA

1.1.5. Результаты

1.2. Автоматизация задания источников освещения

1.2.1. Спецификация источников света

1.2.2. Измерение источников и построение их моделей

1.2.3. Поддержка распространенных форматов

1.2.4. Результаты

1.3. Освещение, задаваемое изображением

1.3.1. Изображение с большим диапазоном яркостей

1.3.2. Создание карт освещения

1.3.3. Обработка ярких источников света в карте освещения............... 1.3.4. Анализ карт освещения

1.3.5. Пути компенсации некорректностей карт освещения................. 1.3.6. Результаты

1.4. Автоматизация задания фонового изображения

1.4.1. Технология фотомонтажа

1.4.2. Использование карт освещения в качестве фона

1.4.3. Результаты

1.5. Выводы

Глава 2. Методы автоматизации задания оптических характеристик объектов и поверхностей сцены

2.1. Измерительный комплекс для определения светорассеивающих свойств поверхности

2.1.1. Описание комплекса для измерения ДФО/ДФП светорассеивающих свойств поверхностей

2.1.2. Программная часть комплекса измерений

2.1.3. Сравнение с существующими измерительными комплексами. 2.1.4. Примеры использования

2.1.5. Результаты

2.2. Моделирование светорассеивающих свойств поверхности ткани.... 2.2.1. Характеристики текстильных нитей

2.2.2. Расчет оптических свойств нити

2.2.3. Расчет ДФО ткани

2.2.4. Краткое описание механизма верификации подхода................. 2.2.5. Сравнение рассчитанных и измеренных данных

2.2.6. Результаты

2.3. Выводы

3. Методы автоматизации задания светоотражающих свойств оптически сложных покрытий

3.1. Вычисление оптических свойств многослойных красок

3.1.1. Существующие решения

3.1.2. Расчет оптических свойств многослойной краски

3.1.3. Структура программного комплекса интерактивного моделирования красок

3.1.4. Опыт моделирования реальных автомобильных красок........... 3.1.5. Результаты

3.2. Моделирование ДФО поверхности, покрытой красящим слоем с высокой концентрацией частиц

3.2.1. Постановка задачи моделирования красящего слоя с высокой концентрацией частиц

3.2.2. Генерация геометрии красящего слоя

3.2.3. Решение задачи дифракции

3.2.4. ДФО красящего слоя, расположенного на Ламбертовской подложке

3.2.5. Структура программного комплекса расчета красящего слоя с высокой концентрацией пигмента

3.2.6. Примеры моделирования чернил

3.2.7. Результаты

3.3. Выводы

Глава 4. Повышение производительности генерации реалистичных изображений

4.1. Использование графических ускорителей

4.1.1. Реалистичная визуализация в реальном времени с применением OpenGL

4.1.2. Визуализация результатов моделирования освещенности........ 4.1.3. Оптимизация качества текстур

4.1.4. Результаты

4.2. Реалистичная визуализация когерентной трассировкой лучей......... 4.2.1. Архитектура базовой системы визуализации

4.2.2. Когерентная трассировка лучей

4.2.3. Оптические свойства материалов и ДФО

4.2.4. Источники света

4.2.5. Оператор сжатия динамического диапазона яркости................ 4.2.6. Результаты

4.3. Длительная генерация изображения

4.3.1. Интернет-приложение построения реалистичного изображения

4.3.2. Методы достижения приемлемого времени отклика................. 4.3.3. Генерация реалистичного изображения в фоновом режиме..... 4.3.4. Прогнозирование времени расчета, необходимого для достижения заданной точности вычислений

4.3.5. Результаты

4.4. Выводы

Заключение

Список литературы

Список используемых аббревиатур

эффективное и мощное средство связи между человеком и вычислительной машиной. Использование графической формы представления информации, организация диалога между человеком и компьютером с использованием визуальных образов позволили существенно увеличить скорость обработки информации человеком, что привело к повышению эффективности исследований и разработок в самых различных областях науки и техники.

Однако с появлением методов синтеза реалистичных изображений, основанных на физически корректном моделировании распространения света, область применения компьютерной графики существенно расширилась. Созданные алгоритмы и программные средства стали представлять интерес для использования в архитектуре, градостроительстве, проектировании систем освещения, в автомобильной и авиационной промышленности и др.

Рассмотрим несколько примеров практических задач, связанных с построением физически корректных реалистичных изображений, с которыми автор сталкивался в своей работе. Все приведенные ниже изображения были сгенерированы с помощью программных систем компьютерной графики, разработанных в ИПМ им. М.В.Келдыша РАН при непосредственном участии и/или под руководством автора [1, 2].

Архитектура и ландшафтный дизайн. Архитектура была одной из первых областей применения генерации реалистичных изображений виртуальных сцен. Это связано с относительной простотой виртуального представления архитектурных объектов в памяти, что в свою очередь Изначальное название «машинная графика» является уже несколько устаревшим, поэтому в данной работе автор будет употреблять только более современное название «компьютерная графика».

снижает требования к ресурсам компьютера. При сильном упрощении здания могут быть представлены прямоугольниками или многогранниками, стены, этажные перекрытия – плоскостями. Практически отсутствуют криволинейные поверхности.

Предварительные расчеты освещения и построение реалистичного изображения виртуальной модели существенно повышают эффективность проектирования и строительства зданий. С помощью таких расчетов заранее возможно определить и согласовать с заказчиком архитектурного проекта следующие факторы:

1. Эстетичность разрабатываемых архитектором интерьеров помещений и внешнего вида, насколько проектируемое здание «вписывается» в существующий ландшафт. Любая переделка или модификация после начала строительства всегда будет стоить дороже. На рис. В1 представлен внешний вид планируемого здания гостиницы, «вписанный» в существующий ландшафт, а на рис. В2 – возможный интерьер одного из его помещений.

Рис. В2. Интерьер холла проектируемой гостиницы.

2. В последние годы важным аспектом строительства любого здания является экономичность (энергосбережение) его системы освещения.

Основываясь на точных расчетах освещения помещений дневным и солнечным светом, архитектор может варьировать положение и ориентацию здания относительно сторон горизонта и окружающих строений, расположение и размеры оконных проемов, лоджий и т.д. Основной целью при этом дизайне является максимальное использование естественного света (создаваемого солнцем и небом) для достижения комфортного освещения помещения при минимальных энергетических затратах на его искусственное освещение. На рис. В3 показана проектируемая комната. Видно, что солнечного света вполне достаточно для освещения помещения, и как будет выглядеть интерьер при тех или иных применяемых материалах при заданном времени суток.

Рис. В3. Расчет освещения проектируемого помещения.

3. При проектировании офисных помещений освещенности рабочих мест должны соответствовать существующим стандартам, в которых указаны не только минимально допустимые величины освещенности, но и такие параметры, как доля прямого света от источника в поле видимости человека («комфортность» освещения). Для эффективной проверки соответствия стандартам рассчитанная освещенность может быть представлена в виде световой карты. Световая карта – это такое же реалистичное изображение виртуальной сцены, но только физические значения освещенности представлены в ней заданными цветами («псевдо-цветами»). Правильное задание соответствия значений освещения определенному цвету позволяет сразу увидеть соответствие разрабатываемого проекта стандартам. Пример такой световой карты представлен на рис. В4.

Рис. В4. Распределение освещенности, представленное световой картой.

Таким образом, система реалистичной компьютерной графики становится эффективным инструментом проектировщика, позволяющим еще на этапе создания проекта предложить и проверить ряд архитектурных решений.

визуализации, используемые в автомобильной промышленности, значительно сложнее тех, что сначала были разработаны для архитектурных приложений. Основными факторами здесь являются • наличие большого числа криволинейных поверхностей, обычно представляемых в виде сплайнов в системах САПР;

• сложные оптические свойства поверхностей; для примера достаточно сравнить внешний вид автомобильной краски направления наблюдения, и стен здания, которые в большинстве случаев являются практически диффузными.

Однако и класс задач, в решении которых применяются алгоритмы компьютерной графики, в автомобильной промышленности значительно шире. Приведем некоторые из них.

1. Задача расчета освещения салона автомобиля является схожей с задачей расчета освещения интерьеров помещений. Здесь также важными факторами являются как эффективность освещения, так и соответствие освещенности принятым стандартам. На рис. В5 проиллюстрирован процесс моделирования освещенности автомобиля, при котором рассчитывается освещенность рабочего места водителя при разных вариантах подсветки для чтения.

Рис. В5. Два варианта освещенности салона автомобиля.

2. Важным направлением, получившим развитие в последние годы, стало моделирование и визуализация новых оптически сложных материалов, таких как многослойные краски со сложной микроструктурой (типа перламутровых и «металлик») в автомобильной промышленности.

Разработанные программные средства позволяют моделировать и визуализировать краски, состоящие из плоскопараллельных однородных слоев, каждый из которых составлен из прозрачного лака и взвешенных в нем пигментных частиц и интерференционных чешуек.

На рис. В6 представлен автомобиль, окрашенный такой краской, при солнечном освещении. Цвет этих красок зависит от угла зрения и направления освещения. Он может резко меняться («переключаться») даже при плавном изменении этих углов.

Рис. В6. Автомобиль, окрашенный оптически сложной краской, при Светорассеивающие свойства таких красок не могут быть заданы скалярными коэффициентами, а требуют более сложного описания с помощью двунаправленных функций отражения света. Другим аспектом визуального восприятия краски является различное освещение, она выглядит различно утром и в середине дня, при солнечной или пасмурной погоде.

Гораздо дешевле смоделировать на компьютере внешний вид краски и исследовать ее при различных условиях освещения (дневной, солнечный свет, искусственное освещение), чем произвести опытную партию краски и покрасить ею реальный автомобиль. В настоящее время такой подход к моделированию красок применяется не только в автомобильной промышленности, но и для окраски большого спектра других товаров (мобильные телефоны, персональные компьютеры, бытовая техника и пр.) 3. Важным аспектом безопасности является отсутствие бликов и отражений салона в стеклах автомобиля. На рис. В7 показана визуальная оценка нежелательных отражений, которые получаются при заданных параметрах материалов и геометрии салона автомобиля.

Рис. В7. Визуальная оценка нежелательных отражений в боковом стекле 4. В современных условиях, когда автомобильный рынок перенасыщен, и каждая фирма вынуждена бороться за покупателя, модификация внешнего вида автомобиля становится практически ежегодной. Одним из наиболее выигрышных элементов являются фары. Поэтому использование инструментов компьютерной графики для разработки внешнего вида как включенных, так и выключенных фар, в дневное и ночное время позволяет существенно снизить затраты и ускорить разработку очередной модификации автомобиля или мотоцикла. На рис. В8 представлены внешний вид разрабатываемой фары в выключенном состоянии при дневном освещении, а также ее восприятие глазом человека, т.е. с учетом психофизиологических особенностей глаза, при включенном ближнем свете днем, вечером и ночью.

Рис. В8. Внешний вид фары (а), а также восприятие ее глазом человека во включенном состоянии (ближний свет) при дневном освещении (б), в Кроме внешнего вида при моделировании фар также проверяется на соответствие стандартам направление и яркость получаемого светового луча.

Аналогичным образом производится также моделирование задних фонарей, стоп-сигналов и поворотных огней. При этом важным является правильная цветопередача красных и желтых фонарей или стекол лампочек.

Авиационная промышленность. Как и при визуализации автомобиля, криволинейных поверхностей, материалов и тканей со сложными оптическими свойствами, которые покрывают значительную часть элементов салона. Главной особенностью моделирования освещения салона самолета является практически полное отсутствие прямого света. Правильно рассчитать освещение здесь возможно только с использованием алгоритмов глобального освещения.

Рис. В9. Виртуальная модель компоновки и внутренней отделки салона По словам представителя фирмы Boeing разработка и создание внутренней отделки пассажирского самолета составляют до 60% его стоимости. Во многих случаях фирма строит прототип салона в натуральную величину, показывает представителям авиакомпаний-заказчиков, и затем модифицирует в соответствии с замечаниями. И только после утверждения прототипа он будет реализован в воздушном лайнере. Компьютерное моделирование освещения и реалистичная визуализация салона позволяет существенно сократить затраты. На рис. В9 показана модификация салона самолета Airbus A-380, созданная дизайнерами с использованием системы реалистической визуализации еще во время его начальной разработки.

Важным критерием проектирования кабины пилотов является хорошая читаемость приборов и устройств управления при различном освещении.

Рис. В10. Кабина самолета Boeing при солнечном свете (вверху), при На рис. В10 показан вариант компьютерного дизайна кабины самолета Boeing при солнечном и пасмурном дневном свете, а также ночью.

Следует подчеркнуть, что все вышеперечисленные задачи можно решать, только если моделирование основано на физических законах распространения света и позволяет достичь приемлемой точности. Или, другими словами, если реалистичное изображение, сгенерированное компьютером по виртуальному описанию, будет соответствовать восприятию реальности человеком.

Базовые алгоритмы генерации реалистичных фотографий, т.е. именно фотореалистичность является первым критерием качества синтеза изображений в нашем случае. Мы также будем физических значений освещенности (или яркости) значениям, либо измеренным (если реальный прототип виртуальной сцены был создан), либо упрощенных случаев. Второй критерий также необходим нам, если мы намерены использовать свои программные системы для задач проверки соответствия стандартам освещения.

неудовлетворительным. А вот достаточно ли ошибки в 10-15%? Или даже 2% неприемлемо? Этот вопрос не имеет однозначного ответа, т.к. глаз человека по-разному воспринимает одну и ту же разницу освещенности для светлых и темных цветов, для больших видимых площадей и для отдельных точек. В итоге для разных приложений мы имеем разные пороговые значения приемлемости точности результатов. Однако для большинства перечисленных выше задач расхождение вычисленных результатов и реальных величин порядка 5-10% можно считать вполне допустимым, и в таком случае можно полагаться на результаты компьютерного моделирования.

Генерацией реалистичного изображения будем называть процесс физически корректного моделирования распространения света в виртуальной сцене и последующего отображения результата на плоскость и в цвета графического монитора. Схематично этот процесс изображен на рис. В11.

Моделирование будем называть физически корректным, если методы моделирования основаны на физических законах распространения света в различных средах и взаимодействия света с объектами. С помощью физически корректного моделирования можно получить реалистичное изображение, если методы моделирования правильно учитывают физические законы, влияющие на распространение света и формирование изображения фотографическим способом или глазом человека.

В основе моделирования распространения света лежат законы геометрической оптики: закон прямолинейного распространения света, принцип обратимости (именно этот принцип позволяет моделировать распространение света как в прямом направлении – от источника света, так и в обратном – от глаза наблюдателя), законы отражения и преломления света.

трассировки лучей, предложенного впервые в работе Whitted [3]. В этом алгоритме происходит трассировка луча от глаза наблюдателя через каждую точку экрана, называемую пикселом (от англ. pixel – picture element) до пересечения его с объектом сцены. Классической трассировке лучей соответствует модель точечной камеры. Она основана на предположении, что размер устройства, воспринимающего световую энергию (например, глаз или объектив камеры), можно считать бесконечно малым по сравнению с расстояниями до объектов сцены. В этом случае для каждой точки экрана пересекаемые этим телесным углом, т.е. видимые через эту точку. В общем случае яркость данной точки определяется усреднением яркостей всех поверхностей, видимых через нее. В простейшем случае мы просто рассматриваем один луч, проходящий через середину точки экрана.

Луч трассируется в обратном к распространению света направлении:

от наблюдателя к источнику света, что было предложено еще в 1968 году [4].

В понятие трассировки вкладывается нахождение пересечения луча с рассчитывается ее яркость в зависимости от освещенности точки и свойств поверхности пересеченного объекта [5, 6]. Вычисление освещенности точки требует трассировки лучей, направленных на источники света, и порождающих (преломленных сквозь объект и отраженных от него) лучей. С помощью луча на источник света определяется, освещена ли точка данным источником или находится в тени, если между точкой и источником присутствует непрозрачный объект. Для определения интенсивности порождающих лучей они должны быть протрассированы вместе со своими порождающими и так далее. Направления отраженных и преломленных лучей строго определены законами геометрической оптики. Поэтому этот метод называется обратной детерминистической трассировкой лучей [7].

Метод правильно рассчитывает первичное освещение (т.е. прямое освещение от источника света), тени и отражения в зеркальных поверхностях. Он формирует итоговое реалистичное изображение, т.е. отображает рассчитанную освещенность на плоскость экрана монитора. Метод проиллюстрирован на рис. В12.

Рис. В12. Метод обратной трассировки лучей. Красные стрелки показывают лучи света и их порождающие, которые необходимо трассировать для получения интенсивности пиксела экрана. Желтые стрелки показывают лучи, направленные на источник света (желтый кружок вверху). С их помощью Однако метод является исключительно неэффективным, если в сцене встречаются большие площадные источники света, одним из ярких примеров которых является небесная полусфера. Стандартный путь представления площадных источников в виде набора точечных приводит к тому, что в сцене появляются тысячи (а иногда и сотни тысяч) вспомогательных источников. В соответствующей пропорции падает и скорость генерации изображения.

Для таких сцен эффективнее использовать стохастическую (МонтеКарло) обратную трассировку лучей. В этом методе луч также трассируется через пиксел до пересечения с объектом, однако освещенность точки пересечения рассчитывается с помощью набора лучей, выпущенных из данной точки стохастическим образом в направлении площадного источника (или небесной полусферы в случае расчета естественного освещения). Так как в большинстве случаев достаточно несколько сотен лучей, чтобы получить верную оценку освещенности точки, то обратная стохастическая трассировка лучей получается на порядки более быстрой, чем детерминистическая. Метод Монте-Карло обратной трассировки лучей также формирует итоговое реалистичное изображение. Он проиллюстрирован на рис. В13.

Рис. В13. Обратная Монте-Карло трассировка лучей.

Задача физически корректного моделирования распространения света сводится к решению задачи глобальной освещенности, когда учитывается не только прямая освещенность поверхностей сцены лучами, идущими непосредственно от источников света, но и вторичная освещенность, создаваемая лучами, отраженными или преломленными другими поверхностями. Модель распространения света, принятая в большинстве методов генерации физически корректных изображений, описывается уравнением рендеринга [8, 9]. Уравнение действует в рамках геометрической оптики и не позволяет моделировать явления, обусловленные волновыми свойствами света. Такая аппроксимация является приемлемой во многих приложениях.

Трудность решения этого уравнения определяется его рекурсивным характером и сложностью области интегрирования, поэтому на практике применяются различные приближенные методы численного решения. Это могут быть методы излучательности [10, 11] или используемый в наших программных системах метод Монте-Карло прямой трассировки лучей [12Идея метода Монте-Карло прямой трассировки лучей состоит в статистическом воспроизведении механизма распространения света путем моделирования всевозможных траекторий лучей. Траектории световых частиц (фотонов) прослеживаются на всех этапах существования, от момента их генерации источниками света до поглощения или выхода из сцены.

Начальные параметры луча (положение и направление) распределяются стохастическим образом в соответствии с угловой и пространственной плотностями излучения источника, а количество фотонов, выпущенных источником света, пропорционально его энергии. Траектория фотона трассируется до пересечения с поверхностью. В соответствии с оптическими свойствами пересеченной поверхности (такими как поглощение, функциями рассеивания, включая «зеркальные» функции рассеивания) лучи могут вероятностным образом отразиться, рассеяться, преломиться, поглотиться.

По мере взаимодействия лучей с объектами сцены энергия фотонов накапливается на объектах сцены в виде глобальной освещенности или яркости.

Метод естественным образом поддерживает все типы поверхностей, включая сочетания диффузных и зеркальных свойств, а также поверхности, описываемые сложными функциями отражения (преломления) света. Он позволяет воспроизводить в изображениях тонкие оптические явления, такие как, например, эффект «каустики» — световые блики, возникающие за счет фокусирования световой энергии идеально преломляющими материалами криволинейной формы [16].

Метод не зависит от положения камеры и не предусматривает формирования итогового изображения на экране. Он предоставляет информацию о глобальной освещенности в каждой точке всех объектов (поверхностей) сцены, которая записывается в «карту освещенности».

Позднее она может быть использована для визуализации и синтеза изображений. Метод проиллюстрирован на рис. В14.

Рис. В14. Метод Монте-Карло прямой трассировки лучей. Желтые кружки обозначают источники света. Красными стрелками показаны траектории фотонов, их отражения от поверхностей (черные дуги) или прохождение сквозь прозрачное тело (голубой прямоугольник).

Метод Монте-Карло прямой трассировки лучей также имеет свои слабые стороны. Это связано в первую очередь со слабоосвещенными областями и малыми по размеру приемниками излучения (например, объектив камеры). Вероятность попадания луча света в объектив или в слабоосвещенную область мала. Поэтому, например, для формирования изображения за объективом требуется большое количество вычислений (основная масса лучей пройдут мимо интересуемых объектов).

Решением этой проблемы является комбинированный алгоритм, использующий методы Монте-Карло прямой и обратной трассировки в зависимости от ситуации. Таким образом, наиболее эффективной и универсальной технологией является двунаправленная Монте-Карло трассировка лучей.

МКО (Международная комиссия по освещению) является основной, наиболее авторитетной организацией, разрабатывающей и принимающей стандарты и технологии в области цвета и света. Ее международная аббревиатура – CIE от франц. Commission Internationale de l’Eclairage [17]. По заданию этой организации под руководством F. Maamari были разработаны и в 2002 году опубликованы наборы аналитических тестов для программ моделирования освещения [18]. Всего было предложено 227 тестов.

Тесты были направлены на проверку того, насколько программы моделирования распространения света реально подчиняются законам оптики, в частности, для различных моделей естественного освещения. Тесты отдельно проверяли такие аспекты, как корректность задания источников света, корректное моделирование множественных переотражений и т.д.

Особое внимание было уделено такой сложной для корректного вычисления модели, когда внутреннее помещение освещается небесной полусферой через небольшое окно (рис. В15). Для этой модели корректные результаты в разумное время можно получить практически только двунаправленной Монте-Карло трассировкой лучей.

Рис. В15. Иллюстрация к одному набору аналитических Программная система моделирования освещенности, разработанная в отделе компьютерной графики ИПМ, также участвовала в проверке этими тестами вместе с такими широко известными продуктами как Dialux, Genelux, Lightscape, Radiance. Результаты независимого тестирования были опубликованы в [19], где наша программная система Inspirer показала в большинстве случаев результат не хуже или превосходящий конкурентов.

Общий полный результат выполнения тестов программной системой Inspirer представлен в табл. В.1.

Ошибка между аналитическими Число прошедших Процент от общего Табл. В.1. Результаты сравнения вычисленных и аналитически рассчитанных Как видно из табл. В.1, только 2% тестов превысили рубеж «инженерно-приемлемой» ошибки в 10%. Более половины тестов показали хорошее совпадение смоделированных результатов с теоретически рассчитанными. Это показывает, что алгоритмы, реализованные в наших программных системах компьютерной графики, действительно являются физически корректными.

изображения необходимо задать модель сцены в цифровом виде. Модель сцены состоит из геометрии или объектов сцены, физических свойств материалов объектов, поверхностей и сред, источников света и виртуальной камеры наблюдения, для которой также определено фоновое изображение (рис. В16).

Геометрия сцены включает задание формы объектов сцены, а также их иерархию [20]. Наиболее часто используется приближение объектов и поверхностей с помощью полигональной сетки. Для такого представления существуют эффективные алгоритмы нахождения пересечения луча с поверхностью, оно поддерживается всеми современными ускорителями трехмерной графики, также многие алгоритмы вычисления освещенности рассчитаны специально на сеточное представление. Для создания реалистичных изображений геометрия сцены должна быть задана с большой степенью детализации. Иначе грубое представление объектов разрушит впечатление «реальности» рисунка.

Свойства объектов и поверхностей определяются физическими законами распространения света внутри сред и взаимодействия света с поверхностями. Например, в сцене можно задать количество света, отраженного от поверхности или проходящего сквозь поверхность диффузно, зеркально; количество поглощенного света и т.д.

Источники света – это объекты сцены, излучающие световую энергию. Эти объекты могут быть как частью геометрии сцены (так называемые «самосветящиеся» объекты), так и некими абстрактными объектами, не привязанными к геометрии. Существенным для алгоритмов вычисления освещенности является существование такого абстрактного источника света как точечный (геометрическая точка, излучающая световую энергию). С такими источниками хорошо работают алгоритмы лучевой оптики, легко вычисляется направление на него. Но в реальной жизни идеальных точечных источников, вообще говоря, не существует. Но для практических приложений точечные источники имеют важное оптимизационное значение. Например, в большинстве задач дизайна интерьеров лампочки можно считать точечными источниками света Виртуальная камера наблюдения. Изображение, получаемое на экране монитора, в значительной степени зависит от параметров наблюдения, то есть от положения наблюдателя, направления зрения, фокусного расстояния камеры, ее разрешения и т.д. Кроме того, для многих сцен геометрия отображается не на весь экран, а только на часть его. Возникает необходимость заполнить оставшуюся часть изображением, которое бы не разрушало, а наоборот способствовало созданию впечатления реалистичности. Это изображение называется фоновым.

Основные проблемы создания реалистичных изображений На современном этапе, когда разработанные алгоритмы моделирования распространения света являются достаточно устоявшимися и многократно проверенными на их физическую корректность, можно сформулировать следующие основные проблемы, возникающие при физически корректных расчетах освещенности и построении реалистичных изображений:

1. Задание правильных исходных данных Результат моделирования существенно и непосредственно зависит от корректности задания исходных данных (спецификации виртуальной сцены). В большинстве случаев процесс описания сцены весьма трудоемок, данные получить сложно, а порой и технически невозможно.

2. Скорость генерации изображения Необходимой составляющей повышения производительности труда пользователей является минимизация времени визуализации без существенной потери качества изображения. В идеале изображения должны генерироваться в режиме реального времени.

Эти же проблемы среди главных проблем, стоящих перед современной компьютерной графикой, выделяет и пионер компьютерной графики Donald Greenberg в своем эссе «Outlook on Computer Graphics» [21].

Хотелось бы подчеркнуть, что физически корректное моделирование освещенности, необходимое для построения реалистичных изображений, требует высокой точности задания исходных данных. Неверно или недостаточно точно заданные исходные данные непременно приведут к неправильному результату. Даже небольшие (несколько процентов) отклонения в задании оптических свойств материалов могут привести к итоговой ошибке в разы. Это происходит потому, что свет при распространении (например, при расчете непрямого освещения в салоне самолета) претерпевает многократное отражение, и таким образом ошибка накапливается.

Решение проблемы корректной цветопередачи при визуализации объектов архитектуры, интерьеров автомобилей и самолетов, особенно при освещении сцены цветными (окрашенными) источниками искусственного света или естественным светом, требует использования программных средств спектрального моделирования распространения света. В общем случае белый свет, отражаясь от окрашенной поверхности, становится цветным. Поэтому такие входные данные, как источники света и оптические характеристики объектов, желательно задавать в спектральном виде.

Вышеперечисленные проблемы создания реалистичных изображений являются на данном этапе одними из главных препятствий для эффективного использования инструментария реалистичной визуализации в задачах науки и производства. Поэтому целью работы является создание комплекса программных технологий и методов, позволяющих:

а) автоматизировать процесс задания виртуальной сцены и исходных данных для физически корректного моделирования распространения света и построения реалистичных изображений;

б) генерировать физически корректные реалистичные изображения в режиме интерактивной навигации.

Их реализация существенно снижает трудоемкость визуализации сложных моделей и проектов и тем самым повышает производительность труда инженеров, проектировщиков, дизайнеров и конструкторов.

Научная новизна работы заключается в следующем.

Разработан эффективный комплексный подход к автоматизации задания виртуальной сцены для генерации реалистичных изображений.

Разработаны и реализованы технологии интеграции программного комплекса построения реалистичных изображений с системами автоматизации проектирования.

Предложена концепция определения оптических характеристик материала посредством моделирования распространения света внутри него, включая моделирование пространственного рассеяния света, моделирование распространения света в волновом приближении для высоких концентраций частиц. Показано, что именно двунаправленная функция отражения света в общем, табличном, представлении является наиболее приемлемой формой для использования результатов моделирования при построении реалистичного изображения. Концепция успешно апробирована на таких материалах, как ткани, многослойные краски, принтерные чернила.

Разработан уникальный программно-аппаратный комплекс, позволяющий непосредственно измерять оптические свойства образцов материалов с высокой точностью для их дальнейшего использования при моделировании освещенности и синтезе реалистичных изображений.

Предложена классификация средств визуализации в зависимости от скорости генерации реалистичных изображений с точки зрения человекомашинного интерфейса. Представлены решения, позволяющие достичь интерактивной скорости визуализации, а также решения, позволяющие повысить производительность труда проектировщиков в случае длительных вычислений.

Реализованы технологии, позволяющие использовать фотоснимки реального ландшафта в качестве исходных данных для реалистичной визуализации. Фотоснимки в виде карт освещения с большим динамическим диапазоном яркостей используются для комплексного задания как источников света, так и фона, что позволяет автоматически встраивать в изображение ландшафта виртуальные объекты. Разработаны новые алгоритмы модификации карт освещения, компенсирующие некорректное представление солнца.

На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программных продуктов, которые широко используются в нашей стране и за рубежом. Среди них:

- программный комплекс для физически корректного расчета освещенности и построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения, а также при освещении, задаваемом изображением с большим диапазоном яркости;

- программно-аппаратный комплекс измерения оптических свойств плоских образцов материалов;

- программные комплексы и системы моделирования оптических свойств сложных автомобильных красок, красящих покрытий с высокой концентрацией пигмента, тканей;

- программный комплекс физически корректной интерактивной визуализации в режиме навигации сцен, содержащих оптически сложные материалы, с учетом предварительно рассчитанных эффектов вторичного освещения; интерактивная визуализация имеет два режима: аппаратный с использования библиотеки OpenGL и программный с когерентной трассировкой лучей, реализованной с помощью SSE команд;

- эффективное вычислительное ядро для Интернет-сервиса физически корректного моделирования освещенности и построения реалистичных изображений.

Каждый из созданных программных комплексов находится на уровне или превосходит по ряду ключевых показателей имеющиеся в мире аналоги.

Благодаря разработанному в диссертации комплексному подходу к автоматизации создания реалистичных изображений процесс задания входных данных существенно упрощается, и программными продуктами могут быть пользоваться не только высококвалифицированные инженеры и дизайнеры, но также студенты и аспиранты технических ВУЗов.

Проведенные экспериментальные сравнения результатов физически корректных расчетов оптических характеристик, полученных путем моделирования материалов, с результатами измерений аналогичных характеристик на реальных объектах продемонстрировали высокую точность моделирования.

Основные результаты диссертации были представлены на ряде профильных международных научных конференций [1, 24, 25, 27-30, 36-40, 45-49], а также в рамках Всероссийской научной школы для молодежи «Компьютерное зрение, 3D моделирование и компьютерная графика» при поддержке Федерального агентства по науке и инновациям в рамках реализации ФЦП «Научные и научно-педагогические кадры инновационной России». Результаты диссертации также докладывались на научнопрактическом семинаре «Новые информационные технологии в автоматизированных системах» [35], на объединенном научном семинаре направления «Программирование» им. М.Р. Шура-Бура ИПМ им.

М.В.Келдыша РАН и семинаре по робототехническим системам ИПМ им.

М.В. Келдыша РАН, МГУ им. М.В. Ломоносова, МГТУ им. Н.Э. Баумана и ИНОТиИ РГГУ.

По результатам работы имеется 35 публикаций, включая 17 статей в рецензируемых научных журналах из списка ВАК [2, 14, 22, 23, 26, 31-34, 41статей в сборниках докладов на международных научных конференциях и семинарах [1, 24, 25, 27-30, 35-40, 45-49].

Все основные результаты, изложенные в диссертации, включая постановки задач и их алгоритмические решения, получены автором лично или выполнены под его научным руководством и при непосредственном участии.

Диссертационная работа состоит из четырех глав: первая, вторая и третья главы посвящены автоматизации процесса задания виртуальной сцены и исходных данных для физически корректного моделирования распространения света; четвертая глава посвящена анализу скорости генерации реалистичных изображений, методам достижения интерактивной скорости визуализации, повышению эффективности работы при длительных вычислениях. Изложение глав организовано следующим образом.

В первой главе рассмотрены методы автоматизации задания объектов сцены. Под объектами сцены понимаются геометрические объекты, источники освещения, фоновое изображение. В качестве методов задания геометрии проанализированы конвертеры из существующих форматов и предложена полная интеграция в системы автоматизации проектирования.

Для автоматизации задания источников света предложены алгоритмы предварительной обработки данных в формате RaySet и карт освещения в виде изображений с большим диапазоном яркости. В рамках автоматизации задания фонового изображения предложены алгоритмы фотомонтажа и использования карт освещения, которые позволяют создавать изображения дополненной реальности.

Вторая глава посвящена проблеме задания оптических свойств объектов и материалов сцены. Оптические свойства в наиболее общей форме описываются двунаправленной функцией отражения (пропускания) света.

Описан программно-аппаратный комплекс непосредственных измерений оптических характеристик образцов материалов, используемых в сцене.

интересующего материала доступен. Поэтому предложена концепция взаимодействия света с микроструктурой материала. Рассмотрен пример моделирования такого сложного с точки зрения взаимодействия света материала как текстильная ткань.

В третьей главе рассматриваются методы получения оптических характеристик поверхностей, покрытых многослойными автомобильными красками или принтерными чернилами. Несмотря на кажущуюся схожесть Предложены архитектуры соответствующих программных комплексов.

Результатом моделирования в обоих случаях является двунаправленная функция отражения света, которая может использоваться при генерации смоделированных оптических характеристик и измеренных реальных образцов. Итоговое реалистичное изображение с объектами, покрытыми этими материалами, позволяет показать, как они будут выглядеть при тех или иных условиях освещения. Это позволяет использовать разработанный подход также и в задачах создания новых материалов с заданными оптическими свойствами.

Четвертая глава посвящена еще одному аспекту автоматизации построения реалистичных изображений – скорости генерации изображения.

Выделено четыре класса скорости генерации изображения с точки зрения человеко-машинного интерфейса. Для каждого класса представлены решения, позволяющие достичь интерактивной скорости визуализации, а проектировщиков и дизайнеров в случае длительных вычислений.

В заключении формулируются основные результаты работы.

Глава 1. Методы автоматизации задания объектов 1.1. Автоматизация задания геометрии сцены цифровой модели изображаемых объектов. Задание такой модели, состоящей иногда из нескольких миллионов объектов, требует использования современных программ автоматизированного проектирования. Такие системы моделирования, как Autodesk 3DS Max [53], CATIA (Dassault Systems/IBM) [54], Maya (Alias/Wavefront) и др., позволяют создать «с нуля»

сложные цифровые модели, полностью описывающие, например, здание со всеми помещениями и интерьерами или автомобиль в мельчайших деталях.

Все разработанные комплексы моделирования освещенности хранят геометрию в своем формате, максимально адаптированном для задачи быстрого построения реалистичного изображения. Наиболее часто используется приближение поверхностей с помощью полигональной сетки.

Для такого представления существуют эффективные алгоритмы нахождения пересечения луча с поверхностью, оно поддерживается всеми современными ускорителями трехмерной графики. Поэтому возникает задача конвертации представления геометрии, создаваемого системами автоматизации проектирования, из известных форматов в свой внутренний формат.

1.1.1. Конвертация геометрии из распространенных Практически все программные комплексы САПР и компьютерной графики имеют возможность сохранения цифровой модели геометрии сцены для повторного использования и обмена информацией. Существует большое множество (несколько сотен) форматов файлов, в которые сохраняется эта информация. Некоторые системы получили широкое распространение, соответственно их форматы также являются широко распространенными.

Импорт и конвертация геометрии виртуальной сцены из наиболее популярных форматов были поддержаны и в созданном программном комплексе. Был разработан набор конвертеров из форматов DXF, IGES, VRML, STEP и др. [55] Такие форматы как DXF или VRML содержат геометрию в виде полигональной сетки. Поэтому конвертация геометрии из них не является сложной. Форматы IGES или STEP могут содержать части геометрии в виде сплайнов, что требует применения алгоритмов триангуляции в процессе конвертирования.

От качества триангуляции существенно зависит результат моделирования. Наличие в результирующей геометрии Т-вершин, длинных узких треугольников, совпадающих треугольников (наложенных один на другой в одной плоскости) приведит к плохому результату моделирования освещенности. Границы таких треугольников будут видны на итоговом изображении. Также возможны разрывы геометрии на границах сплайнов, как это показано на рис. 1.1.

Рис. 1.1. Хорошо видны ошибки триангуляции – разрывы геометрии.

Таким образом, можно выделить две основные проблемы этого подхода:

1. Конкретные реализации форматов представления данных постоянно модифицируются. Даже если новая модификация не выходит за рамки стандарта формата, а просто раньше новые элементы не поддерживались, мы все равно сталкиваемся с ситуацией, когда наши конвертеры перестают понимать новые адаптировать конвертеры к «современным условиям». Такой подход представляется довольно затратным, кроме того модификации формата потребуют новых усилий по их серьезных затрат и, что немаловажно, большого набора данных для тестирования. В практических задачах часто оттестированный триангулятор выдает результат, приводящий к некачественному итоговому изображению новой геометрии.

Каждый такой случай требует изучения причин ошибки и Поэтому путь полной интеграции модулей расчета освещенности в САПР системы выглядит предпочтительней. В этом случае обе проблемы решаются за счет средств базовой САПР системы.

1.1.2. Интеграция c системами автоматизированного Интегрирование систем физически корректного моделирования распространения света, используемых для построения реалистичных изображений, с современными САПР является трудной задачей. Известно несколько попыток ее решения. Наиболее известными являются подгружаемые, встроенные модули (plugins), разработанные компаниями Discreet (Lightscape) [56], Mental Images [57] и Chaos Group (VRay) [58] для 3DS Max. Для системы автоматизированного проектирования CATIA V компанией OPTIS был выпущен встроенный модуль моделирования освещенности SPEOS CAA V5 Based [59]. Компания Mental Images интегрировала свою программу моделирования освещенности во многие известные САПР – Autodesk 3DS MAX, Maya и CATIA (PhotoStudio).

Основной проблемой, с которой сталкиваются разработчики программ физически корректного моделирования распространения света при интегрировании своих модулей с САПР, является отсутствие в этих системах физически корректных моделей, описывающих взаимодействие света со средой распространения и поверхностью объектов. Материалы поверхностей в CAD системах чаще задаются исходя из их внешнего восприятия (например, «дерево, дуб» или «металл, серебро»), чем через спецификации их физических свойств (например, количество света, отраженного и преломленного по закону Френеля), которые необходимы для корректного моделирования распространения света. Модели источников света в таких системах, как правило, не могут быть непосредственно использованы в системах моделирования распространения света, поскольку не содержат необходимых физических характеристик.

При этом разработчикам приходится учитывать запросы различных категорий пользователей таких систем. Первая категория – это в основном пользователи такой системы как Autodesk 3DS Max. Чаще всего это архитекторы или дизайнеры, которым надо визуально представить своим заказчикам различные варианты дизайна разрабатываемых помещений, салонов автомобилей и самолетов до их реального воплощения. Во многих случаях сами объекты еще физически не существуют к моменту подготовки презентации. В этом случае моделирование распространения света служит в основном способом создания фотореалистичных изображений разрабатываемых объектов. Это могут быть как отдельные помещения, так и целые архитектурные комплексы.

Для таких пользователей важно, чтобы используемый модуль требовал от них минимальных усилий по адаптации описания сцены, ранее подготовленной для получения изображения в "родном" 3DS Max (scanline) визуализаторе. Подготовка таких сцен, геометрия которых может описываться сотнями тысяч, а то и миллионами треугольников и использовать сотни сложных текстурированных материалов, требует значительных усилий. Поэтому, как правило, пользователи согласны только на небольшую адаптацию ранее подготовленных описаний сцен при использовании нового модуля.

Вторая категория пользователей – это пользователи, для которых моделирование распространения света является основной целью. Такими пользователями часто являются разработчики оптически сложных светопроводящих и осветительных систем, таких как жидкокристаллические дисплеи, автомобильные фары, приборные панели и др. Физически корректное моделирование является критичным в тех случаях, когда архитекторам или конструкторам автомобилей и самолетов необходимо обеспечить требуемые уровни освещенности и контраста в интерьере или салоне. В ряде случаев пользователей могут интересовать точные величины и распределение освещенности в определенных областях сцены, например, на рабочем столе или экране дисплея. Также корректное моделирование является важным при расчете сложных условий освещенности, таких как смесь искусственного и естественного освещения, прямого освещения солнцем приборной панели автомобиля или самолета. Интерес представляет также задача моделирования освещения пешехода или дорожных знаков фарами автомобиля.

Для этой категории пользователей необходимым является физически корректное задание источников света и оптических свойств поверхностей и сред. Большинство САПР не предоставляет таких возможностей. Поэтому дополнительные модули с интерфейсом для задания характеристик должны быть разработаны либо внутри системы, либо в программе моделирования освещенности.

Таким образом, решение задачи интеграции программ физически корректного моделировании распространения света с системами автоматизированного проектирования требует нескольких различных подходов для описанных выше двух групп пользователей. В работах [28, 30] рассматриваются два примера такой интеграции, выполненных в отделе компьютерной графики и вычислительной оптики ИПМ им. М.В.Келдыша РАН, с системами Autodesk 3DS Max и CATIA (Dassault Systems).

Интеграция с 3DS Max рассчитана, в основном, на получение изображений фотореалистичного качества. Интеграция с CATIA предполагает получение точных результатов моделирования освещенности.

Как уже было сказано выше, основной целью при интеграции с 3DS Max являлось расширение моделей собственных (встроенных) 3DS Max источников света и материалов таким образом, чтобы они обеспечивали корректное моделирование распространения света. При этом предполагалось, что изменения в описании сцены, которые необходимо сделать пользователю, должны быть минимальны. Также важным было обеспечить максимальную поддержку различных эффектов (таких, как линзовые эффекты, размывание и др.), предоставляемых встроенными 3DS Max моделями материалов и источников света.

Расширение моделей источников света. На момент интеграции нашего модуля моделирования освещенности система 3DS Max поддерживала Omni (точечный, всенаправленный), Spot (конический) и Direct (параллельный) модели источников света. Основным недостатком этих моделей источников света (а точнее – недостатком их интерфейса, поскольку реальное моделирование обеспечивается встроенным модулем) являлось отсутствие каких-либо параметров, которые можно было бы использовать как энергетические. Для использования точечного источника света в физически корректной системе моделирования распространения света необходимо задать интенсивность его излучения для всех направлений. Параллельный источник света характеризуется освещенностью площадки, перпендикулярной направлению его излучения. Эта проблема была решена добавлением специальных множителей для каждого типа источника света, которые позволяли вычислить энергетические характеристики для всех источников света.

Важными объектами моделирования во многих случаях являются источники света с неоднородной диаграммой излучения (гониограммой).

Более подробно о ней будет сказано в параграфе 1.2.1. Например, получение фотореалистичных изображений невозможно без учета таких диаграмм для ламп с отражателями. Естественно 3DS Max не предоставляет возможности описания таких источников. Поэтому его интерфейс был расширен возможностью задания источника света с гониограммой. В качестве входных данных используются гониограммы в формате IESNA LM-63 [60], которые, как правило, предоставляются производителями ламп.

Следует отметить, что хотя более поздние версии 3DS Max включили в себя поддержку таких источников, непосредственное их использование в нашем модуле оказалось невозможным. Дело в том, что программный интерфейс 3DS Max SDK рассчитан только на вычисление прямой освещенности поверхности источником света. Используемый в нашей программе метод вычисления глобальной освещенности основан на прямой (от источника света) трассировке лучей методом Монте-Карло. Этот метод требует, чтобы были известны распределения интенсивностей излучения по всем направлениям. А эта информация, содержащаяся внутри «Photometric lights» источников, поддерживаемых более поздними версиями 3DS Max, отсутствует в 3DS Max SDK интерфейсе. В силу этих причин сохранение моделей источников света, разработанных для 3DS Max, без изменений в последующих версиях выглядело целесообразным.

При разработке интерфейса источников света только минимально необходимое количество параметров было добавлено к уже существующим источникам света. В результате разработанный интерфейс является для пользователя лишь небольшим расширением уже существующего и привычного для пользователя интерфейса. Так был добавлен интерфейс для выбора и визуализации гониограммы и для задания полного потока излучения для точечных источников (Spot и Omni) и освещенности площадки, перпендикулярной направлению излучения источника для параллельных источников (Direct).

Расширение моделей материалов. Стандартный материал, используемый в 3DS Max, обеспечивает визуализацию материала на уровне, близком к OpenGL. Для обеспечения более сложных оптических эффектов различными компаниями (Blend, Compozite, Raytrace, Lightscape, Shelac и др.) было разработано большое количество специальных моделей материалов.

Большая часть этих материалов имитирует различные оптические эффекты и рассчитана на использование в визуализаторе 3DS Max. Поэтому нам, также как и Lightscape, пришлось добавлять собственные модели, которые обеспечивают физически корректное моделирование диэлектрических материалов (подчиняются закону Френеля), материалов с диффузной прозрачностью, с зеркальным отражением, излучающие поверхности.

Некоторые базовые 3DS Max материалы, такие как диффузный или зеркальный цвет, которые могут быть легко преобразованы в физические атрибуты поверхности, были сохранены для использования в моделировании освещенности.

При разработке интерфейса материалов также только минимально необходимое количество параметров было добавлено к уже используемым в 3D MAX материалам. Для этого в качестве базового использовался стандартный интерфейс материала в 3D MAX. Таким образом, не пришлось разрабатывать специальный интерфейс для тех параметров, которые уже имеются – различные цвета, мощный и сложный интерфейс для назначения текстур и т.д.

На рис. 1.2 представлены примеры синтеза реалистичных изображений для моделей, созданных в среде 3DS Max.

Рис. 1.2. Изображение фасада здания при солнечном освещении (слева) и интерьера при искусственном освещении (справа).

Реализм изображений на рис. 1.2 достигается благодаря высокой степени детализации геометрической модели, подготовленной дизайнерами в САПР, и физически корректному моделированию распространения света, поддерживаемому нашим модулем.

Как было упомянуто выше, интеграция с CATIA (Dassault Systems) предполагает получение точных результатов моделирования освещенности.

Такое моделирование требует введения источников света, отсутствующих в CATIA, задания оптических свойств используемых материалов, расчета освещенностей различных объектов сцены и использования для анализа полученных результатов различных видов виртуальных измерительных объектов. При этом из информации, содержащейся в CATIA, используются данные о геометрии моделируемой сцены, положении и ориентации камеры, некоторые данные об оптических свойствах, такие как диффузный и зеркальный цвет, коэффициент преломления света, прозрачность и т.д.

моделирования освещения и анализа его результатов в собственной системе Inspirer2 (изначально разрабатывавшейся как система реалистичной визуализации в интерактивном режиме Fly [24]). Модуль, встроенный в CATIA, должен обеспечивать только извлечение данных о геометрии сцены в виде, необходимом для последующего моделирования. Назначение оптических свойств поверхностей и материалов, источников света для дальнейшего моделирования происходит в системе Inspirer2. Также она обеспечивает анализ результатов моделирования: получение итоговых изображений, использование тоновой заливки и изолиний на различных видах виртуальных сенсоров и т.д.

Важным условием интеграции, которое необходимо было принимать во внимание, является обеспечение максимальной интерактивности при распространения света в Inspirer2 существенно зависит от эффективности работы базовых алгоритмов трассировки лучей. В действительности полное время моделирования определяется не только непосредственно временем трассировки лучей, но и временем подготовки вспомогательных структур данных, необходимых для ускорения трассировки. Как правило, чем более эффективный алгоритм трассировки лучей используется, тем большее время необходимо для подготовки вспомогательных, ускоряющих структур.

Трассировка лучей в Inspirer2 использует разбиение пространства сцены в виде BSP (Binary Splitting Planes) дерева. Подготовка эффективного BSP дерева требует значительного времени, которое может быть в некоторых случаях сравнимо или даже превосходить непосредственно время трассировки. Также при получении фотореалистичных изображений используются параллельные алгоритмы трассировки (на нескольких процессорах), ускорение с помощью SSE инструкций (см. п. 4.2.2). Поэтому реализованные алгоритмы объектно-ориентированной, двухуровневой трассировки делает взаимодействие CATIA и Inspirer2 более быстрым, приближающимся к интерактивности.

Основная идея двухуровневой трассировки лучей [50] состоит в том, что на верхнем уровне трассируются только параллелепипеды, ограничивающие геометрические объекты сцены. На втором, нижнем уровне трассируются уже сами объекты. Подход позволяет обеспечить эффективную трассировку геометрии различной сложности.

При изменении сцены в CATIA модуль интеграции должен обновлять внутреннее представление только тех объектов сцены в Inspirer2, геометрия которых была изменена или объект был целиком заменен, удален или добавлен. Геометрия остальной части сцены остается без изменения, что позволит обновить ускоряющие структуры за существенно меньшее время, чем, если бы они создавались заново целиком.

В такой постановке модуль, встроенный в CATIA, должен решать две задачи:

• извлечение из CATIA данных о геометрии моделируемой сцены в виде, подходящем для последующего оптического моделирования, • идентификация одних и тех же геометрических объектов в CATIA Решение первой задачи – это создание конвертера из одного геометрического представления в другое, который бы поддерживал структуру дерева сцены (документа) в CATIA. Геометрия из CATIA, включая дерево сцены, преобразуется с помощью внутренних библиотек CATIA CAA (Component Application Architecture) в объекты, представленные триангулированными поверхностями с заданным уровнем разбиения, и в таком виде передается в Inspirer2. Таким образом, триангуляция поверхностей, представленных сплайнами (NURBS) в CATIA V5, делается с помощью возможностей, предоставляемых самой CAD системой.

Решение второй задачи необходимо для того, чтобы отследить изменения в геометрии сцены после ее редактирования в CATIA. Это позволяет сохранить источники света и свойства поверхностей и материалов у ранее существующих геометрических объектов в Inspirer2, а изменить только реально модифицированную часть сцены. Эта задача была решена введением для всех узлов дерева сцены и геометрических объектов уникальных идентификаторов, единых как для системы CATIA, так и для программы моделирования освещенности. Идентификаторы сохраняются в сценах обеих систем, передаются при копировании геометрических объектов и позволяют идентифицировать между собой геометрические объекты, имеющиеся в обеих сценах одновременно. Таким образом, изменение геометрии объектов, произведенное в CATIA, переносится в Inspirer2 с сохранением источников света и оптических свойств поверхностей ранее введенных объектов. Такие изменения не затрагивают геометрические объекты, добавленные непосредственно в Inspirer2, например дополнительных объектов из существующих библиотек. Встроенный в CATIA интерфейс позволяет контролировать различные параметры конверсии геометрии из NURBS представления в треугольную сетку необходимую для моделирования в Inspirer2.

На рис. 1.3 представлены результаты моделирования освещенности для моделей, созданных в среде CATIA. Представлена реалистичная визуализация модели и распределение освещенности в виде тоновой заливки.

Рис. 1.3. Иллюстрация интеграции системы моделирования освещенности Интеграция программного комплекса моделирования освещенности и систем автоматизированного проектирования позволяет решить проблему задания детальной цифровой геометрической модели изображаемой сцены.

Современные модели насчитывают сотни тысяч и миллионы объектов, и не могут быть созданы без развитого механизма, предлагаемого САПР.

Разработанные модули интеграции в системы 3DS Max и CATIA позволяют успешно решать как задачи генерации реалистичных изображений, так и анализа освещенности и оптического дизайна.

1.2. Автоматизация задания источников освещения Источниками света являются объекты сцены, излучающие световую энергию. Параметры светимости и интенсивности источников света задаются в фотометрических единицах. Эти объекты могут быть как частью геометрии сцены (они называются «самосветящиеся» объекты), так и некими абстрактными объектами, не привязанными к геометрии сцены. С точки зрения задания исходных данных существенным является разделение источников света на естественные (к ним относятся небесное и солнечное освещение) и искусственные, созданные человеком.

1.2.1. Спецификация источников света Для задания искусственных источников света необходимо определить их геометрическое местоположение, яркость или силу света (если источник – точечный), угловое распределение световой энергии. Для точечного источника света задание геометрического положения не вызывает сложности – это просто точка в пространстве. Задание положения протяженных «Самосветящиеся» объекты, являющиеся частью геометрии сцены, позволяют задавать источники произвольной формы. Для спецификации их местоположения необходимо указать, какой объект геометрии сцены излучает энергию. Угловое распределение световой энергии называется гониометрической диаграммой или гониограммой. В оптике оно также имеет название индикатриса рассеяния. Задание гониограммы может быть в общем, табличном виде, когда специфицируются пространственные направления и для них указывается сила света в данном направлении. Также оно может быть в функциональном виде, например, конический источник является точечным источником, расположенном в вершине конуса, с положительными значениями гониограммы внутри конуса и нулевыми – за его пределами.

Естественное освещение. Существуют три основных способа задания естественного освещения, которые были разработаны при участии и под непосредственным руководством автора [1, 2, 24, 38, 47]. При первом способе задаются географические координаты расположения виртуальной Географическое положение многих городов может быть сохранено в библиотеку (рис. 1.4), что существенно упрощает процесс спецификации.

Пользователю не нужно узнавать координаты конкретного города и вводить их, достаточно просто выбрать город из списка. Библиотека может быть расширена пользователем. Положение солнца, его яркость, цвет солнца и неба определяются согласно существующим моделям неба, разработанным Международной комиссией по освещению [61]. МКО создавала стандартные модели неба посредством множественных измерений в различных точках Земли, в разное время и при различных погодных условиях.

Рис. 1.4. Задание естественного Рис. 1.5. Задание естественного освещения через географическое через непосредственное указание Для задания облачности указывается степень облачности неба в процентах (или значение от 0 до 1). Подобной спецификацией пользуются в метеорологических наблюдениях. Моделирование небесного освещения для случаев 100% облачности и ее отсутствия соответствует стандарту МКО.

Небесное освещение с неполной облачностью моделируется с использованием интерполяции.

Второй способ задания неба требует непосредственного указания направления на солнце (обычно, указывается в сферических координатах), его яркости и цвета (рис. 1.5), а также ориентации виртуальной сцены. Этот способ используется при создании искусственных сцен, не привязанных к конкретному географическому месту. Яркость солнца также может задаваться через освещенность горизонтальной поверхности. Этот способ задания берет начало с моделей неба МКО, которые создавались при помощи измерений, в частности, освещенности горизонтальной поверхности.

Поэтому такая спецификация яркости солнца является более привычной для некоторых специалистов. Облачность указывается так же, как и в первом способе.

гониометрической диаграммы, которая определяет распределение освещенности, поступающей от небесной полусферы по различным направлениям. Небесная гониограмма может быть получена в результате измерений. Преимущество этого способа в том, что дает возможность точно задать определенные условия освещения, близкие к реально существующим.

Однако эти измерения являются дорогостоящим мероприятием, точность их может быть невысокой в зависимости от метода и тщательности выполнения.

При этом степень облачности автоматически учитывается в гониограмме.

Необходимо только сориентировать ее относительно виртуальной сцены.

1.2.2. Измерение источников и построение их моделей Непосредственный подход к спецификации источника света – спектрофотометрические измерения реальной лампы и построение ее модели в сцене [38, 47]. Однако модель зависит от самой лампы, виртуальной сцены и цели моделирования освещенности. Во многих случаях бывает достаточно представить реальную лампу в виде точечного источника с гониограммой излучения. Для получения гониограммы реального осветительного прибора измеряют интенсивность света (в канделах) в точках некоторой сетки на поверхности окружающей его воображаемой сферы. Освещенность, создаваемая точечным источником, может быть вычислена достаточно просто. При этом практически любой источник можно считать точечным по отношению к поверхности, если он удален от нее не более, чем на пять своих линейных размеров [62]. На рис. 1.6. в левой сцене лампа может быть представлена точечным источником с гониограммой, и, очевидно, в правой сцене представление точечным источником будет неадекватно.

Рис. 1.6. Точечный источник света является адекватным для левой сцены, и Этот подход является наиболее трудозатратным и ненадежным, потому что результат зависит от квалификации и профессионализма дизайнера, создающего виртуальную сцену. Какие именно измерения должны быть сделаны и как построена модель, зависит от лампы и сцены. Приведем ниже два примера таких моделей. В нашем случае измерения производились во ВНИИОФИ [63], а модели ламп строились при участии автора.

Флуоресцентная лампа (рис. 1.7) обычно состоит из длинной трубки или нескольких трубок (компактная лампа), яркость которых различная в разных местах. Поэтому для правильного задания модели иногда требуется изучить ее во включенном состоянии. Для данной лампы было решено смоделировать ее с помощью самосветящейся геометрии сцены в виде набора цилиндров. Все цилиндры были одинаковые, но в разных зонах цилиндра – разная яркость лампы (на рис. 1.7 показано 7 разных зон). Кроме этого, общая гониограмма лампы была измерена и применена для всех участков цилиндров.

Рис.1.7. Фотография и модель флуоресцентной лампы.

В лампе накаливания (рис. 1.8) светящим элементом является тело накала (обычно, спираль или нить). Оно может иметь различную форму, которую необходимо воспроизвести достаточно точно. Также лампа имеет прозрачную колбу, множество держателей, тоководов и других приспособлений. Все они могут быть учтены с помощью измеренной гониограммы лампы. Однако тело накала имеет различную яркость на своем протяжении. Поэтому наиболее целесообразно смоделировать лампу накаливания в виде набора точечных источников, расположенных по нити накала, с различной яркостью, но с одной и той же гониограммой (рис.1.8).

Рис. 1.8. Фотография и модель лампы со спиралью накаливания.

Построенные модели ламп организуются в библиотеки готовых источников света (рис. 1.9). Пользователю нужно только выбрать требуемую лампу и указать место ее расположения в сцене. В библиотеке лампы хранятся иерархически (по применению, по производителю) для удобства поиска. Библиотеки являются расширяемыми. Если требуемой лампы в ней не находится, то создается новая модель и помещается в библиотеку.

Рис. 1.9. Пример интерфейса библиотеки моделей источников света.

1.2.3. Поддержка распространенных форматов автоматизации задания источников света является импорт существующих распространенных форматов, описывающих гониограммы или даже полностью весь источник. Практически все производители ламп и светодиодов предоставляют гониограммы своей продукции в Интернете (например, гониграммы ламп Philips – [64]). Производители заинтересованы в свободном распространении этой информации, поскольку она позволяет проектируемом помещении и понять, какие конкретно лампы необходимо закупать для проекта.

В настоящее время наиболее распространенным международным форматом описания источника света является форматы IES LM-63-1986, LMпринятые международной организацией IES (изначально – IESNA, Illumination Engineering Society of North America) [65]. В сферической системе координат (, ) (рис. 1.10-а), где [0, 2), [0, ).

Значения задаются в узлах сетки, образованной разбиением возможных интервалов изменения углов и произвольными значениям и 1, 2,…, n и 1, 2,..., k соответственно. Получившаяся сетка с заданными значениями силы света в ее узлах представляет собой гониограмму. Значения функции I (, ) внутри ячейки гониограммы вычисляются с помощью билинейной интерполяции четырех значений в углах этой ячейки.

Используя гониограммы с достаточно частой сеткой задания функции I (, ), можно с высокой точностью представить практически любой реальный источник света. Форма гониограммы может быть очень сложной.

Пример реальной гониограммы представлен на рис. 1.10-б [66].

Рис. 1.10. Задание силы света I (, ) в формате IES: а) схема нахождения четырех смежных значений для билинейной интерполяции; б) пример реальной гониограммы – показаны сечения плоскостями =0 и =90.

Гониограммы, однажды использованные в программном комплексе реалистичной визуализации, также могут быть сохранены в библиотеке. Но способ их визуализации в каталоге библиотеки отличается. Внешний вид лампы, использовавшийся для измеренных ламп (рис. 1.9), часто не актуален, а иногда и неизвестен. Поэтому гониограммы визуализируются в библиотеке через освещение, создаваемое ими в тестовой сцене (рис. 1.11).

Рис. 1.11. Библиотека гониограмм источников света.

Форматы RaySet. В последнее время все более популярным становится формат записи источников освещения RaySet. Формат был разработан фирмой OPSIRA (Германия), но стал по-настоящему популярен после того, как его стала поддерживать фирма Radiant Imaging (США) [67]. (Radiant Imaging – крупнейшая в мире фирма, специализирующаяся на оптических измерениях и производстве измерительной техники.) Формат RaySet содержит описание источника света в виде набора лучей, им генерируемых (рис. 1.12). При достаточно большом количестве лучей такое представление включает всю информацию о геометрической форме, силе света и гониограмме источника, т.е. является универсальным.

Дополнительное преимущество состоит в том, что большинство систем оптического моделирования основывается на алгоритме трассировки лучей, т.е. они получают входные данные в готовом виде. Эти два фактора и обусловили большую популярность этого формата. Сейчас большинство производителей ламп и светодиодов предоставляют возможность загрузить RaySet данные о товаре с Интернет сайта. Также Radiant Imaging поставляет библиотеку файлов RaySet, содержащую десятки тысяч различных ламп.

Практически любую существующую лампу или светодиод можно найти в библиотеке. И, наконец, измерение нужного источника света можно заказать фирме Radiant Imaging и получить результат в формате RaySet.

Рис. 1.12. Представление лампы и светодиода в формате RaySet.

Однако для технологии, используемой в нашей системе оптического моделирования и реалистичной визуализации, этот подход имеет существенный недостаток. Базовой технологией, как уже говорилось во введении, является Монте-Карло трассировка лучей (как прямая, так и обратная). Начальные результаты, полученные ей, имеют большой шум, который уменьшается с увеличением времени счета, т.е. с большим количеством протрассированных лучей. Таким образом, для получения качественного результата нам необходимо большое число лучей в RaySet спецификации. Поскольку Монте-Карло трассировка может продолжаться бесконечно, то мы никогда не можем сказать заранее, какого количества лучей будет достаточно. В то же время представление источника света в формате RaySet требует большого объема памяти. Для примера, 1 миллиард лучей (число не очень большое для качественного моделирования) требует ~40 Гб памяти, что становится критичным при моделировании. Кроме того, существующие в библиотеках RaySet наборы имеют обычно небольшое число лучей, и их количество не может уже быть увеличено.

Единственным правильным подходом к решению этой проблемы является генерация лучей на базе набора из RaySet файла. Автоматическое построение гладкой функции углового распределения световой энергии (гониограммы) в общем, произвольном случае практически невозможно.

Поэтому был разработан алгоритм, который генерирует лучи в некоторой окрестности каждого луча из RaySet набора. Таким образом, каждый луч из RaySet представления становится фактически пучком неограниченного числа лучей. Луч из набора RaySet выбирается случайным образом, потом стохастически строится его «флуктуация», которая и используется в процессе моделирования распространения света в виртуальной сцене. В итоге получается источник света, полностью соответствующий набору RaySet, но неограниченный по числу генерируемых лучей. Количество необходимых лучей в наборе RaySet существенно сокращается, и становится возможным получить качественные изображения, имея десятки и даже единицы тысяч RaySet лучей.

Два описанных подхода, реализованных в программном комплексе генерации реалистичных изображений, позволяют существенно автоматизировать процесс задания источников освещения в виртуальной сцене:

1) задание естественного освещения через хорошо понятные параметры времени и местоположения сцены на земном шаре; все спецификации, необходимые для физически корректного моделирования, вычисляются автоматически из существующих моделей неба, разработанных Международной комиссией по освещению;

2) импорт широко распространенных форматов задания искусственных источников света, который позволил отказаться от дорогостоящего и трудоемкого процесса измерения реальных ламп и их последующего моделирования.

Хотелось бы отметить, что практически все производители ламп и светодиодов размещают характеристики своей продукции в виде IES или RaySet файлов в Интернете, поэтому источник света практически задается по наименованию продукта (лампы). Положительной особенностью формата RaySet можно считать его полноту: через набор лучей передается информация как о яркости и гониограмме источника, так и о его геометрических размерах и форме. Это позволяет использовать этот формат как при моделировании удаленных источников (что возможно и с форматом IES), так и близких, когда представление источника только через гониограмму является недостаточным.

Предоставление готовых библиотек источников света, а также возможность создавать свои библиотеки, позволяет значительно упростить процесс задания начальных данных для синтеза реалистичных изображений.

1.3. Освещение, задаваемое изображением 1.3.1. Изображение с большим диапазоном яркостей Наиболее перспективной с точки зрения автоматизации спецификации освещения является на данный момент технология задания освещения через изображение, заранее вычисленное или сфотографированное. Обычное изображение с динамическим диапазоном в несколько сотен здесь не может быть применено. Современные исследования и разработки в области компьютерной графики все чаще обращаются к изображениям с большим диапазоном яркостей (HDRI – High Dynamic Range Image в англоязычной литературе). Изображение с большим диапазоном яркости содержит для каждого пиксела реальное физическое значение яркости в формате числа с плавающей точкой, который позволяет записывать реальные значения яркости света, пришедшего с этого направления в объектив камеры. Впервые использование изображения с большим динамическим диапазоном было предложено Грегори Вардом в 1991 году [68]. Он же разработал первый и до сих пор наиболее распространенный формат для хранения таких изображений (RGBE – Red, Green, Blue, Exponent – формат файла со стандартным расширением hdr), а также свободно распространяемую программу для работы с ними [69].

В наше время HDRI изображения могут быть получены путем обработки набора фотографий реального мира, сделанных с различными выдержками и диафрагмами, или как результат панорамного сканирования окружающей реальной сцены. Возможность запечатлеть реальный мир с помощью панорамных карт окружения, содержащих реальные физические величины яркостей, дала толчок бурному развитию этого направления компьютерной графики. Она позволяет существенно упростить процесс задания окружающей среды и фона для генерации реалистичных изображений. С ее помощью моделируемый объект может быть легко помещен в существующую реальную сцену, запечатленную сканирующим устройством. Рис. 1.13 иллюстрирует этот процесс. Такая карта окружения передает реальные значения яркостей источников света, существующих в сцене. Это привело к развитию технологии компьютерной графики, называемой «освещение, задаваемое изображением» (IBL – Image Based Lighting в англоязычной литературе) [70]. Панорамные карты окружения, содержащие реальный, большой диапазон яркостей, можно назвать картами освещения.

Рис. 1.13. Схема технологии IBL – «освещение, задаваемое изображением».

При использовании IBL технологии источником света является изображение с большим динамическим диапазоном. Становится возможным назначать в качестве источников света фотографии неба или выставочного зала и моделировать освещение объекта в этих условиях. Задание источников света и условий освещения другим способом (например, набором точечных, площадных, линейных и др. источников света с правильным расположением их в трехмерной виртуальной сцене) является сложным и дорогим процессом, который не всегда приводит к желаемому результату.

Для того чтобы IBL технологию можно было автоматически разработать ряд алгоритмов, описанных в работах [29, 31, 36, 41, 47, 66] и динамическим диапазоном должны быть предварительно обработаны, тогда они становятся мощной технологией автоматического задания как источника освещения сцены, так и фонового изображения. В частности, возможность автоматически использовать карты освещения предоставляет алгоритм распознавания и выделения ярких источников света, а также последующая корректировка результата в соответствии со стандартными моделями неба МКО.

Многие системы визуализации и моделирования такие, как 3dMax (со встроенными модулями Mental ray, VRay), Softimage, Maya и др. используют изображения с большим динамическим диапазоном для задания фона, что позволяет существенно улучшить реализм генерируемых картинок.

Некоторые из этих систем используют карты освещения в качестве источников света. Используемые алгоритмы моделирования хорошо работают, если карты освещения задают протяженные источники света без резких изменений яркости (например, облачное небо). В результате моделирования на картинках можно увидеть размытые тени, и направление на источник света не сильно выражено. Так происходит, например, в системе LightWave 3D, где в основе расчета глобальной освещенности лежит метод излучательности. В ситуации, когда карта освещения содержит ярковыраженный мощный источник света, такой как солнце, система не может воспроизвести четкие тени автоматически. В качестве решения проблемы дополнительный источник света по направлению солнца с соответствующим масштабированием (уменьшением) яркостей карты освещения.

Такой подход, когда пользователь должен сам устанавливать дополнительный источник света для солнца, предлагается и в некоторых других системах визуализации. Фирмы, занимающиеся коммерческим производством и поставкой библиотек карт освещения на рынок, стараются не изменять положения солнца на небосводе во всей серии изображений. Для таких систем визуализации это обеспечивает взаимозаменяемость карт освещения при компоновке сцены и задании свойств материалов без изменения ручных настроек.

Существует несколько технологий для получения полной сферической панорамы реального мира (иногда также называемой полноохватной панорамой):

• фотографирование металлической сферы, отражающей окружение [71], • фотографирование всех направлений обычной цифровой камерой с последующей сшивкой этих изображений [72], • фотографирование через объектив «рыбий глаз» [73].

Каждая из этих технологий имеет свои минусы:

высококачественные изображения, так как отражения будут нечеткими и размытыми.

• Фотографирование обычной камерой с последующей сшивкой является трудоемким процессом. Направления всех камер должны исходить из одной точки, иначе сшитое изображение будет иметь заметные ошибки на границе кадров. Фотографирование должно проводиться достаточно быстро, в противном случае условия освещения могут измениться (например, солнце будет закрыто облаком в процессе съемки), и одна часть панорамы не будет соответствовать другой.

• Использование «рыбьего глаза» оставляет заметные артефакты на итоговом изображении.

Получение значения каждой точки карты освещения производится с помощью фотографирования одного и того же изображения с различными экспозициями. Теоретические основы процесса получения таких карт из обычных фотографий были впервые рассмотрены Дибевеком и Маликом [71] и основываются на принципе обратимости для регистрирующего устройства, согласно которому увеличение времени экспозиции для меньших освещенностей дает то же значение экспозиции, что и большее освещение при соответственно уменьшенном времени экспозиции. Другими словами, устройство с ограниченным динамическим диапазоном может зарегистрировать сколь угодно малую или большую величину освещенности, если соответствующим образом увеличить или уменьшить время экспозиции.

Время фотографирования является одним из главных факторов, влияющих на качество карты освещения. Из общих соображений время фотографирования должно быть максимально коротким, иначе за это время изменится снимаемое окружение и условия освещения: солнце опустится по отношению к линии горизонта с соответствующим изменением его яркости, оно может зайти за облако или объект окружения (здание, дерево). Все это приведет к тому, что часть карты освещения, отснятая сначала, не будет соответствовать его окончательной части.

пренебрежимо малое время. Для получения действительно большого диапазона яркостей необходимо сделать порядка 25-30 снимков в одном направлении, отличающихся различными экспозициями. Для получения большого пространственного разрешения необходимо отснять больше десятка таких направлений. Цифровые камеры требуют существенного времени на сохранение изображений с большим разрешением во внешней памяти или для пересылки изображений в управляющий компьютер, т.к.

встроенной памяти камеры недостаточно для хранения всех фотографий.

Также необходимо время на позиционирование камеры, установку очередной экспозиции, восстановление после серии кадров и т.д. По нашим оценкам при компьютерном управлении камерой и ее позиционированием съемка потребует около полутора часов. Понятно, что это значительное время, которое не дает получить высококачественные карты окружения при съемке снаружи помещений при постоянно изменяющемся окружении.

Также невозможно получить корректные значения яркости в области солнца с помощью фотографирования без специальных фильтров. Камера не способна корректно воспринять и оцифровать такие большие яркости.

Работа с фильтрами существенно усложняет процесс создания карты освещения, увеличивая время его создания. Поэтому ошибки в изображении солнца будут присутствовать практически всегда.

Алгоритм обработки набора кадров, позволяющий из набора фотографий с различной экспозицией получить изображение с большим диапазоном яркостей, был реализован в программе HDRshop [69]. Также программа показывает карты освещения в виде птолемеевых разверток, которые являются наиболее распространенным классом представления панорам. Птолемеева развертка – это панорамное изображение с 360градусным охватом по горизонтали и 180-градусным по вертикали.

Стандартное соотношение сторон таких разверток – 2:1. С помощью HDRshop можно также посмотреть карты освещения при различных экспозициях (пример показан на рис. 1.14), получить значения яркостей в каждой точке.

Рис. 1.14. Карта освещения при различных экспозициях.

Как показано, создание собственных качественных изображений с большим динамическим диапазоном яркости является трудоемким процессом, требующим соответствующей аппаратуры, программного обеспечения и аккуратного исполнения. Поэтому появились фирмы, специализирующиеся на их производстве [72, 74, 75] и поставляющие готовые наборы карт освещения. Анализ качества некоторых типичных изображений будет приведен далее. Также существуют изображения с большим динамическим диапазоном яркости, свободно распространяемые в Интернете (часто их можно найти на университетских сайтах), но их количество весьма ограничено.

1.3.3. Обработка ярких источников света в карте освещения Для вычисления освещенности от изображения с большим диапазоном яркости был использован метод Монте-Карло обратной трассировки лучей [29, 31, 36, 41]. Он эффективно применим, если это изображение задает достаточно равномерное освещение сцены, например, для освещения от облачного неба. В случае же если карта освещения содержит яркий источник света (например, прямо видимое солнце), то вычислительные затраты будут значительными. Эта проблема может быть решена, если выделить яркие источники света из карты освещения. Так как карта освещения задает источник света, расположенный на бесконечно удаленной сфере, то и выделенные яркие источники разумно заменить общепринятыми параллельными источниками света. В итоге карта освещения будет задавать равномерный источник света без ярких особенностей, которые будут заданы параллельными источниками света.

Выделение ярких источников света из карты освещения позволит также решить задачу генерации четких, резких теней от солнца. Большинство существующих систем визуализации не могут автоматически генерировать резкие тени от солнца, присутствующего в карте освещенности.

Распознавание и выделение ярких областей позволяет более корректно моделировать освещенность от карт освещения, содержащих солнце, не добавляя в сцену искусственных источников света.

Для выделения источников света были введены три коэффициента, регулирующие процесс распознавания областей с большой яркостью и расчета мощности источника. Первый коэффициент используется для определения направления на источник света и задает порог яркости точки карты освещения, определяющий, является ли она источником света. Второй и третий коэффициенты используются для определения всей области с большой яркостью и в конечном итоге для вычисления яркости источника света. Второй коэффициент задает максимальный радиус яркой области.

Точки, яркость которых превышают заданный порог, но найденные за пределами этого радиуса, будут рассматриваться как другие источники света.

Третий коэффициент задает минимальную яркость точки, которая будет рассматриваться как составляющая источника света. Таким образом, при выделении источника света используются все точки, лежащие не далее, чем на расстоянии указанного радиуса от наиболее яркой точки, с яркостью выше минимальной яркости. Только верхняя полусфера изображения с большим диапазоном рассматривается для автоматического выделения ярких источников света.

Значения яркостей всех точек карты освещения, использованных при выделении источника света и задании его мощности, обрезаются. В результате для дальнейших расчетов освещенности мы имеем достаточно гладкую функцию освещения, задаваемую обрезанной картой освещения, и набор ярких параллельных источников света.

Значения коэффициентов для порога яркости, определяющего направление на источник света, и минимальной яркости, определяющей составляющие источника света, рассчитываются по эмпирической формуле и зависят от средней яркости сегмента изображения. Оптимальное значение максимального радиуса яркой области также определялось на основе экспериментов.

Оказалось, что применение алгоритмов расчета освещенности от карт освещения не гарантирует получение реалистичных изображений фотографического качества. Попытки получить реалистичные изображения показали, что основные проблемы связаны с отсутствием четких теней и некорректной освещенностью поверхностей для карт освещения с видимым солнцем. Все это приводит к потере реалистичности итогового изображения.

Алгоритмы, разработанные для построения изображения, являются физически обоснованными, и ожидалось, что они должны генерировать корректное изображение. Однако это оказалось верным только, если входные данные, т.е. сами карты освещения, являются физически корректными.

Поэтому были проанализированы используемые карты освещения. Наиболее важными являются две характеристики:

• правильность представления солнца.

Все исследованные карты освещения были сделаны на устройствах компании SpheronVR [74] как самой компанией, так и фирмой Dosch Design [75], использующей приборы Spheron.

Для получения правильного, реалистичного изображения панорамные карты освещения должны максимально правильно передавать условия реальности, существовавшие во время процесса фотографирования. Это означает, что если в реальности диапазон яркостей (например, соотношение яркости солнца к яркости черного предмета внутри помещения) был достаточно велик, то и карта освещения должна содержать динамический диапазон такого же порядка.

Для анализа карт освещения за основу были взяты стандартные модели ясного полуденного неба (clear sky model) и модель частично облачного неба (party cloudy model) Международной комиссии по освещению, опубликованные в [76]. Для модели ясного неба соотношение максимальной яркости солнечного неба к минимальной составляет 23737.4, т.е.

динамический диапазон неба должен быть порядка 104. Для модели частично облачного неба соотношение максимальной яркости солнечного неба к минимальной составляет 4722.4, т.е. динамический диапазон неба должен быть порядка 103. Выделение всех точек карты освещения, принадлежащих небу, является в общем случае непростой задачей. Гораздо легче вычислить полный динамический диапазон всей карты, включающий также точки, принадлежащие нижней полусфере панорамы с изображением домов, почвы и т.д. Были изучены несколько десятков различных карт освещения, произведенных компанией Spheron. Для всех них нижняя полусфера добавляет в среднем пару порядков к диапазону. Поэтому приблизительная оценка динамического диапазона всей карты освещения с солнцем должна быть не менее 106, а частично облачной – 105. Если карта освещения не содержит такого диапазона величин, то она заведомо не отражает реальность, и это приводит к неправильным результатам моделирования освещенности.

Пример показан на рис. 1.15.

Рис. 1.15. Пример некорректной карты окружения, динамический диапазон 104 вместо 106 для яркого солнечного дня. Автомобиль недостаточно освещен, слабые тени, нет ощущения солнечного дня.

При анализе динамического диапазона была решена следующая проблема. Нижняя граница яркости может принимать очень маленькие, ненулевые значения (например, 10-15 или 10-8). Для человеческого восприятия эти величины представляют собой темные области, неразличимые глазом.

Они являются просто «шумом» элементов цифровой камеры в процессе фотографирования. Однако при вычислении динамического диапазона эта разница существенна. Для того чтобы иметь возможность отбросить такие малые величины, все значения яркостей были переведены в единицы измерения кандела на метр квадратный (cd/m2) в системе СИ. При этом известно, что максимальные яркости ЭЛТ-монитора имеют значения 250- cd/m2. Поэтому можно заменить значения менее 1 cd/m2 на единицу, так как для человеческого глаза эти величины неразличимы. Таким образом, убирается динамический диапазон «внутри» черного цвета.