Российская академия наук

Институт прикладной математики им. М.В. Келдыша

На правах рукописи

Галактионов Владимир Александрович

Программные технологии синтеза реалистичных

изображений

Специальность 05.13.11 – математическое и программное обеспечение

вычислительных машин, комплексов и компьютерных сетей.

Автореферат диссертации на соискание ученой степени доктора физико-математических наук Москва - 2006

Работа выполнена в Институте прикладной математики им. М.В. Келдыша РАН (г. Москва)

Научный консультант: доктор физико-математических наук Горбунов-Посадов Михаил Михайлович

Официальные оппоненты:

член-корреспондент РАН, профессор Рябов Геннадий Георгиевич доктор физико-математических наук, профессор Любимский Эдуард Зиновьевич доктор физико-математических наук, профессор Клименко Станислав Владимирович

Ведущая организация: Институт вычислительной математики и математической геофизики Сибирского отделения РАН

Защита состоится 27 февраля 2007 г. в 11:00 час. на заседании диссертационного совета Д 002.024.01 при Институте прикладной математики им. М.В. Келдыша РАН по адресу:

125047, Москва, Миусская пл., 4.

С диссертацией можно ознакомиться в библиотеке Института прикладной математики им. М.В.Келдыша РАН.

Автореферат разослан " _ " 2006 г.

Ученый секретарь диссертационного совета, доктор физико-математических наук Т.А. Полилова

Общая характеристика работы

Методы синтеза реалистичных изображений, основанные на физически аккуратном (корректном) моделировании распространения света, являются эффективным средством повышения производительности труда в самых различных областях человеческой деятельности и, прежде всего, в архитектурном проектировании, градостроительстве, ландшафтном дизайне, автомобильной и авиационной промышленности.

Предварительные расчеты освещения и визуальная оценка архитектурных и дизайнерских решений являются обязательными этапами процесса проектирования и строительства зданий, жилых и офисных помещений, интерьеров автомобилей и самолетов. При этом контролируется эстетичность интерьеров и внешнего вида, рациональность, экономичность, соответствие стандартам систем освещения дневным и солнечным светом.

Методы компьютерного физически аккуратного моделирования применяются также для визуализации и оценки различных промышленных изделий до запуска их в производство. Так при производстве современных автомобильных красок намного дешевле и эффективнее задать состав и свойства краски в цифровом виде и оценить, как она будет выглядеть при различных условиях освещения на виртуальной модели автомобиля, чем произвести такую краску и покрасить ею реальный автомобиль. Это относится не только к автомобилям, но и к широкому спектру других изделий, таких как телефонные трубки, портативные компьютеры, различная бытовая техника и др.

Еще одним известным применением методов физически аккуратного синтеза изображений является их использование в индустрии развлечений – в производстве кинофильмов и компьютерных игр.

Реалистичность и достоверность изображения играет здесь решающую роль и является одним из главных факторов успеха фильма или компьютерной игры. Практически все зрелищные фильмы последнего времени сняты с использованием компьютерных программ синтеза изображений.

Другим не менее важным классом актуальных задач, которые могут решаться методами физически аккуратного расчета распространения света, являются задачи компьютерного моделирования и проектирования осветительных систем оптико-электронных приборов и устройств. К таким устройствам относятся системы подсветки разного рода жидкокристаллических (ЖК) дисплеев, панелей приборов автомобилей, осветительные приборы автомобилей (фары, фонари заднего вида), светодиодные системы.

Новейшие технологии и материалы, применяемые при производстве подобных систем, основываются на сложных физических эффектах. К таким эффектам относятся рассеивание света на стохастических микронеровностях (шероховатостях) поверхностей и на регулярных микрорельефах поверхностей (десятки и сотни миллионов микро-призм заданной формы, размера и распределения), объемное рассеивание света на микрочастицах внутри материала, поляризационное рассеивание света в тонких пленках и другие подобные явления. Компьютерное моделирование таких оптических систем и устройств требует применения специальных подходов, основанных на комбинации законов волновой и геометрической (лучевой) оптики.

Вышеперечисленные проблемы представляют собой широкий класс важных и актуальных для современной науки и практики задач из разных предметных областей. Их объединяет то, что все они связаны с моделированием распространения света в различных оптических средах.

Цель работы заключается в разработке технологии физически аккуратного моделирования распространения света, которая бы позволяла физически корректным образом вычислять освещенности, строить изображения фотореалистичного качества, а также моделировать и рассчитывать сложные светопроводящие системы. В результате должны быть построены программные системы компьютерной графики для моделирования распространения света в различных оптических средах для задач синтеза фотореалистичных изображений, а также для расчетов оптических светопроводящих систем и устройств.

Научная новизна. Разработана эффективная технология физически аккуратного моделирования распространения света, позволяющая на базе единого механизма и алгоритмической базы синтезировать фотореалистичные изображения, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства. В основе этой технологии лежит двунаправленная трассировка лучей с использованием методов Монте-Карло.

Реализованы алгоритмические и программные средства для построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Реалистичность изображений обеспечивается использованием алгоритмов, основанных на физических законах распространения света, учетом особенностей зрительного восприятия человека, поддержкой фотоэффектов.

Предложены новые физически обоснованные алгоритмы использования изображений с большим (более 10 ) динамическим диапазоном яркостей в качестве источников естественного освещения и фона для виртуальных сцен, содержащих материалы со сложными оптическими свойствами (автомобильные многослойные краски, ткани и др.). Впервые реализована технология, позволяющая рассчитывать физически аккуратную освещенность виртуальной сцены на основе фотоснимков реального ландшафта. Разработаны алгоритмы распознавания солнца, генерации теней, задания фона. Предложен эффективный метод преобразования большого динамического диапазона яркостей в диапазон, реально отображаемый на экране монитора.

Разработана архитектура, технологические и программные решения для создания Интернет-приложений физически аккуратного моделирования освещенности и генерации реалистичных изображений. С целью достижения приемлемого времени отклика предложены, реализованы и экспериментально проверены различные методы ускорения расчетов освещения.

Разработаны принципы построения и архитектура системы физически аккуратной визуализации в режиме интерактивной 3D навигации сцен, содержащих оптически сложные материалы, естественное освещение, эффекты вторичной освещенности. Базовый уровень визуализации построен на основе широко распространенной графической библиотеки OpenGL, в то время как для расчета вторичной освещенности используется метод квази- Монте-Карло. Таким образом, предлагаемое решение является компромиссом между высоким качеством изображений, созданных методами физически аккуратного моделирования освещенности, и быстрой генерацией изображений аппаратными средствами графических акселераторов.

Разработаны алгоритмические и программные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов. Предложены и разработаны универсальные программные интерфейсы, позволяющие осуществлять оптическое моделирование как в лучевом, так и в волновом приближениях.

Практическая значимость работы. На основе концепций, методов и алгоритмов, предложенных в диссертационной работе, был реализован ряд программных продуктов, которые широко используются в нашей стране и за рубежом. Среди них:

- программный комплекс для физически аккуратного расчета освещенности и построения фотореалистичных изображений сцен, содержащих оптически сложные материалы, при различных условиях искусственного и естественного освещения. Освещение может быть задано в том числе и изображениями с большим динамическим диапазоном;

- система для физически аккуратного моделирования освещенности и синтеза реалистичных изображений через Интернет;

- программный комплекс физически аккуратной визуализации в режиме 3D навигации сцен, содержащих оптически сложные материалы и естественное освещение, с учетом эффектов вторичного освещения;

- программный комплекс для моделирования и проектирования сложных оптических систем и устройств, включая системы, содержащие новейшие микроструктурные рассеивающие материалы, применяемые в современном проектировании оптических светопроводящих систем.

Каждый из созданных программных комплексов находится на уровне или превосходит по ряду ключевых показателей имеющиеся в мире аналоги.

Проведенные экспериментальные сравнения результатов физически аккуратных расчетов освещенности на реальных сценах, а также оптических характеристик, полученных путем моделирования оптических устройств, с результатами измерений аналогичных характеристик на реальных объектах и оптических устройствах продемонстрировали высокую точность моделирования (выше, чем у известных автору аналогов).

Апробация работы. Основные результаты диссертации были представлены на ряде профильных международных научных конференций [4, 7, 13, 14, 20-22], на научной школе «Будущее прикладной математики»

[12]. Результаты диссертации также докладывались на Научной сессии «Проблемы и методы компьютерной визуализации» Отделения информационных технологий и вычислительных систем РАН, на заседании Ученого совета ИПМ им. М.В.Келдыша РАН, на научном семинаре «Программирование» ИПМ им. М.В.Келдыша РАН под рук.

проф. М.Р.Шура-Бура и проф. Д.А.Корягина.

Публикации. По результатам работы имеется 24 публикации, включая 10 статей в рецензируемых научных журналах (из них 9 из списка ВАК) [2, 3, 5, 6, 8, 9, 18, 19, 23, 24], 7 докладов на международных научных конференциях [4, 7, 13, 14, 20-22], 1 монография [1], 1 статья в сборнике [12] и 5 препринтов [10, 11, 15-17].

Личный вклад. Все основные результаты, изложенные в диссертации, включая постановки задач и их алгоритмические решения, получены автором лично или выполнены под его научным руководством и при непосредственном участии. В работе приводятся ссылки на две кандидатские диссертации и одну дипломную работу, выполненные под научным руководством автора, а также кандидатскую диссертацию, в которой автор выступал в качестве научного консультанта.

Структура и объем работы. Диссертация состоит из введения, семи глав, заключения и списка литературы. Содержание работы изложено на 246 страницах. Список литературы включает наименований. В работе содержится 118 рисунков и 8 таблиц.

Во введении в историческом плане кратко рассматриваются пути развития компьютерной (машинной) графики, как у нас в стране, так и за рубежом. Упоминаются работы автора и его личный вклад в развитие этого научного направления в 70-80-е годы прошлого века, прежде всего в разработку графического пакета ГРАФОР и создание системы отечественных графических стандартов. Обосновывается актуальность и практическая значимость работы. Подчеркивается важность и перспективность направления современной компьютерной графики, связанного с физически аккуратным (т.е. основанным на физических законах оптики) моделированием распространения света в различных средах. Излагается краткое содержание следующих глав.

Первая глава посвящена созданию алгоритмических и программных средств физически аккуратного расчета освещенности и синтеза фотореалистичных изображений. Подчеркивается, что в целом ряде приложений физическая достоверность изображений имеет важное, а порой и решающее значение. Так, в архитектуре и дизайне интерьеров, при моделировании внешнего вида автомобилей и даже бытовой техники (телефонных трубок, ноутбуков и др.) часто нельзя отвлечься от физической реальности, ограничившись построением привлекательных «красивых» картинок. Изображения, полученные на этапе проектирования, будут впоследствии сравниваться с готовым изделием (архитектурным сооружением или интерьером, внешним видом автомобиля, окрашенного спроектированной оптически сложной краской). При физически некорректном, хотя может быть и визуально привлекательном, моделировании дизайнером может быть принято неправильное решение.

Описывается цифровая модель исходных данных, которая используется предлагаемыми в работе алгоритмами. Излагаются применяемые способы задания светорассеивающих свойств поверхностей.

Свойства объектов и поверхностей определяются в системе физическими законами распространения света внутри сред и взаимодействия света с поверхностями. Оптически сложные материалы могут описываться двунаправленными функциями отражения/пропускания (ДФО/ДФП), которые в общем случае являются функциями четырех углов, определяющих направления падения и отражения/пропускания света, и длины волны падающего света.

Описываются модели освещения, поддерживаемые системой.

Параметры освещенности и интенсивности источников света задаются в физических (фотометрических) единицах. Поддерживаются разнообразные типы источников искусственного света, однако чаще всего они задаются своими гониометрическими диаграммами (гониодиаграммами), в оптике также называемыми индикатриссами рассеяния. Гониодиаграмма определяет угловое пространственное распределение световой энергии, излучаемой источником света.

Описываются способы задания естественного дневного освещения (солнечный свет, облачное небо и т.д.). В частности, для задания естественного освещения можно выбрать подходящий элемент из библиотеки дневного (небесного) и солнечного света. Библиотека содержит параметры для различных географических регионов (городов) в разное время суток. Можно также с помощью редактора параметров солнечного и дневного освещения задать его в терминах географических координат, даты (времени года) и времени суток, либо в терминах положения солнца (высота над горизонтом и азимут) и освещенности горизонтальной плоскости. Существует также и ряд других способов задания естественного освещения. Один из них будет подробно рассмотрен в гл. 2. В редакторе также задается степень облачности.

Моделирование небесного освещения для случаев 100% облачности и ее отсутствия соответствует стандарту Международной комиссии по освещению CIE. Небесное освещение с неполной облачностью моделируется с использованием интерполяции.

Ставится задача глобальной освещенности, когда учитывается не только прямая освещенность поверхностей сцены лучами, идущими непосредственно от источников света, но и вторичная освещенность, создаваемая лучами, отраженными или преломленными другими поверхностями. Обозначаются пути ее решения. Подчеркивается, что за основу физически аккуратного моделирования берутся законы лучевой оптики. Поэтому одним из главных методов решения этой задачи является трассировка лучей света с использованием метода Монте-Карло. Для физически аккуратного моделирования освещенности и построения фотореалистичных изображений в работе используются технологии прямой и обратной трассировки лучей.

Созданный на основе этой технологии программный комплекс нашел широкое применение в сфере архитектурного проектирования, дизайна интерьеров, проектирования систем освещения зданий, при моделировании внешнего вида и интерьеров автомобилей и пр. Пример его использования для решения конкретных практических задач показан на рис. 1.

Вторая глава посвящена методам задания естественного дневного освещения, при котором источником света является изображение реальных сцен с большим динамическим диапазоном яркостей (БДДИ).

Большой (более 104) динамический диапазон яркостей без труда воспринимается человеческим глазом, однако он не может быть отображен на современных графических дисплеях, чей динамический диапазон мал – соотношение самой яркой области с самой темной не превышает у них сотен раз.

Современная компьютерная графика все больше внимания уделяет БДДИ (в англоязычной литературе HDRI – High Dynamic Range Images) как исключительно мощному и простому в использовании способу представления данных об окружающем мире. В БДДИ значения яркости для каждой точки выражаются реальными физическими величинами, т.е.

Рис. 1. Пример моделирования освещения интерьера при (а) дневном и (б) ночном освещении, а также распределения (в) результирующей освещенности и (г) яркости источников вторичного освещения в псевдо цветах.

числами с плавающей точкой. Они позволяют передать реальные интенсивности окружающей среды даже за пределами чувствительности человеческого глаза. Наиболее интенсивно развивающимся применением БДДИ является технология освещения, когда источник света задается изображением. Одновременно с заданием освещения БДДИ решает также проблему задания окружения (фона) моделируемой сцены. На рис. показана компьютерная модель автомобиля, освещенная с помощью БДДИ и помещенная в заданный им реальный ландшафт.

БДДИ, используемое для освещения изображением, должно обладать двумя свойствами. Во-первых, оно должно содержать точки для всех направлений фотографируемого окружающего мира, то есть фактически изображение с большим динамическим диапазоном должно быть сферической панорамой. Во-вторых, значение яркости каждой точки должно быть пропорционально количеству света, приходящему с данного направления в реальном мире.

В главе рассмотрены различные технологии создания БДДИ, в частности, БДДИ реальных сцен могут быть получены путем обработки последовательности фотографий, сделанных с различной экспозицией, или специальным панорамным сканированием.

Рис. 2. Изображение автомобиля, Рис. 3. Использование технологии созданное с помощью разработанных «двойного кадра» для представления программных средств с использова- реалистичного фона при изображении ниием технологии освещения изобра- компьютерной модели автомобиля.

жением.

Отмечается, что многие существующие системы моделирования и визуализации, такие как 3DSMax (Mental Ray, VRay), Softimage, Maya и др., используют БДДИ в качестве фоновых панорам, что существенно повышает правдоподобность получаемых итоговых изображений. Лишь немногие системы пытаются рассчитывать освещение сцены, анализируя БДДИ. Однако даже в них хорошо обрабатываются только случаи протяженных и площадных источников света, таких как облачное небо.

Подобные источники дают размытые, мягкие тени с неявным направлением на источник света. Ни одна из известных автору систем не способна правильно моделировать освещенность, задаваемую БДДИ с безоблачным небом и прямо видимым солнцем. Например, для генерации четких теней, порождаемых таким ярко-выраженным источником света, как солнце, предлагается вручную устанавливать дополнительный источник света по направлению солнца с соответствующим масштабированием (уменьшением) яркостей БДДИ.

В главе описывается разработанный метод освещения изображением, который позволяет в автоматическом режиме корректно строить освещение даже для БДДИ с таким мощным источником света, каким является солнце. Предложены физически обоснованные алгоритмы расчета яркости точки оптически сложной поверхности, заданной с помощью ДФО. Она эффективно вычисляется с использованием метода Монте-Карло обратной трассировки лучей для большинства видов ДФО.

Однако для расчета глобальной освещенности необходимо также учитывать свет, отраженный от других диффузных поверхностей сцены. В описываемом алгоритме для расчета этой компоненты используется метод Монте-Карло прямой трассировки лучей. Непосредственное применение этого метода для БДДИ, как источника света, является неэффективным.

Поэтому для учета глобальной освещенности разработан алгоритм выделения из сферической панорамы БДДИ источников света (областей с большими яркостями) и замены их соответствующими параллельными источниками. Расчет компоненты глобальной освещенности производится для этих традиционных источников света.

Выделение областей с большой яркостью и замена их на параллельные источники света решает задачу построения четких теней от солнца или другого яркого источника освещения. Как уже упоминалось, существующие программные системы предлагают пользователю вручную устанавливать дополнительный источник света, отбрасывающий четкую тень. Распознавание и выделение источников света позволило впервые правильно промоделировать освещенность для БДДИ с видимым солнцем без дополнительных, искусственно установленных источников света.

Важным также является вопрос о получении корректных теней при технологии освещения изображением. Сложность заключается в том, что когда виртуальный объект (например, цифровая модель автомобиля) помещается в окружение, задаваемое БДДИ, он должен отбрасывать тень на дорогу (как это показано на рис. 2), которая присутствует в изображении, но которой нет в описании сцены. Для решения этой задачи в сцену вводится полностью прозрачная виртуальная плоскость, расположенная перпендикулярно к направлению зенита. На этой плоскости как бы стоит автомобиль. Далее рассчитывается освещенность точек этой плоскости для случаев с моделью автомобиля и без нее.

Соотношение этих величин является фактором затенения видимого фона.

Освещенность точек на виртуальной плоскости рассчитывается методом Монте-Карло обратной трассировки лучей.

Мощный механизм использования БДДИ в качестве источника света для моделирования освещенности еще не гарантирует получения физически корректных изображений фотографического качества. Анализ нескольких десятков БДДИ, содержащих небо, показал, что физически корректные БДДИ встречаются крайне редко. Все БДДИ имеют недостатки в области представления солнца, а именно, недооценка яркости солнца и появление паразитных «солнц». Это связано с невозможностью напрямую измерить яркость солнца с помощью современной цифровой фототехники. Другие проблемы обусловлены размытостью фона по сравнению с четким изображением объектов сцены (модели автомобиля), что связано с недостаточностью пространственного разрешения используемой БДДИ. (Кроме этого, нередко БДДИ не содержат реального диапазона яркостей, а являются просто обычными фотопанорамами. Очевидно, что такие БДДИ не могут корректно задать освещение сцены и приводят к некорректностям при синтезе реалистичных изображений.) В связи с этим были разработаны модификации алгоритмов, учитывающие и компенсирующие известные недостатки БДДИ. Проблема недостаточности пространственного разрешения БДДИ решается с помощью технологии «двойного кадра», при которой освещенность сцены рассчитывается с помощью БДДИ с относительно небольшим пространственным разрешением. В то же время представление фона требует достаточного пространственного разрешения, а большой динамический диапазон здесь не важен, так как в итоге изображение будет приведено к динамическому диапазону монитора. Поэтому для фона можно использовать простое изображение, полученное с помощью обычной бытовой цифровой камеры. Необходимо только, чтобы это изображение было сделано с той же позиции, что и все БДДИ. На рис. показано изображение, сгенерированное построенной графической системой с использованием технологии «двойного кадра», дающей хорошую степень реалистичности.

Однако наиболее существенным фактором является компенсация недостатков, связанных с заданием солнечного света. Недооценка яркости солнца может быть компенсирована, если взять за основу стандартные модели неба, принятые Международной комиссией по освещению (CIE).

При выделении источников света производится расчет освещенности горизонтальной поверхности от выделенного источника (т.е. солнца) и от модифицированной верхней полусферы БДДИ панорамы (т.е. неба за исключением солнца). Яркость выделенного источника света масштабируется таким образом, чтобы его освещенность соответствовала стандартной модели неба (рис. 4). Изменять яркость неба было бы некорректно, так как именно яркость солнца является недооцененной.

Производители аппаратуры для создания БДДИ утверждают, что яркости, представляющие в БДДИ все окружение за исключением солнца, измеряются с высокой точностью.

Рис. 4. Применение компенсации некорректности задания солнца. Левое изображение построено без компенсации, правое – с компенсацией. Видны соответствующие солнечному дню четкие тени, которые появились в результате В итоге реализованные алгоритмы позволяют получить более корректный результат, являются автоматическими и устойчивыми к различным ошибкам БДДИ. Это расширило число приемлемых БДДИ, которые можно использовать для синтеза реалистичных изображений.

Приводятся примеры использования разработанных алгоритмов в системах компьютерной графики для генерации высокореалистичных изображений.

В третьей главе рассматриваются вопросы влияния особенностей зрительного восприятия человека на процесс синтеза изображений.

Построенная технология физически аккуратного моделирования освещенности позволяет с высокой точностью рассчитывать освещенность моделируемых сцен и синтезировать реалистичные изображения. Однако в ряде приложений, особенно в архитектуре и дизайне, одной физической достоверности моделирования часто бывает недостаточно для построения действительно качественных образов.

Необходимо также учитывать специфику и психофизиологию человеческого зрения.

Так использование изображений с большим динамическим диапазоном яркостей вызывает проблемы при отображении их на стандартных устройствах (графические мониторы, принтеры), динамический диапазон которых существенно уже, чем диапазон яркостей реального мира. Для отображения БДДИ на обычных дисплеях и принтерах этот диапазон должен быть сжат до уровня, который может быть воспроизведен на этих устройствах.

К тому же глаз и нервная система человека по-разному обрабатывают большой и малый диапазоны яркости видимого изображения. Механизм обработки сигналов, который успешно работает при большом диапазоне яркостей (например, при соотношении яркостей сотни тысяч к одному), не включается при обработке изображения с экрана, где диапазон мал (сотни к одному). Следовательно, для создания реалистичного изображения необходимо смоделировать процесс обработки больших яркостей глазом. В литературе такой оператор сжатия называется tone mapping или tone reproduction. Качество работы таких операторов оценивается главным образом по уровню сохранения деталей изображения, локального контраста и отсутствию артефактов (некорректных изображений). Существенным фактором являются также скорость работы алгоритма и объем требуемой памяти, поскольку в настоящее время все более актуальным становится обеспечение работы в режиме реального времени.

Для создания эффективного оператора сжатия за основу был взят оператор, называемый улучшенным оператором Тумблина-Рушмеера, в основе которого лежит вычисление адаптационной яркости изображения Lwa, определяемой как среднее логарифмическое всех яркостей изображения. Оператор сжатия использует модель сохранения яркости, основанную на математической модели человеческого зрения Стивенса.

Целью этой модели является обеспечение постоянного отношения яркости изображения, воспринимаемого с экрана монитора, к яркости соответствующей части реальной сцены при любых условиях освещения.

Улучшенный оператор Тумблина-Рушмеера уменьшает контраст изображения на мониторе для очень темных изображений, что предотвращает избыточность контраста.

В общем случае, в результате использования улучшенного оператора сжатия Тумблина-Рушмеера яркость некоторых точек монитора, соответствующих наиболее яркой части сцены, может превышать максимальную яркость монитора и соответствующая часть изображения будет перенасыщена. Для преодоления этой проблемы разработанный оператор использует формулу, предложенную Рейнхардом и др. Формула сжимает большие яркости, используя уровень белого Lwhite, отображаемый в чисто белый цвет.

Разработанный алгоритм хорошо работает без дополнительных настроек практически для любого изображения (проверялись сотни изображений, включая изображения с соотношением яркостей порядка сотен тысяч к одному). Предложенный алгоритм сравнивался с другими аналогичными методами. Показано, что он проявляет себя, как наиболее эффективный из них. Сравнения скорости вычислений показали, что разработанный алгоритм приблизительно в 15 раз быстрее других опубликованных методов.

Как отмечалось выше, для того чтобы синтезированные физически достоверные изображения «воспринимались» как реалистичные, необходимо принимать во внимание особенности зрительной системы человека. Если мы посмотрим в затемненных условиях на ярко горящую лампу с некоторого расстояния, то увидим вокруг нее некоторый ореол или свечение (glare effect), который может существенно влиять на видимость объектов около лампы. Этот ореол не воспроизводится автоматически путем физически аккуратного моделирования освещенности. Его природа обусловлена особенностями строения человеческого глаза. Можно улучшить реализм синтезированных изображений, если добавить в качестве постобработки смоделированных данных некоторые эффекты, учитывающие природу зрения человека.

В разработанной графической системе обеспечивается воспроизведение таких эффектов, как размытие или «блуминг» (blooming) и «реснитчатая корона» (ciliary corona) вокруг ярких источников света – фонарей, ярких бликов на глянцевых поверхностях и др. (рис.5). Размытие вызывает уменьшение контраста, которое влияет на видимость соседних объектов. Оно обусловлено последовательным рассеянием света на трех частях глаза: роговице, хрусталике и первом слое сетчатки, – приблизительно с равным вкладом.

Реснитчатая корона выглядит состоящей из многочисленных радиальных лучей случайной амплитуды, исходящих из точечного источника света. Ее природа обусловлена дифракцией света на частицах, клетках и волокнах хрусталика, т.е. случайных флуктуациях плотности вещества хрусталика глаза, которые вызывают рассеяние света, не зависимое от длины волны. С увеличением размера светового источника реснитчатая корона все более «расплывается» и вносит вклад в эффект размытия.

Рис. 5. Воспроизведение ореолов (эффектов размытия и реснитчатой короны) вокруг ярких источников света в соответствии с особенностями зрительного Кроме учета особенностей зрительного восприятия человека, повышению реалистичности способствует также возможность поддерживать эффекты фотографических изображений. Система позволяет воспроизводить такие фотоэффекты, как ореолы вокруг ярких источников, как первичных, так и вторичных, дефокусировку изображений и эффект экспозиции при изображении водных поверхностей. В работе приводятся особенности реализации каждого из этих методов.

Вышеупомянутые эффекты реализованы в виде постобработки сгенерированных первичных изображений в физических величинах, что позволяет пользователю быстро подбирать желаемые параметры этих эффектов.

Четвертая глава посвящена моделированию освещенности и синтезу реалистичных изображений с использованием Интернета.

Технология, представленная в этой главе, была разработана для создания интерактивных Интернет презентаций, предоставляющих средства для динамического моделирования и синтеза изображений при заданных пользователем условиях освещения, расположения объектов и др. На базе этой технологии был реализован программный комплекс, предназначенный для разработки Интернет-приложений компьютерной графики, позволяющих синтезировать реалистичные изображения сцен на основе алгоритмов физически аккуратного моделирования освещенности, Графическое приложение для интерактивного моделирования освещенности выполняется в глобальной распределенной среде, включающей компьютер пользователя и компьютер, предоставляющий приложение. Эффективность работы приложения в значительной мере зависит от решений, связанных с распределением вычислительной нагрузки между компьютерами и организацией взаимодействия между выполняющимися на них компонентами. Для того чтобы обеспечить возможность работы с максимальным числом пользователей, необходимо учитывать, что доступные вычислительные ресурсы на компьютере пользователя могут быть ограничены, а скорость сетевого обмена с ним – не слишком высокой. Поэтому все ресурсоемкие вычисления, связанные с моделированием освещенности и синтезом изображений, выполняются на компьютерном кластере сайта, предоставляющего приложение. На нем также хранятся данные сцен, представление которых может включать сотни тысяч и даже миллионы объектов.

Дополнительным аргументом в пользу такого решения является необходимость защиты данных, представляющих сцены. Для получения высококачественных изображений требуются сцены с высокой степенью детализации геометрии, тщательно подобранными (или даже измеренными) свойствами поверхностей и источников света. Создание таких сцен является дорогостоящим процессом, и обычно они являются объектом собственности, не подлежащим свободному распространению.

Поэтому важно, чтобы детальные описания сцен не передавались за пределы предоставляющего их сайта.

Архитектура Интернет-приложения для интерактивного физически аккуратного моделирования освещенности и организация взаимодействия между его компонентами показана на рис. 6. Эта архитектура и была реализована в программном комплексе.

Функциональность программного комплекса, предоставляющего физически аккуратное моделирование освещенности, проиллюстрирована на диаграмме, показывающей общую схему работы пользователя (рис. 7).

Расчет глобальной освещенности и создание высокореалистичных изображений требуют значительных вычислительных затрат. В то же время слишком большое время ожидания реакции системы, скорее всего, приведет к низкой посещаемости Интернет-сайта. Поэтому эффективная реализация ресурсоемких операций в контексте Интернет-приложений приобретает критическое значение.

Рис. 6. Организация Интернет-приложения для интерактивного физически аккуратного моделирования освещенности; взаимодействие компонентов пользовательского интерфейса с серверным компонентом.

Главной причиной необходимости большого объема вычислений при расчете глобальной освещенности является стохастический шум, присущий всем Монте-Карло алгоритмам. Поскольку освещенность в основном является гладкой функцией, для которой шум хорошо заметен, то получение качественных изображений невозможно без избавления от него. Поэтому для ускорения расчета глобальной освещенности использование псевдослучайной числовой последовательности было заменено на использование квази-случайных выборок. Преимущество квази- Монте-Карло метода заключается в значительно меньшем стохастическом шуме, а также, при определенных условиях, более высокой скорости сходимости.

В табл. 1 приведены результаты измерений, демонстрирующих ускорение вычислений, достигнутое за счет использования квазислучайных выборок вместо псевдослучайных последовательностей при расчете глобальной освещенности методом Монте-Карло. Измерения проводились на реальных сценах, предоставленных пользователем фирмой-производителем осветительных приборов Zumtobel, с различными значениями итоговой точности. Время вычислений указано в секундах.

Таблица 1. Сравнение времени вычислений при использовании псевдослучайных последовательностей (TMC) и квазислучайных выборок (TQMC) в расчетах глобальной освещенности методом Монте-Карло.

Другим способом ускорения расчета глобальной освещенности стало исключение первичных лучей из процесса трассировки лучей методом Монте-Карло. Трассировка первичных лучей была заменена на детерминистический расчет прямой освещенности. При этом строятся дополнительные карты прямой освещенности, которые потом используются и как вторичный источник света для дальнейшего его моделирования методом Монте-Карло, и для визуализации сцены. В итоге суммарное время, необходимое для создания изображения, уменьшается.

Однако эффективность этого способа сильно зависит от освещенности сцены. Реальное ускорение вычислений в сравнении с квази- Монте-Карло методом может составлять от нескольких процентов до нескольких раз.

Кроме алгоритмических методов для ускорения синтеза изображений и расчета глобальной освещенности были также реализованы параллельные вычисления. Применяется как горизонтальный параллелизм, основанный на использовании кластеров из нескольких компьютеров, объединенных в сеть, так и вертикальный параллелизм многопотоковых вычислений, эффективно использующих несколько процессоров в одном компьютере.

Идея параллельной реализации алгоритма обратной трассировки, применяемой для генерации изображений, основана на том, что значения светимости отдельных пикселей могут вычисляться независимо. Экран адаптивно разделяется на несколько непересекающихся областей так, чтобы обеспечивалась равномерная загрузка процессоров. Каждый процессор выполняет трассировку для заданных областей, исполняя последовательную версию алгоритма. Завершенные фрагменты объединяются в итоговое изображение. Параллельная реализация прямой трассировки при расчете глобальной освещенности основана на том, что трассировка каждого луча может проводиться независимо.

алгоритмические, так и аппаратные) позволили довести время расчета освещенности для сложных сцен до десятков секунд, а в отдельных случаях - даже до нескольких секунд. Такие времена можно считать приемлемыми для Интернет-приложений, предоставляющих сервис по физически аккуратному моделированию освещенности.

Пятая глава посвящена задаче построения физически аккуратных изображений сцен, содержащих оптически сложные материалы, в режиме интерактивной 3D навигации на базе персональных компьютеров. На данном этапе обычные персональные компьютеры не могут обеспечить интерактивной скорости расчета освещенности. В то же время большинство из распространенных графических карт не поддерживают физически аккуратного моделирования освещенности.

Было решено использовать OpenGL в качестве базового уровня визуализации, а для расчета вторичной освещенности - квази- МонтеКарло метод, применявшийся ранее в других приложениях. Таким образом, созданная система является компромиссом между высоким качеством изображений, созданных методами физически аккуратного моделирования освещенности, и быстрой генерацией изображений аппаратными средствами графических акселераторов. Отличительной чертой системы является задание свойств материалов и источников света в физических величинах. Только на последней стадии при выводе изображения они перекодируются в OpenGL координаты.

В системе реализовано несколько режимов генерации изображения:

1) простой режим, где изображение генерируется с помощью закраски по Фонгу, аппаратно поддерживаемой через OpenGL;

2) режим вывода глобальной освещенности, где в качестве цветов вершин используются преобразованные физические значения глобальной освещенности, рассчитанные предварительно с помощью модуля физически аккуратного моделирования;

3) специальный режим, использующийся для быстрого моделирования естественного освещения солнечным светом.

Архитектура программного комплекса Fly, позволяющего генерировать реалистичные изображения в режиме 3D навигации, показана на рис. 8. Сцена хранится в иерархической структуре по объектам. Объектами этой структуры являются не только геометрические тела, но и описания оптически сложных материалов, а также описания источников света вместе с их гониодиаграммами. Такое полное описание сцены используется для моделирования освещенности, генерации высокореалистичных изображений трассировкой лучей и для быстрой генерации изображений с помощью OpenGL.

В реализованном программном комплексе Fly имеется два ядра для генерации изображений: генерация изображений методом обратной трассировки лучей (BRT – Backward Ray Tracing) и визуализация сцены через OpenGL. Каждое из этих ядер предъявляет свои требования к представлению сцены в памяти. Например, пространственное разбиение сцены необходимо для ускорения трассировки лучей, в то время как геометрические объекты могут быть заданы как полигональными сетками, так и замкнутыми объектами (сферами, цилиндрами и т.д.). Для визуализации сцены через OpenGL геометрия сцены должна быть Рис. 8. Архитектура системы генерации реалистичных изображений в представлена набором треугольников, а пространственное разбиение сцены не требуется. Поэтому описание сцены подготавливается (препроцес-сируется) специальным образом для каждого ядра визуализации. Такая схема с единым начальным представлением сцены и отдельными подготовленными представлениями для каждого ядра позволяет легко расширять методы визуализации, использующиеся в системе.

Освещение сцены солнечным светом является специальным режимом генерации изображения, используемым в архитектурном проектировании и градостроительстве. Следующие алгоритмы были реализованы для создания визуально достоверных и физически аккуратных изображений:

• генерация источников света, соответствующих солнцу и небесному освещению;

• генерация заднего плана, изображающего небо и солнце;

• генерация теней от солнца и текстур освещения, которые используются для визуализации теней.

Пользователь может задать естественное дневное освещение несколькими способами: можно выбрать географическое положение из списка городов, можно указать географические координаты (широта и долгота), после этого указывается дата и локальное время для генерации солнца и неба. Альтернативным методом является задание высоты солнца над горизонтом и ориентация его относительно сцены.

Реализованный программный комплекс Fly обеспечивает визуализацию оптически сложных материалов, заданных через двунаправленную функцию отражения (ДФО). ДФО может быть определена в наиболее общем, табличном виде. Визуализация в интерактивном режиме таких функций является непростой задачей, так как доступ к большим таблицам и интерполяция значений функции на направления, непредставленные в таблице, требуют существенных вычислительных затрат. Была использована оригинальная технология поточечного вычисления освещения поверхности с оптически сложным материалом, описываемым ДФО. Технология основывается на вычислении специальной текстуры, которая накладывается на объект с помощью аппаратных средств. Текстуры строятся для каждого источника света, а потом складываются и наносятся на объект с помощью аппаратных средств через OpenGL (reflection mapping).

Разработанный метод применим для визуализации ДФО при условии, что сцена освещена удаленными источниками света. Метод дает хорошие результаты при визуализации оптически сложных автомобильных красок (с металлическим эффектом и перламутровых).

«Идеальные» изображения красок, полученные трассировкой лучей, мало отличаются от изображений, полученных в режиме 3D навигации (рис. 9).

Рис. 9. Изображения оптически сложной автомобильной краски, освещенной пятью источниками света. Левый рисунок получен трассировкой лучей. Правый Вторичная освещенность рассчитывается модулем моделирования освещенности методом Монте-Карло. Моделирование вторичной освещенности не генерирует изображения, а строит карты освещенности всех поверхностей сцены. Карты освещенности хранятся в вершинах треугольников, что хорошо согласуется с интерфейсом OpenGL. Для уменьшения числа треугольников в сцене освещенность на плоских поверхностях преобразуется в текстуры освещенности. Для таких поверхностей используется максимально упрощенная геометрия.

В комплексе также реализованы алгоритмы, необходимые для изображения зеркальных поверхностей, возможности интерактивной навигации и интерактивного изменения геометрии сцены, назначения материалов и спецификации освещения сцены.

Тесты, а также примеры использования в практических приложениях, показали, что программный комплекс способен строить реалистичные изображения сцен с естественным освещением, визуализацией материалов, описываемых ДФО, вторичной освещенностью в режиме интерактивной 3D навигации. Результаты тестов, оценивающих производительность комплекса на сценах различной сложности, показаны в табл. 2. Тесты выполнены на обычном персональном компьютере (Pentium4 2,8 ГГц, 1 Гб оперативной памяти, графическая карта Radeon 9700 Pro). Значения приведены в количестве кадров в секунду.

Таблица 2. Скорость генерации изображений (к/c - число кадров в Разработанный программный комплекс показал себя мощным интерактивным средством реалистичной визуализации (3D browser), исследования и модификации трехмерных сцен, содержащих оптически сложные материалы.

Созданная технология расчета распространения света, рассмотренная в предыдущих главах, оказалась столь эффективной и точной, что позволила сделать следующий шаг и перейти к программному моделированию и инженерному проектированию сложных оптических светопроводящих систем и устройств, таких как осветительные системы жидкокристаллических (ЖК) дисплеев, приборные панели современных автомобилей, светодиодные системы, автомобильные фары и огни и др.

Вопросам создания алгоритмических и программных средств оптического моделирования, позволяющих решать подобные задачи, посвящена шестая глава.

Одним из самых распространенных и сложных в моделировании оптических устройств является осветительная система жидкокристаллического монитора. На рис. 10 показана структура конструкции системы подсветки и элементы, из которых она состоит. Свет, излучаемый люминисцентной лампой или светодиодами, отражается от рефлектора и поступает через входную грань в светопроводящую пластину (СПП) основной оптический элемент системы. В зависимости от конструкции СПП может быть прозрачной (состоять из акрила), либо содержать внутри своего объема светорассеивающие микрочастицы. Распространяясь внутри пластины, свет претерпевает рассеивание на микрочастицах и многократные полные внутренние отражения от ее поверхностей. Другие элементы устройства (диффузные и призменные слои, поляризационные фильтры) служат для усиления яркости и обеспечения ее равномерности на выходной поверхности монитора.

Рис. 10. Структура системы подсветки жидкокристаллического монитора Расчет подобных устройств сводится, в основном, к проектированию:

структуры микрогеометрии на нижней, рассеивающей, части СПП для получения пространственно равномерного распределения света над ее выходной (верхней) гранью, поскольку равномерная плотность распределения микроэлементов создает неравномерную освещенность экрана над поверхностью светопроводящей пластины, в частности, зоны вблизи источников света оказываются сильно засвеченными;

одного или нескольких призменных слоев (BEF – Brightness Enchancement Film) для концентрации и усиления светового потока на выходе жидкокристаллического экрана;

диффузного и/или поляризационного фильтра (DBEF – Dual Brightness Enchancement Film) для усиления яркости экрана.

В главе описываются разработанные программные средства для анализа и визуализации результатов моделирования оптической системы.

Основным инструментом при этом являются элементы наблюдения, представляющие собой виртуальные светочувствительные сенсоры (угловые и пространственные), которые, не оказывая влияния на распространение света в модели, регистрируют лучи в процессе их трассировки и накапливают распределение световой энергии в соответствии с заданными пользователем параметрами.

Система поддерживает различные графические формы отображения результатов, полученных при помощи элементов наблюдения. Для распределений яркости или освещенности поддерживаются отображения в виде диаграммы яркости (изображение светопроводящей пластины), графиков (для сечений по любому из двух направлений), изолиний с тоновой заливкой (изображение в псевдо цветах) (рис.16-17).

Другим механизмом отображения и анализа результатов моделирования, реализованным в системе, является визуализация распространения света в модели в виде траекторий множества лучей, которые отображаются в ходе трассировки. Изображаются только лучи, удовлетворяющие критериям выборочной визуализации, установленным пользователем. Примерами простых критериев являются следующие:

• лучи, проходящие (не проходящие) через указанную поверхность;

• лучи, зарегистрированные (не зарегистрированные) указанным элементом наблюдения;

• лучи, претерпевшие определенный тип оптического преобразования (зеркальное отражение, преломление, диффузное отражение или пропускание, поглощение, полное внутреннее отражение и т.д.);

• лучи, «забракованные» в ходе трассировки, т.е. лучи, которые признаны некорректными в контексте данной модели.

Визуализация лучей, с одной стороны, позволяет выявить и исправить ошибки, которые могли быть допущены в описании модели устройства, а с другой – подсказать проектировщику источник несоответствия модели критериям проектирования. Пример практического использования этого метода показан на рис. 11.

Рис. 11. Визуализация траекторий лучей в кластере светодиодов типа RGGB, Далее в главе рассмотрены механизмы описания и представления элементов моделируемых оптических систем. Общепринятые геометрические представления в виде множеств многоугольников или в виде сплайнов, применяемые в традиционных САПР, во многих случаях не удовлетворяют потребностям определения оптически сложных элементов, являющихся ключевыми компонентами систем подсветки.

Проблемы могут быть связаны либо с эффектами волновой природы света, которые необходимо учитывать при моделировании, либо с необходимостью поддерживать представление сложнейшей микрогеометрии, включающей десятки и сотни миллионов геометрически сложных элементов (выпуклостей, бороздок, ячеек). При этом должна обеспечиваться высокая эффективность представления сложных элементов как по объему необходимой памяти, так и с точки зрения вычислений, требуемых для трассировки лучей, проходящих через данные элементы.

Описываются три реализованных механизма расширения традиционной базы данных системы, ориентированных на потребности оптического моделирования:

процедурные представления оптических текстур и геометрии, при которых элементы задаются в процедурной (аналитической) форме с параметрами, посредством которых пользователь может интерактивно изменять форму геометрического объекта или «рисунок» текстуры;

встроенные модули для генерации различных типов поверхностей и текстур, используемых в проектировании систем подсветки.

Применение встроенных модулей заключается в том, что сначала средствами какой-либо САПР создается базовая часть геометрии, которая затем дополняется элементами, сгенерированными при помощи встроенных модулей;

и, наконец, оптические объекты, о которых речь пойдет ниже.

Все указанные механизмы могут совмещаться со стандартными средствами создания сцен при помощи сторонних САПР.

Генераторы элементов специального вида и генераторы процедурной геометрии значительно расширили класс задач оптического моделирования, решаемых при помощи разработанной системы оптического моделирования. Однако они в конечном счете создают традиционные представления поверхностей в виде треугольной сетки. Это значит, что количество микроэлементов в модели ограничивается величинами порядка 103 –105, в то время как в реальных оптических устройствах количество микроэлементов может достигать величин порядка 106 –109. Кроме того, такое представление не обеспечивает в должной мере эффективной трассировки лучей и, следовательно, замедляет процесс расчета таких систем. Так же, оно не решает проблемы описания других классов оптически сложных компонентов, таких как поляризационное рассеивание света в тонких пленках (фильтрах).

Для решения указанных проблем предложен и реализован механизм оптических элементов (ОЭ). ОЭ можно определить как объекты программно моделируемой оптической системы или устройства, которые позволяют использовать оптически более сложные модели распространения света, чем поддерживаемые в традиционных программных комплексах оптического моделирования.

Компонент модели, представленный в виде ОЭ, по программному интерфейсу совместим с трассировкой лучей методом Монте-Карло, используемой в базовой системе оптического моделирования. Благодаря унификации ОЭ могут использоваться с различными системами моделирования, действуя по отношению к ним как «черные ящики», работающие как излучатели, преобразователи и накопители световой энергии. Унификация же позволяет достаточно легко расширять семейство оптических объектов – все, что требуется при разработке нового класса ОЭ, – следование общим правилам их реализации и поддержка стандартных внешних интерфейсов.

Рис. 12 иллюстрирует концепцию оптического элемента. В данном случае микрогеометрия (в виде ОЭ) расположена на нижней грани светопроводящей пластины и служит для рассеивания и вывода света из нее. Получая на вход луч, этот объект должен обрабатывать его и выдавать на выход преобразованный луч. ОЭ имеет форму параллелепипеда и располагается вплотную к поверхности СПП.

Рис. 12. Иллюстрация механизма функционирования оптического элемента.

Основными требованиями к ОЭ и их программному интерфейсу как к элементам систем оптического моделирования являются следующие:

• высокая производительность и точность оптического моделирования;

• независимость ОЭ от моделируемой оптической системы или устройства и от системы оптического моделирования, которая его использует;

• Объектно-ориентированная организация ОЭ - ОЭ предоставляет оптической системе только интерфейс своих базовых классов;

• возможность работы ОЭ в параллельных и распределенных вычислениях.

Поскольку ОЭ являются внешними объектами по отношению к системе оптического моделирования, интерфейс их взаимодействия с этой системой реализован максимально унифицированным и абстрактным. То есть ОЭ ничего не знают о программе, которая их вызывает, а сама программа должна обращаться к ОЭ посредствам фиксированного набора запросов. Пример такого взаимодействия для случая трассировки луча внутри светопроводящей пластины, содержащей ОЭ поверхностного рассеяния, показан на рис. 13.

В качестве программного языка реализации ОЭ использовался язык С++, который с одной стороны обеспечивает высокую эффективность в вычислительных приложениях, а с другой – является объектноориентированным языком, что упрощает объектно-ориентированную реализацию ОЭ. Кроме того, большинство систем оптического моделирования также используют язык С++, что упрощает интеграцию ОЭ в данные системы.

Преимущества абстрактного интерфейса ОЭ и его пассивность проявляются при его интеграции в среду систем оптического моделирования. Интерфейс ОЭ предполагает два основных типа взаимодействия. Это преобразование света ОЭ, т.е. собственно оптическое моделирование, и формирование ОЭ и его привязка к внешней оптической системе.

В оптическом моделировании используется лучевой интерфейс взаимодействия, основанный на трассировке лучей методом Монте-Карло.

Поскольку разные системы оптического моделирования применяют различные модификации метода Монте-Карло, для интерфейса ОЭ была выбрана наиболее универсальная модель – «русская рулетка».

Для обеспечения лучевого интерфейса было разработано два основных метода, которые позволяют произвести интеграцию ОЭ в системы оптического моделирования, использующие трассировку лучей методом Монте-Карло:

• Поиск пересечения луча с границей ОЭ, т.е. определение, с каким объектом оптической системы пересекается луч, испущенный внешним трассировщиком, - базовым элементом моделируемого оптического устройства или ОЭ.

• Преобразование луча самим ОЭ в случае, когда пересечение луча с границей ОЭ найдено. Для преобразования луча могут использоваться любые решения – от лучевых до волновых. Важно, чтобы на входе в ОЭ был всегда один луч, а на выходе – либо луч, либо событие поглощения.

Для формирования объекта ОЭ был разработан специальный интерфейс описания ОЭ, который приводится в главе. С точки зрения представления данных ОЭ представляет собой описатель, управляемый набором внешних параметров и содержащий всю информацию, необходимую для его создания и автономного функционирования.

Концепция ОЭ была применена на практике в разработанном программном комплексе SPECTER, что позволило расширить его элементную базу различными типами микрорассеивающих элементов и существенно повысить точность и скорость моделирования.

Этот комплекс позволяет рассчитывать не только системы подсветки жидкокристаллических мониторов, но и другие осветительные системы, такие как фары и фонари автомобилей, светодиоды и др. На рис.

14 приведен пример использования программного комплекса для анализа результатов моделирования осветительных приборов автомобиля. В данном случае контролировалась равномерность распределения интенсивности светового потока, а также привлекательность внешнего вида самой фары. Результаты компьютерного моделирования с хорошей точностью совпали с измеренным световым потоком реального устройства.

Рис. 14: а) Визуализация компьютерной модели автомобильной фары в дневных условиях при естественном солнечном освещении.

б) Результат физически аккуратного моделирования значений яркости света на объектах, освещенных спроектированной фарой.

В седьмой главе рассмотрены основные типы оптических элементов, разработанных и интегрированных в созданный комплекс оптического моделирования. Это ОЭ поверхностного рассеяния, ОЭ объемного рассеяния и ОЭ поляризационного рассеяния. Интеграция была осуществлена в модуль трассировки лучей. Все три типа ОЭ загружаются, присоединяются к оптической системе и преобразуют лучи единообразно, так что система не отличает один ОЭ от другого.

Светорассеивающая микроструктура – это набор геометрических микро элементов, нанесенных на поверхность оптической системы. Как правило, микроэлементы используются в светопроводящих пластинах (для вывода света из пластины) и как рассеивающие элементы пленок (для создания необходимой гониометрической диаграммы излучения).

Алгоритм распространения луча света в ОЭ поверхностного рассеяния, описанный в главе, сводится к трем основным операциям:

• распространение луча света в среде ОЭ;

• поиск пересечения луча с поверхностями ОЭ;

• преобразование луча на поверхностях ОЭ.

Эти операции однотипны для любого ОЭ с поверхностным рассеиванием. Основная специфика лежит в описании моделей элементов микрогеометрии и их распределения.

Поддерживаются два типа светорассеивающих микроструктур:

статистические и регулярные.

Нерегулярное (статистическое) описание формы поверхности применяется к поверхностям с нерегулярной микрогеометрией, чьи характеристики (диаграмма рассеивания) одинаковы по всей поверхности, или, по крайней мере, в некоторой ее локальной зоне (рис. 15).

Рис. 15. Типы светорассеивающих Рис. 14. Сверху - примеры микроструктур: слева - два уровня построения форм микроэлементов представления поверхности со с помощью логических операций.

статистическим описанием формы (с Внизу – построение распределений «шероховатой» фактурой); справа – микрогеометрических элементов примеры регулярных микроструктур. путем комбинирования форм Микроструктуры данного типа определяют локальный рельеф поверхности и имеют две формы представления – явное, задаваемое распределением высот рельефа на регулярной сетке, и неявное, задаваемое распределением нормалей микрограней рельефа. В соответствии с векторами ориентации и нормали к поверхности микрорельеф, определенный в локальной зоне, распределяется по всей поверхности, к которой присоединен данный ОЭ. При реальном моделировании чаще всего используется явное распределение высот микрорельефа поверхности, измеряемое 3D сканерами в малой, но достаточно представительной зоне образца. Разработанный алгоритм трассировки лучей позволяет производить эффективное моделирование такого типа шероховатых поверхностей, представленных сотнями миллионов точек микропрофиля.

В регулярных микроструктурах форма, положение и ориентация каждого микроэлемента строго определены по всей рассеивающей поверхности. К этому типу объектов относятся поверхности с призменным слоем (микробороздки) или микроэлементами произвольной формы, которые могут быть распределены по поверхности некоторым регулярным или случайным образом (рис. 15). Фиксированное описание формы микрорассеивающих элементов, как правило, применяется к элементам оптических систем, которые осуществляют строго определенное преобразование падающего света, например, построение изображения в растровых системах или неравномерное отражение в случае систем подсветки жидкокристаллических мониторов. Количество микроэлементов на поверхности светопроводящей пластины может составлять десятки и сотни миллионов. Поэтому были разработаны решения, позволяющие формировать на поверхности ОЭ распределения практически неограниченной сложности.

Задание регулярных микроструктур сводится, в основном, к описанию форм микроэлементов, из которых состоит микроструктура, и распределению этих форм по поверхности ОЭ. Формы микроэлементов строятся с помощью логических операций над базовыми формами, такими как плоскость, параллелепипед, различного рода пирамиды и цилиндры, эллипсоид, тор, треугольная сетка и др. Таким образом можно построить практически произвольную форму микроэлемента (рис. 16). Формы примитивов также могут быть подготовлены с использованием сторонних САПР и импортированы через форматы IGES, STEP, DXF и др. Анализ распределений элементов микрогеометрии, используемых в реальных системах подсветки жидкокристаллических дисплеев, выявил шесть основных типов распределений, которые и были реализованы для ОЭ с поверхностным рассеиванием. Каждый способ имеет преимущества для своего круга задач. Примеры распределений микроэлементов разных типов показаны на рис. 16.

ОЭ объемного рассеяния позволяют моделировать рассеяние света не на поверхности, а внутри материала, который представляет собой некоторую субстанцию, в которой находятся микрочастицы. Свет, проходящий через подобный материал, подвергается спонтанному рассеянию на этих частицах.

Поддерживаются две модели объемного рассеяния. Первая описывает рассеяние света в изотропной среде, содержащей однородные сферические частицы, определяемые параметрами – радиусом, коэффициентом преломления (где мнимая часть задает коэффициент поглощения), концентрацией. В другой пользователь явно задает функцию рассеяния света для отдельной частицы (фазовую функцию), а также объем частицы и размер сечений для функций рассеяния и поглощения. Для обеих моделей поддерживается возможность задавать смеси из неограниченного числа разновидностей частиц, имеющих различные значения параметров, заданных в той или иной модели.

Как и любой ОЭ, тело, содержащее материал с объемным рассеиванием, должно удовлетворять двум основным методам ОЭ. Это нахождение пересечения луча с границей ОЭ и преобразование луча внутри ОЭ. Описанный в главе алгоритм распространения света в рассеивающей среде внутри ОЭ базируется на гибридном решении, т.е. на комбинации лучевой модели распространения света в изотропной среде между частицами и волновой модели рассеивания света на частицах. В этом случае к лучу применяется пять основных операций:

• Преобразование луча на границе ОЭ объемного рассеивания.

• Поиск пересечения луча с границей ОЭ объемного рассеивания.

• Определение дистанции прямолинейного распространения света в ОЭ (т.е. прямолинейной траектории «луча» от частицы до частицы).

• Прямолинейное распространение (перенос) «луча» на дистанцию прямолинейного распространения (определяемую параметрами рассеивающей среды).

• Рассеивание света на частицах.

Все «случайные» компоненты «волновой» части алгоритма основываются на методе «русской рулетки» – энергия луча всегда постоянная и никаких разделений «лучей» при рассеивании света на частицах не происходит. Поэтому данное решение полностью согласуется с базовым интерфейсом ОЭ.

Описываемые далее ОЭ поляризационного рассеяния позволяют моделировать сложные поляризационные фильтры (DBEF), определяемые двунаправленными функциями рассеяния (ДФР). Подобного рода материалы активно применяются в производстве современных жидкокристаллических мониторов.

На базе комплекса SPECTER с интегрированными моделями ОЭ было проведено большое количество расчетов реальных оптических систем и устройств, в основном, осветительных систем ЖК мониторов.

Некоторые из таких расчетов приведены в диссертации. На рис. показана система подсветки реального ЖК монитора. На рис. приведены результаты моделирования с целью достижения равномерной яркости экрана. Слева показаны распределения яркости экрана при постоянном размере микроэлементов (всего их 8,5 млн.), справа – после окончания итерационного процесса проектирования путем изменения распределения размера микроэлементов (рис. 17-в). Видно, что в результате получено распределение (правый нижний рисунок на рис. 18), обеспечивающее равномерный выход светового потока из осветительной системы ЖК монитора.

Рассмотрен также пример расчета методом трассировки лучей осветительного элемента, состоящего из кластера из четырех светодиодов типа RGGB, помещенных в среду с объемным рассеянием. На рис. 11 уже демонстрировалась визуализация траекторий лучей в этом случае. На рис.

19 показаны результаты моделирования - распределения яркости (в виде Рис. 17. Осветительная система жидкокристаллического монитора:

а-б) изображение и схематичное представление моделируемой системы;

в) форма микроэлемента, где размер a1- изменяемый параметр.

Рис. 18. Распределения яркости поверхности экрана и распределения микроэлементов на нижней грани светопроводящей пластины до и после процесса изображений соответствующих элементов наблюдения и графиков для сечений) над выходной стороной кластера.

В главе приведен сравнительный анализ реализованного решения с ОЭ с функционально аналогичными решениями, используемыми в существующих в мире коммерческих системах оптического моделирования, таких как LighTools, SPEOS, ASAP, TracePro. В частности отмечается, что предлагаемое решение превосходит лучшие из них по ряду ключевых показателей: скорости моделирования не менее чем в 2, раза, количеству поддерживаемых элементов микрогеометрии – в 5 раз и Рис. 19. Распределения яркости над выходной стороной кластера светодиодов для случаев: а) прозрачной среды без объемного рассеяния, б) среды с объемным рассеянием, в) среды с объемным рассеянием и вдвое большим размером рассеивающих частиц.

т.д. Решение с ОЭ обеспечивает также большую гибкость в описании форм рассеивающих микроэлементов и сред и более высокую точность моделирования.

В заключении сформулированы основные результаты работы.

Основные результаты работы состоят в следующем:

1. Разработана эффективная технология физически аккуратного моделирования распространения света, построенная на основе двунаправленной трассировки лучей с использованием методов МонтеКарло. Технология позволяет, используя единый механизм и алгоритмическую базу, решать широкий класс задач компьютерной графики и оптики: синтезировать изображения фотореалистичного качества, вычислять и анализировать освещенности, моделировать и проектировать сложные оптические системы и устройства.

2. На основе созданной технологии разработаны алгоритмические и программные средства моделирования сложных оптических систем и устройств. Предложен оригинальный подход выделения оптических элементов, позволяющий более эффективно и точно решать задачи проектирования светопроводящих систем, построенных на основе микроструктурных и объемных рассеивающих объектов.

3. На основе созданной технологии и алгоритмов расчета распространения света реализованы программные комплексы синтеза фотореалистичных изображений и моделирования сложных оптических светопроводящих систем. Комплексы находят широкое применение в нашей стране и за рубежом.

Публикации по теме диссертации 1. Баяковский Ю.М., Галактионов В.А., Михайлова Т.Н. Графор.

Графическое расширение фортрана // М.: Наука, 1985.

2. Галактионов В.А., Барладян Б.Х., Зуева Е.Ю., Кугушев Е.И.

Параметрические модели трехмерных объектов и их использование для реконструкции сцен // Открытые системы, №5, 1995, с.13-16.

3. B.Kh.Barladyan, E.Yu.Zueva, V.A.Galaktionov, A.Yu.Kargashin, E.I.Kugushev, E.L.Starostin Computer Modeling of Real Scenes and Objects Based on Their Photographs // Pattern Recognition and Image Analysis, vol.8, No.2, 1998, pp.162-163.

4. Bayakovsky Yu.M., Galaktionov V.A. 50th anniversary of the Keldysh Institute for Applied Mathematics (KIAM). 40 years of Computer Graphics in KIAM // Proc. 13th International Conference on Computer Graphics and Vision GraphiCon-2003, Russia, Moscow, September 5 p. 8-9.

5. Баяковский Ю.М., Галактионов В.А. О некоторых фундаментальных проблемах компьютерной (машинной) графики // "Информационные технологии и вычислительные системы", № 4, 2004, с. 3-24.

6. Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А.

Контекстная визуализация пространственных данных // "Информационные технологии и вычислительные системы", № 4, 2004, с. 25-34.

7. Ignatenko A., Barladian B., Dmitriev K., Ershov S., Galaktionov V., Valiev I., Voloboy A. A Real-Time 3D Rendering System with BRDF Materials and Natural Lighting // Proc. 14th International Conference on Computer Graphics and Vision - GraphiCon-2004, Russia, Moscow, Sept. 6 -10, 2004, p. 159-162.

8. Барладян Б.Х., Волобой А.Г., Галактионов В.А., Копылов Э.А.

Эффективный оператор сжатия динамического диапазона яркостей // "Программирование", № 5, 2004, с. 35-42.

9. Волобой А.Г., Галактионов В.А., Дмитриев К.А., Копылов Э.А.

Двунаправленная трассировка лучей для интегрирования освещенности методом квази- Монте Карло // "Программирование", № 5, 2004, с. 25-34.

10. Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий / Препринт ИПМ им. М.В. Келдыша РАН, № 57, 2004.

11. Васильев В.Р., Волобой А.Г., Вьюкова Н.И., Галактионов В.А.

Контекстная визуализация пространственных данных / Препринт ИПМ им. М.В. Келдыша РАН, № 56, 2004.

12. Баяковский Ю.М., Галактионов В.А. Современные проблемы компьютерной (машинной) графики / Сб. "Будущее прикладной математики". - М.: Едиториал УРСС, 2005, с. 445-473.

13. Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Интернет сервис для моделирования освещенности и синтеза реалистичных изображений // Труды 15-й международной конференции по компьютерной графике и ее приложениям Графикон-2005, Новосибирск, июнь 20-24, 2005, с. 332-338.

14. Галактионов В.А., Волобой А.Г. Методы машинной графики в автоматизированном проектировании // Труды 5-ой международной конференции "Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDM-2005)", Москва, октябрь 25-27, 2005.

15. Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования / Препринт ИПМ им. М.В.

Келдыша РАН, № 104, 2005. - 24 с.

16. Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Ершов С.В., Летунов А.А., Потемин И.С. Аппаратно-программный комплекс для измерения светорассеивающих свойств поверхностей / Препринт ИПМ им. М.В. Келдыша РАН, № 108, 2005. - 31 с.

17. Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро Л.З.

Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном / Препринт ИПМ им. М.В. Келдыша РАН, № 111, 2005. - 35 с.

18. Барладян Б.Х., Волобой А.Г., Вьюкова Н.И., Галактионов В.А., Дерябин Н.Б. Моделирование освещенности и синтез фотореалистичных изображений с использованием Интернет технологий // "Программирование", № 5, 2005, с. 66-80.

19. Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования // "Информационные технологии в проектировании и производстве", № 1, 2006, с. 64-73.

20. А.Г. Волобой, В.А. Галактионов, Э.А. Копылов, Л.З. Шапиро Расчет солнечного освещения, заданного изображением с большим динамическим диапазоном // Труды 16-й международной конференции по компьютерной графике и ее приложениям Графикон-2006, Россия, Новосибирск, июль 1-5, 2006, с. 467-472.

21. А.Г.Волобой, В.А.Галактионов, С.В.Ершов, Д.Д.Жданов Оптические элементы как средство расширения функциональности программ оптического моделирования // Труды 16-й международной конференции по компьютерной графике и ее приложениям Графикон-2006, Россия, Новосибирск, июль 1-5, 2006, с. 182-191.

22. Барладян Б.Х., Волобой А.Г., Галактионов В.А., Шапиро Л.З.

Интеграция программных комплексов моделирования освещенности в системы автоматизированного проектирования и производства // Труды 6-й международной конференции "Системы проектирования, технологической подготовки производства и управления этапами жизненного цикла промышленного продукта (CAD/CAM/PDMМосква, ИПУ РАН, октябрь 24-26, 2006.

23. Волобой А.Г., Галактионов В.А., Жданов Д.Д. Технология оптических элементов в компьютерном моделировании оптикоэлектронных приборов // "Информационные технологии в проектировании и производстве", № 3, 2006, с. 46-56.

24. Волобой А.Г., Галактионов В.А., Копылов Э.А., Шапиро Л.З.

Моделирование естественного дневного освещения, задаваемого изображением с большим динамическим диапазоном // "Программирование", № 5, 2006, с.62-80.