«Новые информационные технологии в автоматизированных системах Материалы шестнадцатого научно-практического семинара Москва 2013 УДК 621.38 ББК 32.81 Н - 76 Н - 76 Новые информационные технологии в автоматизированных ...»

Московский институт электроники и математики

национального исследовательского университета

«Высшая школа экономики»

Институт прикладной математики им. М.В. Келдыша РАН

Московский государственный технический университет им. Н.Э. Баумана

Новые информационные технологии

в автоматизированных системах

Материалы шестнадцатого научно-практического семинара

Москва 2013 УДК 621.38 ББК 32.81 Н - 76 Н - 76 Новые информационные технологии в автоматизированных системах:

материалы шестнадцатого научно-практического семинара. – Моск. Ин-т электроники и математики национального исследовательского университета «Высшая школа экономики». М., 2013, 332 с.

ISBN 978-5-94506-335-8 ISSN 2227-0973 Содержит материалы, представленные к рассмотрению на научно-практический семинар “Новые информационные технологии в автоматизированных системах”.

Представляет интерес для научных сотрудников, преподавателей, аспирантов и студентов, работающих по указанным научным направлениям.

ISBN 978-5-94506-335-8 УДК 621. ББК 32. © Институт прикладной математики им. М.В. Келдыша РАН, -2Компьютерная графика»

Программная система для анализа и оптимизации вычислительных свойств гибридных разностных схем Burgers А.Е. Бондарев*, А.В. Бондаренко**, В.А. Галактионов*, Т.Н.Михайлова*, И.Г. Рыжова* *Институт прикладной математики им. М.В. Келдыша РАН, Россия, Москва **ФГУП ГосНИИАС, Россия, Москва e-mail: [email protected]; [email protected] 1. Введение Данная работа посвящена описанию разработанного инструментального сервисного программного средства Burgers2 (ИСПС Burgers2), предназначенного для проведения оптимизационной настройки и отладки гибридных разностных схем.

Данное программное средство реализовано на основе сочетания решения оптимизационной задачи и визуального представления результатов. Приведены примеры тестовых расчетов с иллюстрациями.

Инструментальное сервисное программное средство Burgers2 основано на численном решении уравнения Бюргерса и использовании его характерных свойств.

Уравнение Бюргерса является модельным уравнением, описывающим распространение возмущений в диссипативной среде. Его принято рассматривать как одномерный аналог уравнений Навье-Стокса. Уравнение Бюргерса применяется в различных областях от вычислительной математики и вычислительной физики до экономических и социальных задач, то есть всюду, где необходимо моделировать распространение возмущений в среде с диссипацией.

Характерной особенностью уравнения Бюргерса является наличие точного решения, выражаемого аналитически. Это делает его идеальным объектом для настройки и отладки вычислительных инструментов – численных методов, разностных схем. Подход настройки с помощью уравнения Бюргерса вычислительных свойств разностных схем был предложен в работах [1-3], где рассматривалось влияние счетной вязкости разностных схем на расчет области высоких градиентов в нестационарных задачах. Идеология подхода, использованного в [1-3], реализована вычислительно и программно в данной работе.

2. Уравнение Бюргерса и гибридные разностные схемы Рассмотрим краевую задачу, основанную на применении линейного уравнения Бюргерса, представленного в следующем виде:

f f 2 f + = + f (x,t) (1) t x x Начальные и граничные условия представляются в виде:

f ( x, t ) = y( x, t ) (2) 0 f (0, t ) = y( 0, t ), f (1, t ) = y(1, t ), (3) где y( x, t ) - точное решение, описывающее функцию типа бегущей волны.

Точное решение y( x, t ) имеет вид Величины t * и d характеризуют ширину и крутизну волны и являются параметрами задачи. Внешний вид точного решения (4) (бегущей волны) представлен на рисунке 1. Решение представлено на момент времени t = 0.6, что соответствует положению волны на середине отрезка x [0,1].

Рис. 1. Точное решение уравнения Бюргерса на момент времени Функция f ( x, t ) в правой части уравнения (1) является выражением следующего вида:

Наличие точного решения позволяет использовать уравнение Бюргерса для построения на его основе программного средства для настройки и отладки вычислительных свойств разностных схем, подобно [1-3].

Для этих целей вычисляется функция K ( x, t ), представляющая собой модуль процента абсолютной ошибки:

где f ( x, t ) - результат расчета, y( x, t ) - точное решение.

Далее ищется K абсолютной ошибки во всем диапазоне изменения аргументов функции. Анализ поведения функции K ( x, t ) и значения K позволяет судить о вычислительных свойствах рассматриваемой конкретной конечно-разностной схемы, подобно [1-3].

Рассматриваемые в применяемом подходе разностные схемы относятся к классу гибридных разностных схем. Гибридные разностные схемы – это схемы, соединяющие вычислительные свойства различных разностных схем. Подробное описание и классификация различных типов гибридных разностных схем приведены в обзорной работе [4].

Согласно [4], в простейшем случае гибридную схему можно записать как комбинацию:

различными интересующими исследователя свойствами. Например, G1 – схема первого порядка точности, а G2 – второго порядка и т.п. Большинство применяемых для решения практических задач разностных схем являются гибридными. Согласно [4], к гибридным схемам относятся такие широко известные алгоритмы, как FCT (flux corrected transport), различные типы TVD (total variation diminishing) разностных схем, схемы типа ENO (essentially non-oscillatory) и WENO (weighted essentially nonи многие другие. Использование гибридных схем позволяет oscillatory) исследователю объединять различные разностные схемы в комбинацию, используя наилучшие свойства каждой из них. В то же время, осуществляя подобное объединение, необходимо иметь достаточно четкое представление о свойствах и ограничениях коэффициентов гибридности (весовых коэффициентов) для того, чтобы используемые свойства разностных схем соответствовали физической и математической моделям рассматриваемой задачи.

3. Постановка и решение оптимизационной задачи Рассмотрим применение подхода [1-3] к конкретному варианту построения гибридной разностной схемы. В качестве гибридной разностной схемы использовалась гибридная разностная схема [3], где в качестве G1 в выражении (6) используется схема Крэнка-Никольсона, а в качестве G2 - схема Лакса.

Рассмотрим подробно построение разностной схемы [3] в применении к уравнению Бюргерса, записанному в общей форме:

Введем обозначения конечно-разностных операторов для аппроксимации пространственных переменных как С помощью операторов (8) конечно-разностная схема (WW-схема), предложенная в [3], может быть записана для уравнения (7) с помощью весовых параметров S1 и S2 следующим образом:

где t, x - шаги по времени и пространственной переменной.

Нетрудно заметить, что при выборе S1 ]0;1[, S2 = 0.5 разностная схема (9) является линейной комбинацией схемы Крэнка-Никольсона, обладающей вторым порядком точности по времени и пространству, и схемы Лакса, обладающей существенной искусственной вязкостью. Представив весовой параметр S1 в виде S1 = 1 Sk t, можно записать добавочный член с искусственной вязкостью как устойчивую гибридную схему второго порядка по времени и пространству, обладающую искусственной вязкостью, позволяющей устранять нефизические осцилляции вблизи разрывов. Управление искусственной вязкостью осуществляется путем выбора весов. Несомненным достоинством данной разностной схемы является то обстоятельство, что искусственной вязкостью можно управлять, непосредственно задавая соответствующее значение весового коэффициента Sk.

Данная разностная схема успешно использовалась для решения широкого круга модельных и практических задач вычислительной аэрогазодинамики. Основное достоинство схемы (9) – возможность объединения свойств схемы КрэнкаНикольсона и схемы Лакса.

Схема Крэнка-Никольсона обладает вторым порядком аппроксимации по времени и пространству, обеспечивая тем самым повышенную точность, но, в то же время, порождает нежелательные осцилляции в области высоких градиентов, уничтожая решение. Схема Лакса имеет первый порядок аппроксимации по времени, «размазывая» решение в области высоких градиентов, но обладает свойством подавлять нежелательные осцилляции.

Целью данного исследования является нахождение таких значений весовых параметров, которые обеспечивали бы достижение повышенной точности (минимальная ошибка), но не допускали бы возникновения осцилляций. Таким образом, уже в постановке задачи заложен конфликт целевых функций.

Для реализации этой цели нужно решать оптимизационную задачу и, следовательно, провести формальную постановку многокритериальной многопараметрической задачи оптимизации, согласно [5].

Оптимизационная задача в данном случае формулируется как поиск следующих величин:

Здесь N - количество знакоперемен второй производной. Этот параметр определяет возникновение нежелательных осцилляций. При их возникновении он начинает неконтролируемо расти. Используя это свойство, в процессе решения данный параметр постоянно сравнивается с некоторым эталоном гладкости решения, определяемым пользователем программы с помощью задания значения параметра N.

Данная оптимизационная задача решается с помощью применения простого в реализации сеточного метода [5]. Суть этого простого и эффективного метода заключается в сеточном разбиении определяющих параметров оптимизационной задачи (аргументов целевой функции) и вычислении значений целевой функции в каждой точке полученной сетки. Наименьшее из этих значений приближенно принимается за минимум функции во всей области. Ранее традиционно считалось, что для задач большой размерности данный метод непригоден из-за больших вычислительных затрат. Однако современные вычислительные средства позволяют применять его успешно и эффективно, а применение параллельных вычислений позволяет ускорять процессы расчетов на порядки даже при самой безыскусной параллелизации. Это обстоятельство делает самые неприхотливые и простые методы надежность создают им в этом случае значительные преимущества.

Для рассматриваемой задачи сеточное разбиение проводится в диапазонах [, ], S [0,1]. Для каждой точки сетки вычисляется максимальная ошибка. Каждая точка проверяется на возможное появление осцилляций с помощью блока-анализатора. Если осцилляции возникают, то эти точки отбрасываются, путем задания в них заведомо большой отрицательной величины. Как результат, мы получаем поверхность K (, S ). С помощью полученной поверхности определяется нужный нам минимум. Сама поверхность представляется визуально в целях контроля решения и наглядности.

4. Программная реализация и примеры расчетов Построение программной реализации описанных в предыдущих разделах алгоритмов проводится по модульному принципу. Общая структура построения приведена в схеме, представленной на рисунке 2.

Сначала в соответствующем модуле задаются входные параметры оптимизационной задачи и, таким образом, проводится сеточное разбиение определяющих параметров. В качестве входных параметров служат: nt – число точек по x, anuin – значение, anufin– значение 2, m – число точек разбиения отрезка [, ], ski – значение Sk, skf – значение Sk2, n - число точек разбиения отрезка [ Sk, Sk ], а также величины tz и d – соответствующие параметрам t * и d, описывающим бегущую волну в точном решении.

Задание сеточного шаблона проводится в отдельном программном модуле. Это сделано для того, чтобы повысить гибкость программного средства, т.к. построение гибридной схемы может проводиться не только по простейшему принципу (6), но и с использованием более сложной линейной комбинации.

Реализация конечно-разностной схемы предусмотрена в соответствующем модуле, как для явных, так и для неявных схем. Неявные схемы реализуются с помощью скалярной прогонки.

(, S ) проводится решение уравнения Бюргерса с помощью рассматриваемой разностной схемы. Решение проверяется на наличие нежелательных и неконтролируемых осцилляций. Проводится сравнение с точным решением и вычисляется значение K. Таким образом формируется искомый массив результатов K массива.

Вывод данных осуществляется на экран и в текстовый файл (по умолчанию С:\res1.txt). Для каждого значения в строке приведено значение минимальной ошибки и соответствующее значение Sk. Отрицательное значение минимальной ошибки свидетельствует о наличии нежелательных осцилляций. Пример такой записи отражен ниже:

nu= 1.000000E-03 minerr= 2.761018 sk= 8.000001E- nu= 2.000000E-03 minerr= 1.280981 sk= 3.000000E- nu= 3.000000E-03 minerr= 4.440367E-01 sk= 1.000000E- nu= 4.000000E-03 minerr= -1.000000 sk= 9.000001E- nu= 5.000000E-03 minerr= 5.271882E-01 sk= 1.000000E- nu= 6.000000E-03 minerr= 7.957876E-01 sk= 1.000000E- nu= 7.000000E-03 minerr= 1.002550 sk= 1.000000E- nu= 8.000000E-03 minerr= 1.165241 sk= 1.000000E- nu= 9.000001E-03 minerr= 1.295036 sk= 1.000000E- nu= 1.000000E-02 minerr= 1.401329 sk= 1.000000E- В программе предусмотрена запись данных в виде массива, предназначенного для визуального представления с помощью программы TecPlot. По умолчанию запись производится в С:\result.txt.

С помощью разработанного инструментального программного средства был проведен ряд расчетов для различных разностных схем и шаблонов. Ниже приведены два характерных примера результатов подобных расчетов.

В первом примере использовался сеточный шаблон (9) с выбором весовых коэффициентов S1 ]0;1[, S2 = 0.5, обеспечивающий гибрид схем Лакса и КрэнкаНикольсона. На рисунке 3 приведен вид поверхности абсолютной ошибки. Область отрицательных данных отмечает места появления осцилляций.

С помощью полученных данных для любого значения легко подобрать значение весового коэффициента S, обеспечивающее минимальную ошибку, а, следовательно, максимальную точность рассматриваемой гибридной разностной схемы.

Второй пример рассматривает также шаблон (9) при выборе весовых коэффициентов S1 ]0;1[, S2 = 1. Такой выбор весовых коэффициентов подразумевает отказ от использования второго порядка аппроксимации для пространственной переменной и переход к схеме первого порядка. Вид поверхности абсолютной ошибки приведен на рисунке 4.

Рис. 4. Поверхность абсолютной ошибки при выборе весовых коэффициентов Данный рисунок дает точное представление об изменении поведения абсолютной ошибки при переходе к разностной схеме первого порядка аппроксимации по пространственной переменной. Меняется структура поверхности, значение ошибки резко увеличивается во всем поле определяющих параметров.

Программа Burgers2 реализована на языке Fortran90 на основе системы Microsoft Fortran Power Station 4.0. Данная версия является прототипной и разработана для реализации алгоритма. В дальнейшем данная версия нуждается в создании интерфейса, удобного для конечного пользователя и обеспечивающего:

- удобную организацию ввода-вывода данных;

- сопряжение с внешними устройствами;

- сопряжение с системами визуализации.

Также следует заметить, что решение рассматриваемой оптимизационной задачи реализовано в данной программе с помощью последовательного алгоритма. Однако здесь возможна организация надстройки для проведения параллельных вычислений для наборов определяющих параметров вместо цикла по точкам сетки. Подобный подход к решению оптимизационной задачи был предложен и опробован в работе [6].

Разработано инструментальное сервисное программное средство Burgers (ИСПС Burgers2), предназначенное для проведения оптимизационной настройки и отладки гибридных разностных схем. Программное средство позволяет отлаживать вычислительные свойства гибридных разностных схем на модельном уравнении Бюргерса, описывающем распространение возмущений в диссипативной среде.

Основой алгоритма является сочетание решения оптимизационной задачи и визуального представления результатов. Данное программное средство может служить инструментом отладки и настройки вычислительных свойств разностных схем, а также использоваться для образовательных целей. Разработанная версия программы является прототипом, в дальнейшем предполагается создание интерфейса для удобства конечного пользователя и разработка данного программного средства в варианте, предназначенном для проведения параллельных расчетов.

Литература [1] Русаков С.В. Влияние счетной вязкости некоторых разностных схем на расчет области высоких градиентов в нестационарных задачах / Численные методы в аэродинамике:сб.трудов. М:.Изд.МГУ. 1980. вып.4. С.58-67.

[2] Русаков С.В. О некотором классе схем повышенного порядка точности по пространственным переменным / Численные методы в аэродинамике:сб.трудов.

М:.Изд.МГУ. 1980. вып.5. С.3-13.

[3] Бондарев А.Е. Численное решение уравнения Бюргерса в области высоких градиентов // Препринты ИПМ им.М.В.Келдыша. 1990. № 12. 13 с.

[4] Куликовский А.Г., Погорелов Н.В., Семенов А.Ю. Математические вопросы численного решения гиперболических систем уравнений. М.: Физматлит, 2001, 608 с.

[5] Штойер Р. Многокритериальная оптимизация. Теория, вычисления и приложения. М.: Радио и связь. 1992. 504 с.

[6] Бондарев А.Е. Решение задачи оптимизационного анализа с помощью параллельных вычислений // Новые информационные технологии в автоматизированных системах: материалы пятнадцатого научно-практического семинара. М.:МГИЭМ. 2012. С. 89-93.

Институт прикладной математики им. М.В.Келдыша РАН, Москва Аннотация: Рассмотрены два подхода к интеграции системы синтеза реалистичных изображений и оптического моделирования в системы автоматизированного проектирования. Предложен подход, обеспечивающий частичную автоматизацию этой интеграции. Рассмотрены детали интеграции системы Inspirer2 в систему автоматизированного проектирования CATIA Ключевые слова: автоматизация проектирования, реалистичные изображения, оптическое моделирование.

1. Введение Системы оптического моделирования, основанные на физически аккуратном (корректном) моделировании распространения света, являются мощным инструментом для разработчиков и дизайнеров в самых различных областях человеческой деятельности и, прежде всего, в архитектурном проектировании, ландшафтном дизайне, автомобильной и авиационной промышленности. Они позволяет быстро и необходимой точностью получать как реалистичные изображения проектируемых объектов, так и численные значения различных параметров уже на этапе проектирования этих объектов. Примерами таких объектов могут служить различные здания и сооружения, жилые и офисные помещения, интерьеры автомобилей и самолетов. При этом контролируется эстетичность интерьеров и внешнего вида, рациональность, экономичность, соответствие стандартам систем освещения искусственным и естественным светом. Типичными приборами, где применяется оптическое моделирование, являются также системы подсветки экранов мониторов и различных мобильных устройств, разного рода управляющих кнопок.

Примером системы оптического моделирования является Inspirer2 [1, 2].

Методы синтеза реалистичных изображений, используемые в компьютерной графике, являются эффективным средством повышения производительности труда в таких областях человеческой деятельности как архитектура, ландшафтный дизайн, автомобильная и авиационная промышленность, конструирование различного рода оптических приборов.

Можно сформулировать следующие требования, предъявляемые к современным системам синтеза реалистичных изображений и оптического моделирования:

1) Физически аккуратные методы оптического моделирования.

Синтез реалистичных изображений, близких по восприятию к тому, что появится после реализации проекта, необходимых в архитектурном проектировании, градостроительстве, ландшафтном дизайне, автомобильной и авиационной промышленности возможен только в системе, основанной на физически аккуратном (корректном) моделировании распространения света. Эти методы также абсолютно необходимы при проектировании оптических устройств.

2) Учет сложных физических эффектов.

Адекватное моделирование объектов и материалов, изготавливаемых с использованием современных технологий, невозможно без учета сложных физических эффектов. К таким эффектам следует отнести рассеивание света на стохастических микронеровностях (шероховатостях) поверхностей и на регулярных формы, размера и распределения), объемное рассеивание света на микрочастицах внутри материала, поляризационное рассеивание света в тонких пленках и ряд других подобных явлений. Адекватное моделирование таких эффектов требует в свою очередь использования мульти спектральных методов. Моделирование в RGB пространстве не позволяет получить правильные цвета для восприятия человеком.

3) Задание правильных исходных данных.

Синтез реалистичных изображений требует задания корректных исходных данных – геометрии сцены, оптических характеристик поверхностей и материалов.

4) Интегрирование в системы автоматизированного проектирования.

Все современные компании в настоящее время на различных этапах производства и сопровождении в эксплуатации сложных технических изделий используют так называемые технологии управления жизненным циклом изделий (Product Lifecycle Management (PLM)). Эти системы обеспечивают управление всей информацией об изделии и связанных с ним процессах на протяжении всего его жизненного цикла, начиная с проектирования и производства до снятия с эксплуатации. Информация об объекте, содержащаяся в PLM-системе является цифровым макетом этого объекта. Геометрическая модель объекта в таких системах создается, как правило, с помощью специальных систем автоматизированного проектирования (САПР). Для трехмерных геометрических объектов стандартом де факто такой системы является CATIA [3]. По крайней мере, ее используют большинство авиационных, кораблестроительных и автомобильных компаний. Autodesk 3DS MAX [4] широко используется для презентаций различных архитектурных проектов. Синтез реалистичных изображений для объектов, разрабатываемых в этих системах, а также получение их различных оптических характеристик таких, как распределение освещенности и яркости на различных реальных или виртуальных поверхностях, является важной частью общего проектирования. Для обеспечения эффективного использования подсистемы оптического моделирования в общем процессе проектирования необходимо обеспечить максимально гладкое ее взаимодействие с системой автоматизированного проектирования, где создается геометрия объектов, и хранятся их атрибуты.

Разработчик изделия в системе автоматизированного проектирования должен использовать оптическую подсистему просто как одну из подсистем, которая автоматически воспринимает геометрию, созданную в системе, и те атрибуты, которые должны быть учтены в моделировании. Соответственно оптическая подсистема должна автоматически учитывать все те изменения в геометрии или атрибутах, которые могут вноситься на различных этапах проектирования изделий.

Без такой эффективной интеграции разработчики просто не будут пользоваться этой подсистемой за исключением критических случаев, когда без оптического моделирования нельзя обойтись в принципе.

Задача интегрирования систем физически корректного моделирования распространения света, используемых для построения реалистичных изображений, с современными САПР является трудной. Известны попытки ее решения, разработанные компаниями Discreet (Lightscape) [5], Mental Images [6] и Chaos Group (VRay) [7] для 3DS Max. Для системы автоматизированного проектирования CATIA компанией OPTIS был выпущен встроенный модуль моделирования освещенности SPEOS CAA V5 Based [8]. Компания Mental Images интегрировала свою программу моделирования освещенности в Autodesk 3DS MAX, Maya и этой задачи, и предлагается способ автоматизации этого интегрирования.

Предлагаемый подход позволяет обеспечить максимальное повторное использование не только уже существующих вычислительных модулей, но и даже частичное повторное использование графических пользовательских интерфейсов.

2. Подходы к интеграции с системами автоматизированного проектирования В состав систем автоматизированного проектирования входит, как правило, набор инструментальных средств разработки программного обеспечения (SDK – software development kit). Этот инструментарий предназначен для расширения и дополнения функциональных возможностей данной системы. Так средства 3ds Max SDK предназначены, в первую очередь, для создания новых возможностей (Plugins) по созданию и модификации геометрических объектов (процедурные объекты и модификаторы), материалов и текстур. Соответствующие средства CATIA V5 также содержат мощные средства для точного моделирования трехмерных объектов на базе использования различных представлений криволинейных поверхностей и топологических операций. Эти средства и позволяют встраивать в системы автоматизированного проектирования синтез реалистичных изображений и оптическое моделирование как одну из специальных подсистем.

Можно рассматривать два подхода к интеграции с системами автоматизированного проектирования:

1. Максимально полное использование инструментальных средств разработки данной системы автоматизированного проектирования и перепрограммирование существующей системы оптического моделирования с использованием новых средств.

2. Максимально полное использование модулей уже существующей и отлаженной системы оптического моделирования и синтеза реалистичных изображений.

Оба подхода имеют очевидные преимущества и недостатки, и в практической реализации приходится выбирать некоторое компромиссное решение. Так, при интеграции нашей системы моделирования освещенности с 3ds Max, было принято решение о максимальном использовании возможностей предоставляемых 3ds Max SDK. В этом случае пользователь, уже привыкший к используемым моделям материалов, источников света, наложения текстур, пост процессинга, мог бы использовать их в новом плагине в том виде, как они описаны для встроенного визуализатора. Дополнительно пользователь может использовать расширенные модели материалов и источников света, обеспечиваемые нашим плагином. Эти модели необходимы для обеспечения физически аккуратного (корректного) моделирования распространения света, поскольку исходные модели не были рассчитаны на такое моделирование. Основным преимуществом нашего плагина над стандартным визуализатором является получение не прямого освещения.

Реалистичность полученных изображений в этом случае получается существенно выше даже при использовании относительно искусственных моделей материалов (свойств поверхностей). Это объясняется тем, что моделирование освещенности базируется на физических законах распространения света. Неточность моделей материалов приводит только к некоторым ошибкам в величинах освещенности, но во многих случаях это не критично с точки зрения реалистичности полученных атрибутов материалов и источников света, их измерения и т.д.

При интегрировании с CATIA (Dassault Systems) была поставлена задача получения максимально точных результатов моделирования освещенности. Такое моделирование требует введения источников света, отсутствующих в CATIA, задания оптических свойств используемых материалов, расчета освещенностей различных объектов сцены и использования для анализа полученных результатов различных видов виртуальных измерительных объектов. В ряде случаев необходимо задавать оптические свойства не только поверхностей объектов, но и среды, в которой распространяется свет. К таким параметрам относятся, например, дисперсия (зависимость индекса рефракции от длины волны), объемное рассеяние и флюоресценция. При описании параметров объемного рассеяния необходимо учитывать что материал, из которого изготовлен объект, может быть многокомпонентным, например, состоять из прозрачного материала заполненного частичками, изготовленными из других материалов. Полное описание такого многокомпонентного материала требует достаточно сложного пользовательского интерфейса. В частности он требует описания каждого из составляющих его материалов, концентрации каждого сорта частиц и их параметров. Для работы с подсистемой оптического моделирования необходим ряд других, достаточно сложных пользовательских интерфейсов, например, анализа полученных результатов моделирования в виде спектральных изображений в плоскости камеры или других виртуальных измерительных объектов. Следует также учитывать, что внутренние требования к построению объектов в Inspirer2 и CATIA существенно отличаются.

Следовательно, для создания объектов, описывающих соответствующие модели в CATIA, потребуется их полное перепрограммирование и конверсия при передаче этих данных в среду моделирования Inspirer2.

Сложных интерфейсов требует также визуальное представление распространения света в оптической системе в виде трассируемых лучей. Двойная разработка и отладка таких сложных пользовательских интерфейсов и внутренних объектов сначала для базовой системы моделирования освещенности, а затем для интегрированной в CATIA требовала бы слишком много времени. Существенным фактором являлось также необходимость длительного использования достаточно дорогой среды программирования и специфической квалификации программистов для работы в этой среде. В силу всех этих причин было принято решение максимально использовать в интегрированной подсистеме уже разработанные и отлаженные модули базовой подсистемы. Нам удалось разработать такую технологию интеграции модулей базовой системы оптического моделирования в систему автоматизированного проектирования, которая позволяет использовать модули базовой системы практически без изменений. Реализация интеграции нашей системы оптического моделирования Inspirer2 в систему CATIA описана в двух следующих разделах.

3. Основные блоки интегрированной системы Интегрированная система Inspirer CATIA (IC) была образована путем интеграции в систему CATIA пост процессора обработки результатов HDRIPostprocessor входящего в систему Inspirer2 и специального сервера I2 Server реализованного на ядре системы Inspirer2 (Inspirer2 SDK).

CATIA – это базовая система автоматизированного проектирования. С точки зрения системы моделирования освещенности она обеспечивает создание и модификацию геометрии объектов сцены и хранение данных. Для целей моделирования освещенности она была расширена возможностями описания и редактирования оптических атрибутов поверхностей, источников света и виртуальных измерительных объектов. На базе Inspirer2 SDK была также обеспечена возможность расчета не прямой освещенности поверхностей, измерения оптических характеристик сцены с помощью виртуальных измерительных объектов и получения реалистических изображений с помощью трассировки лучей.

HDRIPostprocessor позволяет производить обработку полученных реалистичных изображений и анализ результатов измерений полученных на виртуальных измерительных объектах. В частности он позволяет:

• преобразовывать полученные изображения в физических величинах (изображения с высоким динамическим диапазоном) в изображения в RGB пространстве с ограниченным диапазоном, используя различные способы тонального отображения (операторы сжатия динамического диапазона яркостей) • отображать результаты моделирования с использованием тоновой заливки (искусственные цвета).

• Обрабатывать результаты моделирования, полученные в RGB и спектральных цветовых пространствах.

• Обрабатывать результаты моделирования, полученные на различных видах виртуальных сенсоров – угловое распределение яркости, распределение яркости/освещенности на прямоугольнике виртуального сенсора.

I2 Server позволяет интегрировать большинство функциональностей Inspirer SDK в CATIA в полуавтоматическом режиме. В настоящее время он обеспечивает реализацию пользовательского интерфейса для описания параметров среды распространения света, доступ к Inspirer2 библиотекам описания сред, Монте Карло моделирование для визуального представления распространения света в оптической системе в виде трассируемых лучей, ряд вспомогательных функциональностей, необходимых для функционирования системы. Взаимодействие и синхронизация между блоками системы осуществляется с помощью сообщений и событий для поддержки новых функциональностей, реализованных в Inspirer2 для поддержки их в Inspirer CATIA. Добавление, например, новой модели среды распространения света вообще происходит автоматически, поскольку и необходимый пользовательский интерфейс и само моделирование (Монте Карло трассировка) реализовано непосредственно в I2 Server. Если новая функциональность требует передачи дополнительных параметров между блоками, то это требует реализации лишь относительно небольших программных надстроек в соответствующих блоках.

Детали реализации описаны в следующем разделе.

4. Синхронизация компонент в системе Inspirer CATIA I2 Server реализован как обычное Windows приложение. Это приложение стартует одновременно с CATIA. Его главное окно скрыто. Его главная оконная процедура заменена для обработки сообщений, посылаемых CATIA. Специальные Windows события используются для синхронизации CATIA и I2 Server в процессе вычислений и перерисовки окна CATIA.

Рассмотрим синхронизацию компонент более детально на примере визуализации распространения света в оптической системе в виде трассируемых лучей. На первом шаге пользователь должен выбрать источники света, геометрические объекты и виртуальные сенсоры, которые будут участвовать в данном моделировании. Это, естественно, делается непосредственно в CATIA с помощью интерфейса, изображенного на рис. 2а. Пользователь выбирает соответствующие объекты непосредственно в окне визуализации или в дереве сцены. Имена выбранных объектов отображаются в соответствующих окнах. В этом же диалоге можно установить ограничение времени моделирования, количество трассируемых лучей и другие необходимые параметры. После завершения выбора параметров моделирования соответствующий элемент появляется в поддереве моделирований.

Теперь моделирование может быть запущено с помощью выпадающего, по правой кнопке мыши, меню – рис 2б. Непосредственно моделирование выполняется в I Server. CATIA для этого сначала формирует описание сцены в формате IOF (бинарный формат системы Inspirer2), сохраняет его на диске и посылает I2 Server сначала сообщение IDM_VR_SCENE_LOAD (загрузи сцену) а за тем IDM_VR_CALCULATE (моделирование визуализации лучей). Дополнительные данные (путь на сохраненное описание сцены, ограничение по времени, количество лучей и т.д.) передается при этом с использованием общей памяти разделяемой процессами (shared memory).

Выполнение каждой команды в I2 Server синхронизируется с CATIA по общей схеме.

1. CATIA сбрасывает первое синхронизирующее событие (event1) 2. CATIA посылает сообщение и ждет взведения event 3. I2 Server извлекает данные из общей памяти, помещает дескриптор окна в общую память.

4. I2 Server сбрасывает второе событие (event2) и взводит event1. Ждет взведения event2.

5. CATIA извлекает из общей памяти дескриптор окна, сбрасывает event1 и взводит event2.

6. I2 Server дождавшись взведения event2, выполняет команду моделирования и взводит event1. Во время моделирования индикатор показывает степень выполнения процентах. Результаты моделирования I2 Server записывает на диск в специальном формате.

7. CATIA, ожидая взведения event1, каждые 100 миллисекунд выполняет перерисовку своего окна и делает окно I2 Server активным.

Пользователь устанавливает здесь различные критерии для визуализируемых лучей.

В частности можно визуализировать только те лучи, которые пересекают (или не пересекают) заданный набор граней объектов. Дополнительный набор более сложных ограничений может быть установлен с помощью специального критерия. Создание и редактирование такого критерия реализовано в I2 Server. Вызов редактора (рис.4) обеспечивает кнопка. Если при моделировании использовался виртуальный сенсор, и он выбран в списке (Selected Observer), то одновременно с диалогом в CATIA на экране отображается окно HDRIPostprocessor. Последний кроме своих стандартных возможностей обеспечивает отбор визуализируемых лучей с помощью эллиптического или прямоугольного детектора (окно расположено в правом верхнем угле рис.3). Взаимодействие CATIA с HDRIPostprocessor и I2 Server происходит по общей схеме, описанной выше. После нажатия кнопки Apply сначала посылается соответствующая команды в HDRIPostprocessor (если он активен) и оттуда через общую память передается информация о параметрах детектора, затем посылается команда в I2 Server, которому передается вся необходимая информация о критериях, для отбора лучей полученных в результате моделирования. I2 Server производит отбор лучей согласно полученному критерию и возвращает отобранные лучи через общую память для визуализации. CATIA отображает эти лучи в своем окне поверх геометрии сцены.

Дополнительная функциональность позволяет детально проанализировать историю трассировки лучей, отобранных с помощью текущего критерия.

Соответствующий диалог (нижний левый угол Рис.3) может быть вызван с помощью клавиши Visual Ray Results Report. Это окно позволяет проанализировать события, произошедшие вдоль траектории лучей, изменения цвета (в том числе и спектральных компонент), поверхности на которых происходили события, среды и т.д.

Визуализация этого окна обеспечивается I2 Server по соответствующей команде из собственного. Это обеспечивается п.7. общей схемы синхронизации.

5. Заключение Предложенный в работе подход к интеграции систем синтеза реалистичных изображений и оптического моделирования в систему автоматизированного проектирования был реализован при интеграции ряда функциональностей нашей системы оптического моделирования Inspirer2 в систему CATIA. Подход позволяет частично автоматизировать процесс интеграции, поскольку модули обработки событий и синхронизации практически требуют минимальных расширений при добавлении новых функциональностей. В результате время интеграции новой функциональности, уже реализованной в Inspirer2, в CATIA сокращается многократно. Это особенно существенно, поскольку стоимость среды программирования в CATIA (стоимость лицензии) довольно высока и само программирование требует квалифицированных специалистов со значительным опытом работы в этой среде.

Список литературы 1. A. Ignatenko, B. Barladian, K. Dmitriev, S. Ershov, V. Galaktionov, I. Valiev, A.

Voloboy. A Real-Time 3D Rendering System with BRDF Materials and Natural Lighting.

The 14-th International Conference on Computer Graphics and Vision GraphiCon-2004, Conference Proceedings, Moscow, 2004, pp. 159-162.

2. Волобой А.Г., Галактионов В.А. Машинная графика в задачах автоматизированного проектирования // "Информационные технологии в проектировании и производстве", № 1, 2006, с. 64-73.

3. Dassault Systems, company website, http://www.3ds.com/home.

4. Autodesk 3DS Max, company website, http://usa.autodesk.com/3ds-max.

http://www.digitalbroadcasting.com/product.mvc/Lightscape-software-0001.

6. Mental Images, company website, http://www.mentalimages.com.

7. Chaos Group, company website, http://www.chaosgroup.com.

8. П. Гольдовский, А. Кокова. Моделирование оптических явлений и свойств задаваемых изделий. САПР и графика, №8, 2004,с. 46-47.

9. Б.Х. Барладян, А.Г. Волобой, В.А. Галактионов, Э.А. Копылов. Эффективный оператор сжатия динамического диапазона яркостей, "Программирование", № 5, 2004, с. 35-42.

Институт прикладной математики им. М.В. Келдыша Аннотация. Камеры заднего вида в настоящее время широко используются на автомобилях. Основное назначение камеры заднего вида - обеспечение безопасности и комфорта при движении задним ходом. Изображение с камеры отображается на специальном экране в салоне автомобиля. При этом зачастую используются камеры с широким углом обзора.

Камеру необходимо расположить на корпусе кузова автомобиля таким образом, чтобы обеспечивался хороший обзор, при этом сама камера была бы по возможности защищена от внешних воздействий, в том числе от попадания грязи при движении. Целью данной работы является расчет такого взаимного расположения кузова автомобиля и камеры, при котором никакие элементы кузова не будут мешать обзору из камеры.

Постановка задачи Камера заднего вида располагается на задней оконечности кузова автомобиля, как правило, в специальном углублении. При этом отдельные элементы кузова, дополнительные декоративные накладки и другие предметы могут загораживать обзор из камеры. Задачей является вычисление такой формы элементов задней части кузова автомобиля, при которой они не будут мешать обзору из камеры.

Рис. 1. Расположение камеры на задней части кузова автомобиля В большинстве случаев изображение, проецирующееся камерой, подвергается кадрированию. В камерах заднего вида зачастую используются сферические линзы, проекция области обзора которых на плоскость представляет собой окружность. При построении кадра прямоугольной формы значительная часть исходного изображения при этом остается за кадром. Поэтому для нормальной работы камеры достаточно, чтобы никакие детали кузова не перекрывали бы область, находящуюся внутри прямоугольного кадра.

Определение области кадрирования на изображении с камеры При указанных условиях становится возможным следующий способ решения поставленной задачи. На изображении, спроецированном с помощью камеры, строится двухмерный контур. Затем по данному контуру восстанавливается трехмерная фигура, проекцией которой на плоскость экрана является данный контур.

После этого становится возможным выяснить, пересекается ли полученная фигура с какими либо элементами кузова автомобиля. Конечной целью является получение построенной фигурой и будут целиком находиться за ее пределами.

Техническая реализация задачи выглядит следующим образом. Проводится рендеринг сцены из положения камеры с учетом ее угла обзора и функции нелинейных искажений. Использование такой функции позволяет задать камеру с углом обзора, большим чем 180 градусов. Такие камеры (так называемый «рыбый глаз») широко используются в качестве автомобильных камер заднего вида [1]. Далее на полученном двухмерном изображении пользователь задает контур требуемой формы и для двухмерных координат его точек (с некоторым шагом, определяемым требуемой точностью) определяется положение в пространстве с учетом той же функции нелинейных искажений. Затем по полученному трехмерному контуру строится искомая фигура.

Контур на плоскости проекции можно определить разными способами.

Целесообразно использовать для этих целей какую-либо параметрическую кривую, так как для такой кривой отсутствуют ограничения на направление. Было решено использовать кубическую кривую Безье, которая довольно часто используется в компьютерной графике, в том числе, в системе автоматизированного проектирования CATIA [2]. Сплайн Безье полностью определяется пользователем в плоскости проекции камеры, а далее для всех его точек с некоторым шагом определяются координаты в пространстве. Получившаяся кривая уже не является сплайном Безье (строго говоря, она является ломаной, но при определенном расстоянии между точками для вычисления обеспечивается достаточная гладкость этой кривой).

Особеннности использования камеры со сверхшироким углом обзора Для обычной камеры, угол обзора которой меньше, чем 180 градусов, достаточно построить контур на плоскости. Трехмерная фигура, проекцией которой на плоскость является данный контур, представляет собой прямой конус с основанием в форме данного контура. Однако в некоторых случаях угол обзора камеры заднего вида может быть больше, чем 180 градусов. Такая камера проецирует изображение на плоскость, но построить конус с основанием, однозначно определенным с помощью контура на плоскости проекции для данной камеры не представляется возможным, поскольку при этом возможна ситуация, когда контур в пространстве будет пересекать сам себя, что недопустимо. Поэтому в данном случае целесообразно использовать контур на сфере, центр которой совпадает с положением камеры. При этом принимается, что радиус сферы, на которой должны лежать все точки контура, равен 1. Фигура, по которой будет определяться попадание частей кузова в область обзора камеры будет строиться следующим образом: один конец образующей будет находиться неподвижно в центре сферы, другой конец будет двигаться вдоль контура на сфере. Такую фигуру можно назвать конусом, опирающимся на сферическое основание.

Для вычисления трехмерных координат какой-либо точки в пространстве по ее двухмерным координатам на плоскости проекции камеры используются следующие формулы:

где pt – координаты точки на плоскости проекции, center – координаты точки на плоскости, соответствующей осевой линии камеры.

где Pix2Angle – табличная функция нелинейных искажений, заданная для данной камеры. Эта функция вводит соответствие между расстоянием от проекции точки до проекции осевой линии камеры.

Рис. 2. Фигура, построенная с помощью контура на сфере Затем задается вектор v, соответствующий осевой линии камеры (0, 0, -1) И трансформируется следующим образом:

Трансформированный вектор v задает направление от точки положения камеры до искомой точки в пространстве. Умножив его на расстояние от камеры до точки (в данном случае оно равно радиусу сферы, т.е. 1), мы получим координаты точки.

Дополнительные условия для кривой на сфере В случае, когда вся кривая целиком лежит на поверхности сферы, то определить ее кривой Безье в декартовых координатах на плоскости проекции невозможно.

Поэтому условия задачи были несколько изменены:

1. Сплайн Безье определен декартовыми координатами в пространстве. При этом на поверхности сферы должны находиться только узловые точки сплайна Безье;

кроме того, касательные к узловым точкам должны быть также касательными к сфере. Остальные точки определяются уравнениями кубической кривой Безье по четырем коэффициентам, определенным положением узловых точек и направлениям касательных, и при этом могут находиться не на поверхностии сферы. В то же время они должны находиться достаточно близко к поверхности сферы. Из этого следует еще одно уловие:

2. Предыдущее допущение позволяет построить сплайн, все точки которого находятся достаточно близко к поверхности сферы только в том случае, если расстояние между соседними узлами сплайна достаточно невелико по сравнению с промежуточные точки между узлами могут заметно приблизиться к центру сферы (который совпадает с центром камеры) и даже попасть за пределы области видимости камеры. Поэтому в случае, если любая точка на сплайне приближается к центру на расстоянее менее 0.1 радиуса сферы, то такая ситуация считается недопустимой и в сплайн в этом месте добавляется дополнительный узел. Его координаты вычисляются таким образом, чтобы на проекции камеры (с учетом ее функции нелинейных искажений) координаты этого узла совпадали бы с координатами исходной промежуточной точки, приблизившейся к центру сферы на расстоянее менее 0.1 ее радиуса.

3. На плоскости проекции камеры по краям могут находиться области, для которых функция нелинейных искажений камеры не определена. Располагать узловые точки сплайна Безье в этих областях пользователю запрещено.

Таким образом, фигура, отображающаяся на плоскости проекции камеры, не является сплайном Безье, а итоговая кривая в пространстве, напротив, таковым сплайном является. Пользователь может задать его на плоскости проекции камеры лишь косвенно. Однако для поставленной задачи такой точности вполне достаточно.

Результаты Используя предложенный алгоритм, была разработана компьютерная программа (являющаяся дополнением к системе автоматизированного проектирования CATIA), которая позволяет нарисовать контур поверх изображения с камеры, построить сплайн Безье, соответствующий данному контуру, и далее построить конус, опирающийся на данный контур. Итоговый объект в системе CATIA отображен на рис. 4. Используя данный объект можно определить его пересечение с какими-либо деталями кузова как визуально, так и используя в дальнейшем какие-либо алгоритмы для определения пересечения поверхностей в пространстве (которые выходят за рамки данной работы).

Литература 1. C. Hughes, M. Glavin, E. Jones, P. Denny. Wide-angle camera technology for automotive applications: a review. IET Intell. Transp. Syst., 2. Alyn Rockwood and Peter Chambers. Introduction to Curves and Surfaces.

SIGGRAPH Лаборатория Компьютерной Графики и Мультимедиа, Факультет Вычислительной Математики и Кибернетики, Московский Государственный Университет им. М.В. Ломоносова [email protected], [email protected] Аннотация. В современной компьютерной графике актуальны задачи восстановления формы объекта по его фотографиям, построения геометрической модели объекта по набору изображений. Данные задачи усложняются, если мы имеем дело с объектами сложной формы, с прозрачными или плохо различимыми деталями изображения. Для работы с подобного рода объектами целесообразно использовать стереомониторы.

В последнее время стерео-технологии, например, NVidia 3D Vision, достигли приемлемого уровня для профессионального использования.

Новые технологии требуют соответствующего интерфейса. Для разных задач могут понадобиться различные инструменты. В работе рассматривается задача создания трехмерного скользящего курсора для стереомонитора. Данный инструмент можно использовать как для выделения некоторых важных частей объекта или выделения границ объекта, так и для удобства пользователя при ручном построении приближенной геометрической модели объекта (пользователю не нужно дополнительно устанавливать курсор на поверхность объекта). Схожие технологии могут использоваться в различных областях виртуальной реальности ([1]).

Ключевые слова. 3D-курсор, скользящий курсор, стереопара, стерео-соответствие, диспаритет, корреляция, корреляционное окно, ведущий курсор Введение Стерео-изображение формируется из двух изображений стереопары, соответственно, изображение курсора складывается из двух его изображений на каждом, соответственно, на каждом изображении курсор имеет свои координаты.

Трехмерный скользящий курсор – это трехмерный курсор, который устанавливается визуально на поверхность текущего объекта (объекта с данными экранным координатами), если пользователь перемещает указатель мыши в плоскости экрана. Поскольку глубина курсора должна определяться по движению мыши, алгоритм определения глубины должен обладать высокой скоростью.

Для этого потребуется вычислять стерео-соответствие в некоторой области вокруг курсора в реальном времени.

Один из курсоров при таком подходе будет считаться ведущим. Ведущий курсор – курсор, по положению которого ищется соответствие на втором изображении стереопары.

Методы вычисления стерео-соответствий Условно методы вычисления стерео-соответствий можно разделить на несколько основных групп:

Методы, основанные на корреляционном окне Методы, связанные с поиском локальных особенностей на изображении Построение карты глубины, карты диспаритетов простоте и скорости.

Вторая группа методов – методы, связанные с поиском так называемых ключевых точек, – основаны на поиске в некотором фрагменте изображения его локальных особенностей, а затем учет их взаимного расположения для поиска соответствия конкретному заданному пикселу. В чистом виде данный подход не надежен, т.к. на изображении могут встречаться фрагменты и без локальных особенностей, а также фрагменты с недостаточным для работы количеством локальных особенностей.

Третий подход наиболее надежен, т.к. позволяет исключить выбросы и скачки диспаритета, а так же анализ всего изображения в целом, но не подходит в силу своей низкой скорости. Построение карты диспаритета использовалось в данной работе для оценки общего результата.

Метод простой корреляции Реализован алгоритм поиска соответствий на изображениях при помощи метода корреляционного окна. Корреляционное окно – прямоугольная область на изображении с заданной высотой и шириной, по которой ищется соответствие позиций курсора. Параметры корреляционного окна могут выбираться, например, как фиксированная часть высоты или ширины изображения.

Пусть положение курсора на первом изображении стереопары – (x, y). Искомое положение курсора на втором изображении (x + dx, y). Задача состоит в нахождении диспаритета dx. Диспаритет может быть как положительный, так и отрицательный.

Дополнительные входные параметры: размер корреляционного окна (w, h), минимально и максимально возможный диспаритет (dispMax).

На втором изображении выделяется прямоугольная область с координатами (x – w / 2 – dispMax, y – h / 2, w + 2 * dispMax, h).

Рис. 1.Корреляционное окно. Максимальный разброс диспаритета Рис. 2. Наилучшее корреляционное окно. Диспаритет Корреляционное окно первого изображения последовательно сравнивается с каждым подокном выделенной области на втором изображении. Сравнение по метрике L2 (квадрат абсолютной разности изображений). Выбирается dx, которому изображении.

Поиск осуществляется исключительно по горизонтали, за счет этого сильно сокращается число сравнений, и возможен полный перебор.

Корреляция с предварительным поиском по уменьшенному изображению При данном подходе сначала ищется диспаритет для уменьшенных изображений. Уменьшенное изображение, как правило, получается более отчетливым, и корреляция работает лучше, с меньшим количеством скачков.

Корреляция по уменьшенному изображению также позволяет заметно сократить время расчета диспаритета.

Чем сильнее уменьшено изображение, по которому осуществляется предварительный поиск, тем ниже точность результата.

Данный подход позволяет значительно сократить скачки диспаритета на изображении, т.к. рассматриваемое окно на уменьшенном изображении содержит больше информации, чем исходное корреляционное окно.

График корреляции По графику корреляции можно судить о достоверности полученного диспаритета.

Рис. 4. Размытый минимум на графике корреляции. Объект нечеткий или полупрозрачный.

Возможно, потребуется уточнение результата Рис. 5. Явный минимум на графике корреляции. Результат достоверен Корреляционное окно слишком мало, а объект незаметен с учетом диспаритета в соседних пикселах В данном алгоритме диспаритет ищется не только в текущем пикселе, но и в соседних. Соседние пикселы берутся на расстоянии в 5 или 10 раз меньше размера корреляционного окна.

В тестовой программе возможен выбор 2, 4, 6, 8 и 24 соседних.

Рис. 6. Расположение пикселов-соседей для дополнительного расчета диспаритета Для каждого пиксела-соседа строится график корреляции. У каждого графика находится некоторое фиксированное количество самых сильных локальных минимумов (на текущем этапе по результатам тестирования лучший результат показывает алгоритм, в котором берется один минимум). После того как построены графики корреляции для всех соседей и рассчитаны все минимумы, выбирается тот минимум, который чаще всего встречается на графике корреляции.

Домножение на весовую функцию В текущей реализации алгоритма все графики корреляции домножаются на весовую функцию.

В настройках тестовой программы возможно домножение на линейную функцию или на экспоненту.

Рис. 7. Линейная весовая функция для графика корреляции Для улучшения результата работы достаточно домножения на линейную функцию. Таким образом будет понижен “вклад” в результат локальных минимумов графика корреляции, образующих слишком большой диспаритет.

В алгоритме, который учитывает значения диспаритета в соседних пикселах, на весовую функцию домножается, соответственно, график корреляции для каждого пиксела-соседа.

Рис. 9. Справа – левое изображение стереопары, слева – построенное по карте диспаритета Алгоритм хорошо работает на четких границах крупных объектов. В случае характерных регулярных особенностей на изображении (сеток, решеток, сложных узоров и т.п.), если ячейка единичной структуры много меньше размера окна, возможны ошибки.

Далее приведен результат работы алгоритма. Для стереопары построена карта диспаритетов. Затем по правому изображению с учетом карты диспаритетов реконструируется левое изображение стереопары. По полученной реконструкции и ее сходству/различию с оригинальным изображением можно судить о результате работы алгоритма.

Заключение Поиск по уменьшенному изображению и домножение на весовую функцию сглаживают результат, позволяя убрать лишние скачки диспаритета.

Размер корреляционного окна выбирается автоматически в зависимости от размера изображения, и не всегда является оптимальным. Ошибки возникают, например, в случае существенного различия во взаимном расположении объектов на изображении стереопары.

В случае работы с простыми изображениями (например, четкие фотографии) предложенный подход дает минимальное число ошибок.

Для борьбы с ошибками в сложных случаях потребуется алгоритм, учитывающий зависимости во взаимном расположении объектов.

Список литературы [1] Robert J. Teather, Wolfgang Stuerzlinger. Investigating One-Eyed and Stereo Cursors for 3D Pointing Tasks. Dept. of Computer Science & Engineering, York University [2] Robert J. Teather, Wolfgang Stuerzlinger. Cursors for 3D Pointing. CHI’12, May 5–10, 2012, Austin, Texas, USA.

Институт прикладной математики РАН им. М.В. Келдыша, Лаборатория Компьютерной Графики и Мультимедиа [email protected], [email protected], Аннотация. В данной работе описываются способы определения индекса преломления материала путём его подбора и сравнения визуализированных изображений с этим индексом преломления и оригинальных фотографий материала. Метод не требует специальных источников света, в отличие от прямых методов, и накладывает меньшие ограничения на форму исследуемого объекта. Дополнительно требуется восстановление формы исследуемого объекта с достаточной точностью.

Ключевые слова: индекс преломления, показатель преломления, коэффициент преломления, синтез изображений.

Введение Задача определения оптических свойств материалов возникает достаточно часто, например, при создани новых типов стекла. Существует множество прямых методов измерения индекса преломления, основанных на пропускании узкого луча света через призму, вырезанную из исследуемого материала. К таким призмам предъявляются различные требования, которые усложняют их изготовление.[1] Методы прямого измерения не всегда применимы из-за необходимости придавать материалу особую форму, иметь узко направленный источник света.

Также существуют иммерсионные методы, с помощью которых измеряется в том числе показатель преломления. Они сводятся к тому, чтобы выбрать из набора иммерсионных жидкостей наиболее похожие на материал по индексу преломления, погрузить материал в жидкость и визуально наблюдать наличие или отсутствие эффектов, связанных с преломлением на границе вещества с иммерсией.[2] Недостатком иммерсионных методов является то, что нужно в итоге получить иммерсионную жидкость с показателем преломления, очень близким к измеряемому, и при этом известным. Иммерсионные жидкости являются расходным материалом, т.к. их смешивают для получения подходящего значения индекса преломления.

Кроме того, исследуемый материал должен быть твёрдым.

Предлагается метод, основанный на фотографировании объекта, сделанного из исследуемого материала, моделировании всех известных условий съёмки (положения камеры, формы объекта, параметров источника света) и визуализации этой сцены с корректным расчётом распространения света в сцене. Путём изменения неизвестного индекса преломления материала нужно максимизировать сходство фотографии и результата визуализации по некоторому выбранному признаку и таким образом подобрать коэффициент преломления.

Параметры съёмки Исследуемый материал снимается с нескольких ракурсов, положение этих ракурсов запоминается для последующей визуализации. Материал должен быть освещён источником света с той длиной волны, для которой определяется индекс Чем шире спектр источника света, тем больше будет дисперсия в исследуемом материале, тем менее точно возможно будет измерить индекс преломления (тогда имеет смысл говорить об измерении индекса преломления для некоторой “средней” длины волны).

Без калибровочного объекта Данный способ применим в случае, если в наличии имеется только исследуемый материал. В этом случае материалу требуется придать заранее известную форму с небольшим числом граней (например, куб или призма). На фотографиях с разных ракурсов можно наблюдать в ближних гранях объекта образы его дальних граней и рёбер. Положение этих образов зависит от индекса преломления и может быть сопоставлено с результатами визуализации.

Проблемы:

• Не все материалы шлифуются так, что рёбра остаются чёткими, могут появиться сколы, которые неточно отсканированы или слишком толстые, чтобы сопоставить их с нужной точностью.

• Не всякая форма объекта подходит для наблюдения на просвет его обратных граней при большом значении индекса преломления, т.к. на части ракурсов через эти грани может быть не виден источник света, и они будут полностью тёмными. Тем не менее, этот способ не накладывает таких сильных ограничений на форму объекта, как прямые методы измерения.

С калибровочным объектом Данный способ основан на использовании твёрдого калибровочного объекта с заранее известным индексом преломления.

Калибровочный объект может иметь произвольную, или заданную форму.

Пример – призма из стекла. Он заливается расплавом исследуемого материала в форму, содержащую небольшое число плоских граней (например: куб, шестигранная призма), чтобы через каждую грань калибровочный объект был виден целиком. Если материал может находиться в твёрдом состоянии при нормальных условиях, после его отвердевания грани формы шлифуются для уменьшения визуальных искажений калибровочного объекта. В случае, если материал жидкий, возможно заполнить им такую же твёрдую форму, например, из стекла, а внутри поместить калибровочный должны быть известны.

Снимается последовательность фотографий объекта с разных ракурсов при вращении объекта вокруг вертикальной оси. Выбирается интервал, внутри которого должен лежать истинный показатель преломления материала. В последовательности выделяются некоторые характерные кадры, после чего строятся изображения сцены для данных ракурсов и разных индексов преломления из выбранного интервала. Шаг изменения индекса преломления выбирается меньшим максимальной точности метода. Далее производится сравнение получившихся изображений с фотографиями на предмет сходства эффектов, зависящих от искомого индекса преломления. Оно может быть как ручным, так и автоматическим.

По положению затемнений При разнице в показателях преломления у тестируемого материала и калибровочного объекта на границе между ними свет преломляется и отклоняется от прямой траектории. Поэтому если поставить за исследуемым объектом источник света известной формы и снимать объект на просвет, на калибровочном объекте будут видны светлые и тёмные области, соответствующие источнику света и тёмному фону. Если точно задать форму источника света, то при совпадении предполагаемого индекса преломления материала с настоящим кадры, содержащие одинаковые затемнения, будут иметь одни и те же номера в последовательности фотографий и визуализированных изображений.

На рисунке представлены фотография (слева) и синтезированное изображение (справа). На правой грани призмы, наблюдаемой через грань иммерсионного куба, видно затемнение. Оно есть на фотографии и на синтезированном изображении.

ракурсов выбираются те, на которых затемнение на некоторой грани появляется и исчезает. Путём изменения индекса преломления при визуализации достигается синхронность появления и исчезновения затемнений на последовательности фотографий и на синтезированной последовательности. На рисунках показано появление и исчезновение затемнения на грани призмы внутри иммерсионного куба при незначительном повороте:

Преимуществом метода является возможность работы с калибровочным объектом произвольной формы. Однако формы, имеющие плоские грани, дают более точный результат, т.к. затемнение на такой грани появляется и исчезает целиком, а не постепенно, за меньшее число кадров последовательности.

Погрешность метода определяется погрешностью построения формы источника света, формы исследуемого объекта и формы калибровочного объекта, также угловым разрешением последовательности снимков. Неточности в форме источника света и объектов дают рассогласованность затемнений на различных ракурсах, что позволяет оценить точность конкретного измерения.

Проблемы:

• Неточность формы объекта • Затемнения иной природы По меткам Данный метод может быть применён при относительно небольшой разнице в индексах преломления исследуемого материала и калибровочного объекта.

Используется калибровочный объект в форме прямой призмы (например, трёхгранной). На грани призмы наносятся вертикально непрозрачные метки. При наблюдении объекта с ракурса, на котором одно из вертикальных рёбер призмы находится между меткой на противоположной грани и камерой, видно 2 образа этой метки в 2 соседних гранях призмы.

Расстояние между образами и их положение зависят от угла между гранями призмы и от разницы в индексах преломления.

На рисунках показана фотография призмы в иммерсионном стекле, на которую наложены синтезированные изображения с того же ракурса с разными индексами преломления стекла. На левом рисунке видно несовпадение 2-х образов меток в центре кадра на фотографии и на синтезированном изображении. Это говорит о том, что индекс преломления иммерсии подобран неправильно. Из последовательности синтезированных изображений для разных индексов преломления с этого ракурса соответствующий индекс преломления считается истинным. Совпадение показано на правом рисунке.

Проблемы:

• Толщина меток • Сколы ребра калибровочного объекта • Малое изменение положения образов меток при большом угле между гранями Ручной и автоматический подбор В данной работе определение индексов преломления различных материалов осуществлялось только вручную. Однако на основе предложенных методов возможно реализовать автоматический подбор Визуализация не позволяет даже при правильном подборе всех параметров получить изображение, полностью совпадающее с фотографией, так как учитываются не все эффекты, не идеальны исследуемый материал (содержит загрязнения) и калибровочный объект. Поэтому простая минимизация абсолютной разности между фотографией и синтезированным изображением может не привести к истинному значению искомого показателя преломления.

Для оценки правильности выставленного при синтезе изображения индекса преломления нужно выбрать некоторую характерную зону (затемнение или образ метки), чтобы неверная разница на других частях изображения не вносила негативный вклад.

При использовании затемнений абсолютная разность изображений в выбранной области будет однозначно указывать на совпадение или несовпадение затемнений, если затемнение образовалось на плоской грани (т.к. обычно либо вся грань затемнена, либо освещена). Для автоматического подбора индекса преломления нужно только правильно выделить эти области на кадрах в последовательности.

В случае, если затемнение видно на криволинейной поверхности, форма затемнения сильно зависит от кривизны поверхности. При небольшой погрешности построения модели форма затемнения на синтезированном изображении может сильно отличаться от формы на фотографии. Здесь для автоматического подбора потребуется более сложная метрика, учитывающая эти особенности.

Если для подбора индекса преломления используется объект с метками, то для автоматического метода нужно отделять образы меток от шумов на фотографии и загрязнений в исследуемом материале.

Заключение С помощью предложенных методов был измерен индекс преломления различных типов иммерсионного стекла. Точность измерения составила ~0.002 для метода затемнений и 0.001 – 0.003 для метода меток. Последовательности изображений для подбора индекса преломления были синтезированы методом трассировки лучей с использованием графического процессора для ускорения.

Список литературы 1. ГОСТ 28869-90. Материалы оптические. Методы измерений показателя преломления, 2. Татарский В.Б. Кристаллооптика и иммерсионный метод. М., Недра, Лаборатория Компьютерной Графики и Мультимедиа, Факультет Вычислительной Математики и Кибернетики, Московский Государственный Университет им. М.В. Ломоносова Аннотация. Многие современные методы обработки изображений не имеют объективной метрики для оценки их качества. К таким методам относится тональная компрессия изображений с широким динамическим диапазоном яркости (HDRизображений). Такие изображения хранят в себе карту яркости сцены и не могут быть напрямую визуализированы на современных устройствах вывода. Методы тональной компрессии производят интеллектуальное сжатие динамического диапазона HDRизображений и позволяют получать обычные изображения с низким динамическим диапазоном яркости (LDR-изображения).

При анализе качества работы методов тональной компрессии существенную роль играют субъективные оценки. Более того, для анализа промышленных изображений особенно важны оценки от экспертов в данной области. В связи с этим существует потребность в автоматизированной системе сбора и агрегации таких оценок. Эта система должна быть доступна для пользователей в любом месте и в любое время, т.к. эксперты могут иметь жёсткий график работы.

В данной работе предлагается подобная система в виде web-приложения на базе технологии Microsoft ASP.NET. Система предоставляет администраторам возможность загружать HDR-изображения и интегрировать реализации различных методов тональной компрессии. Она предоставляет функционал для удобного сбора пользовательских оценок.

Оценки сохраняются в базе данных на Microsoft SQL Server и ассоциируются с конкретным пользователем. Собранные оценки впоследствии анализируются администраторами системы.

Ключевые слова: система оценки, система публикации, web, тональная компрессия, HDR-изображения.

Введение Современные устройства ввода (такие как цифровые камеры) могут записать лишь небольшой динамический диапазон яркости (dynamic range of luminance). Для потребительских цифровых камер он составляет порядка 2000:1. В то же время, динамический диапазон воспринимаемой человеческим глазом яркости составляет порядка 109:1. Если не принимать во внимание возможность аккомодации глаза, то динамический диапазон воспринимаемой в рамках одной сцены яркости составляет порядка 10000:1 (данные взяты из [1, стр. 191]). Таким образом, невозможно в рамках одной фотографии запечатлеть весь динамический диапазон, доступный человеческому глазу.

Для преодоления этой проблемы используется технология изображений с широким динамическим диапазоном яркости (HDR-изображения). Они позволяют сохранять полную карту яркости сцены. Существует несколько способов их получения (см. [1, гл. 4]). Однако динамический диапазон современных дисплеев составляет порядка 1000:1, и они не могут напрямую отобразить HDR-изображения.

Поэтому для визуализации HDR-изображения необходимо выполнить интеллектуальное сжатие его динамического диапазона с сохранением деталей и содержания. Этот процесс называется тональной компрессией (tone mapping, см. [2], ТМО (tone mapping operator).

На данный момент существует очень мало объективных метрик для оценки качества ТМО. Например, в [4] вычисляются карты пикселей, в которых произошли определённые изменения контраста в результате тональной компрессии. Однако итоговая оценка приемлемости полученного LDR-изображения сильно зависит от содержания исходной сцены, и надёжно её может дать только человек. В связи с этим существует потребность в субъективных метриках. Несколько подходов для субъективного тестирования предложены в [5], [6] и [7].

В данной работе мы описываем систему GMLePublish, которая используется в Лаборатории Компьютерной Графики и Мультимедиа для сбора субъективных оценок качества работы алгоритмов тональной компрессии.

Терминология • Система – web-приложение GMLePublish • Пример – HDR-изображение сцены или набор обычных LDR-фотографий сцены с разными экспозициями (LDR-bracket) • ТМО – метод тональной компрессии (tone mapping operator) Общее описание Система реализована в виде web-приложения и доступна в сети Интернет.

Система предоставляет пользователям следующий функционал:

• Просмотреть список доступных примеров • Вывести таблицу обработки различных примеров различными ТМО • Пройти опрос с попарным сравнением по методу [6] • Пройти опрос с одиночными оценками по методу [7] Элементы управления для описанных действий приведены на рисунках ниже.

Выбор сцен и просмотр таблицы:

Администраторы имеют доступ к следующим настройкам системы:

• Добавить/удалить примеры • Добавить/удалить реализации ТМО • Выбрать множество примеров и ТМО для создания опросов • Посмотреть оценки пользователей Технические характеристики системы Система разработана на платформе Microsoft ASP.NET с использованием IDE Microsoft Visual Studio 2012. База данных для хранения оценок и настроек системы находится под управлением Microsoft SQL Server 2012. Веб-сервер работает под управлением Microsoft IIS 7.5. Серверная логика реализована на языке C# под Microsoft.NET 4.5. Клиентская логика написана на JavaScript с использованием библиотеки jQuery.

Запуск реализации ТМО происходит автоматически в момент генерации таблицы с результатами. Ключи для запуска и путь к соответствующему исполнимому файлу хранятся в базе данных. Полученные результаты сохраняются на диск, и в базе данных делается пометка о том, что результат применения данного ТМО к данному примеру уже получен. При повторном обращении к результату он не вычисляется заново.

Организация базы данных База данных системы используется для хранения примеров, ссылок на реализации ТМО, оценок экспертов и т.п. Каждой таблице в базе данных ставится в соответствие класс в серверном коде на языке C# с помощью технологии Entity Framework. Связь между классами приведена на рисунке ниже.

объект, например конкретный образец породы, определённое ювелирное изделие и т.п.

• Scene. Сцена, совокупность объекта и условий съёмки. Включает настройки камеры и освещения. Каждый объект может быть снят в нескольких сценах.

• Data. Данное, совокупность файлов, соответствующих определённой сцене.

Каждой сцене может соответствовать множество данных. К ним относятся как исходные данные – набор фотографий с разными экспозициями, так и синтезированные данные – HDR-изображение, полученное из набора фотографий, изображения, полученные в результате применения различных ТМО.

• DataType. Тип данного, задаёт формат файлов, содержащихся в определённом данном:

o ldr_bracket – набор фотографий с разными экспозициями o hdr_image – полученное по набору HDR-изображение o ldr_image – изображение, результат применения ТМО к HDRизображению • Method. Метод или алгоритм, описывает определённый алгоритм со ссылкой на автора. Принимает на вход данное одного типа и генерирует данное другого типа. Например, методы ТМО будут принимать на вход данные типа hdr_image и генерировать данные типа ldr_image, а алгоритмы синтеза HDR-изображений будут принимать данные типа ldr_bracket и генерировать данные типа hdr_image.

• Impl. Реализация, ссылка на исполнимый файл, в котором реализован данный метод, а также информация о разработчике.

• Preset. Настройка или сценарий, задаёт параметры для метода, указывает аргументы командной строки для исполнимого файла.

что конкретное данное на самом деле является результатом применения определённого метода к определённому данному.

• Survey. Опрос, задаёт совокупность данных и методов, которые может оценить пользователь.

• SurveyMethod. Тип опроса, задаёт конкретную методологию сбора оценок со ссылкой на автора.

o survey_rating – опрос по методу [7] o survey_preference – опрос по методу [6] • SurveyToPreset. Задаёт набор сценариев, используемых для опроса.

• SurveyToScene. Задаёт набор сцен, используемых для опроса.

• ScoreRating. Рейтинговая оценка, хранит рейтинг (целое число), который присвоил определённый пользователь определённому данному в рамках определённого опроса.

• ScorePreference. Сравнительная оценка, хранит предпочтение определенного пользователя из двух определённых данных в рамках определённого опроса.

Приведённая структура классов позволяет создавать достаточно гибкую систему, в которую при необходимости можно добавлять не только новые примеры и методы тональной компрессии, но и новые виды опросов или типов данных. В определённый момент у авторов работы возникла необходимость добавить в систему методы класса Exposure Fusion, такие как [8] и [9]. Их отличительная особенность в том, что они получают итоговое изображения непосредственно из набора исходных изображений, без синтеза HDR-изображения. Благодаря возможности указывать методам типы входных и выходных данных, эта задача решилась просто созданием дополнительных методов с входными данными типа ldr_bracket и выходными данными типа ldr_image. Отделение сцены от данного позволило унифицировать доступ к классическим ТМО и к методам класса Exposure Fusion.

Заключение В данной работе мы описали систему GMLePublish, которая позволяет пользователям предоставлять оценки качества работы методов тональной компрессии. За счёт того, что система реализована в виде web-приложения, пользователю требуется минимальное количество времени и усилий для предоставления оценок. Это позволяет исследователям быстро собирать обширные данные, необходимые для развития алгоритмов тональной компрессии.

Описанная система была успешно использована в Лаборатории Компьютерной Графики и Мультимедиа для сбора субъективных оценок алгоритмов тональной компрессии для образцов ювелирной промышленности [10]. В процессе использования она показала высокую надёжность и удобство в использовании, а также простоту доступа к результатам тестирования для их дальнейшего анализа.

[1] Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting, Morgan Kaufmann Publishers, Dec. 2005.

[2] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, “Photographic tone reproduction for digital images,” ACM Transactions on Graphics (TOG), vol. 21, no. 3, pp. 267–276, 2002.

[3] M. Ashikhmin, “A tone mapping algorithm for high contrast images,” in Proceedings of the 13th Eurographics workshop on Rendering. Eurographics Association, 2002, pp.

145–156.

[4] T.O. Aydin, R. Mantiuk, K. Myszkowski, and H.P. Seidel, “Dynamic range independent image quality assessment,” in ACM Transactions on Graphics (TOG). ACM, 2008, vol. 27, p. 69.

[5] M. adk, M. Wimmer, L. Neumann, and A. Artusi, “Evaluation of hdr tone mapping methods using essential perceptual attributes,” Computers & Graphics, vol. 32, no. 3, pp.

330–349, 2008.

[6] P. Ledda, A. Chalmers, T. Troscianko, and H. Seetzen, “Evaluation of tone mapping operators using a high dynamic range display,” ACM Transactions on Graphics (TOG), vol.

24, no. 3, pp. 640–648, 2005.

[7] M. Kuhna, M. Nuutinen, and P. Oittinen, “Method for evaluating tone mapping operators for natural high dynamic range images,” in IS&T/SPIE Electronic Imaging.

International Society for Optics and Photonics, 2011, pp. 78760O–78760O.

[8] T. Mertens, J. Kautz, and F. Van Reeth, “Exposure fusion: A simple and practical alternative to high dynamic range photography,” in Computer Graphics Forum. Wiley Online Library, 2009, vol. 28, pp. 161–171.

[9] R. Shen, I. Cheng, J. Shi, and A. Basu, “Generalized random walks for fusion of multiexposure images,” Image Processing, IEEE Transactions on, vol. 20, no. 12, pp. 3634– 3646, 2011.

[10] М.А. Матросов, А.В. Игнатенко, «Субъективная оценка алгоритмов тональной компрессии HDR-изображений для образцов ювелирной промышленности с помощью системы GMLePublish», Сборник трудов научно-практического семинара «Новые информационные технологии в автоматизированных системах-16». М.: ИПМ, 2013 г. сс. 43- - 42 Субъективная оценка алгоритмов тональной компрессии HDRизображений для образцов ювелирной промышленности с Лаборатория Компьютерной Графики и Мультимедиа, Факультет Вычислительной Математики и Кибернетики, Московский Государственный Университет им. М.В. Ломоносова {matrosov, ignatenko}@graphics.cs.msu.ru Аннотация. В работе рассматриваются алгоритмы тональной компрессии изображений с широким динамическим диапазоном яркости (HDR-изображений). Такие изображения хранят в себе карту яркости сцены и не могут быть напрямую визуализированы на современных устройствах вывода. Методы тональной компрессии производят интеллектуальное сжатие динамического диапазона HDR-изображений и позволяют получать обычные изображения с низким динамическим диапазоном яркости (LDRизображения). На данный момент не существует достаточно надёжных объективных метрик для оценки качества работы методов тональной компрессии. Поэтому широко используются субъективные метрики, основанные на результатах опросов некоторой выборки участников.

В данной работе мы сравниваем результаты работы ряда алгоритмов тональной компрессии на основе субъективных оценок. Оценки были собраны с помощью системы GMLePublish, разработанной в Лаборатории Компьютерной Графики и Мультимедиа для этих целей.

Ключевые слова: тональная компрессия, HDR-изображения, субъективные метрики, экспертные оценки.

Введение Современные устройства ввода (такие как цифровые камеры) могут записать лишь небольшой динамический диапазон яркости (dynamic range of luminance). Для потребительских цифровых камер он составляет порядка 2000:1. В то же время, динамический диапазон воспринимаемой человеческим глазом яркости составляет порядка 109:1. Если не принимать во внимание возможность аккомодации глаза, то динамический диапазон воспринимаемой в рамках одной сцены яркости составляет порядка 10000:1 (данные взяты из [1, стр. 191]). Таким образом, невозможно в рамках одной фотографии запечатлеть весь динамический диапазон, доступный человеческому глазу.

Для преодоления этой проблемы используется технология изображений с широким динамическим диапазоном яркости (HDR-изображения). Они позволяют сохранять полную карту яркости сцены. Существует несколько способов их составляет порядка 1000:1, и они не могут напрямую отобразить HDR-изображения.

Поэтому для визуализации HDR-изображения необходимо выполнить интеллектуальное сжатие его динамического диапазона с сохранением деталей и содержания. Этот процесс называется тональной компрессией (tone mapping, см. [2], [3]). Далее по тексту мы будем сокращать термин «метод тональной компрессии» до ТМО (tone mapping operator).

На данный момент существует очень мало объективных метрик для оценки качества ТМО. Например, в [4] вычисляются карты пикселей, в которых произошли определённые изменения контраста в результате тональной компрессии. Однако итоговая оценка приемлемости полученного LDR-изображения сильно зависит от содержания исходной сцены, и надёжно её может дать только человек. В связи с этим существует потребность в субъективных метриках. Несколько подходов для субъективного тестирования предложены в [5], [6] и [7].

В данной работе мы описываем результаты субъективного тестирования ряда ТМО, проведённого в Лаборатории Компьютерной Графики и Мультимедиа. В качестве участников тестирования выступали сотрудники лаборатории. В качестве примеров для тестирования выступали изображения с ювелирными изделиями.

Обычно субъективные тестирования носят общий характер и в качестве примеров выбираются сцены из повседневной жизни: пейзажи, портреты, помещения, улицы, и т.п. Наше исследование показало, что результаты подобных тестирований не могут быть непосредственно применены к нашим данным. Кроме того, существует задача создания эффективного ТМО именно для ювелирных изделий. Например, для создания красивых рекламных изображений.

Сбор оценок осуществлялся с помощью системы GMLePublish [10]. Был выбран ряд ТМО, наиболее подходящих с точки зрения авторов исследования для выбранного класса примеров. Целью тестирования был выбор одного или нескольких ТМО, наиболее подходящих для поставленной задачи. В работе приводится подробное описание различных аспектов исследования и анализ полученных данных.

Примеры для оценки В качестве примеров использовались фотографии образцов ювелирной промышленности, имеющиеся в распоряжении в лаборатории. Среди образцов присутствовали обработанные алмазы различных огранок и готовые ювелирные изделия. Далее по тексту для краткости вместо «огранённый алмаз» мы будем говорить «камень». Кроме того, в качестве ювелирных изделий выступали только кольца, поэтому далее по тексту вместо «ювелирное изделие» будем говорить «кольцо». Всего было выбрано 20 примеров – 14 камней различных оттенков и золотых колец, инкрустированных маленькими камнями.

Для каждого примера было получено несколько фотографий с различными экспозициями – по 7 фотографий для камней и по 5 фотографий для колец. Шаг между экспозициями составлял 2EV. Съёмка велась с помощью цифровой камеры Canon EOS 5D Mark III. На рисунке ниже три из пяти экспозиций для одного из примеров с кольцом:

В опросе были представлены результаты 8 существующих на данный момент ТМО:

• Best LDR – вручную выбранная экспозиция (без ТМО) • Ashikhmin – [3]: “A tone mapping algorithm for high contrast images” • ExpFusion – [8]: “Exposure fusion” • ExpFusion (L=7) – [8]: “Exposure fusion”, меньшее количество уровней в • Photographic – [2]: “Photographic tone reproduction for digital images” • Canon (ArtStandard) – встроенный в камеру ТМО • Canon (Natural) – встроенный в камеру ТМО • WLS – [9]: “Edge-Preserving Decompositions for Multi-Scale Tone and Detail Manipulation” Экспозиция для Best LDR выбиралась вручную оператором при съёмке данных для опроса. Этот “псевдо”-ТМО представляет собой одну из исходных фотографий без какой-либо обработки. Два пункта с именем ExpFusion представляют разные настройки одного и того же метода, который по факту не является ТМО. Этот метод получает итоговое изображение работая напрямую с исходными изображениями, без построения HDR-изображения.

Два пункта с именем Canon являются результатами, полученными с помощью проприетарного алгоритма, реализованного в цифровой камере Canon EOS 5D Mark III – разные установки задавались в настройках камеры. Ранее в научных работах не проводилось тестирование ТМО, встроенных в потребительские устройства, такие как цифровые камеры.

кольцом – все, кроме Best LDR и ExpFusion (L=7).

Методология Тестирование проводилось по методологии, описанной в [7], где она использовалась для предварительного ранжирования ряда ТМО. Наша цель была аналогичной – нужно было отбросить ТМО, дающие заведомо неприемлемые результаты на наших данных. В описании системы GMLePublish [10] эта методология упоминается как «опрос с одиночными оценками».

Участнику последовательно показывались изображения с результатами работы различных ТМО на различных примерах. Каждому изображению участник должен был присвоить одну из трёх оценок, основываясь на правдоподобности изображения:

• Unacceptable – Неудовлетворительно • Acceptable – Удовлетворительно • Favorable – Хорошо На рисунке ниже пример страницы для оценки изображения:

Участники В тестировании участвовало 7 сотрудников лаборатории. Все участники являются специалистами в области обработки изображений и ранее работали с изображениями алмазов и ювелирной продукции. Т.к. всего в тестирование было включено 20 примеров и 8 ТМО, каждому участнику нужно было оценить изображений. Среднее время оценки одного изображения составило 5.4 секунды, т.е.

среднее время на прохождение опроса не превысило 15 минут.

Перед прохождением зачётного опроса, участнику предлагалось пройти тренировочный опрос. В нём участвовали те же самые ТМО, но было меньшее число примеров – 6 вместо 20. Тренировочный опрос нужен был для того, чтобы участник мог оценить примерный вид результатов и откалибровать свою систему оценок.

Опрос проводился с помощью системы GMLePublish. Перед прохождением опроса участник попадал на страницу с подробными инструкциями. Все участники немного разными. Все мониторы были предварительно откалиброваны. Все участники имели нормальное или корректированное до нормального зрение. Все ответы участников были сохранены в системе и затем проанализированы вручную.

Результаты Результаты опроса представляют собой трёхмерный массив оценок 8x20x7.

Измерениями являются ТМО, примеры и участники. Значениями являются числа -1, и 1, где -1 ставится в соответствие оценке Unacceptable, 0 – оценке Acceptable, +1 – оценке Favorable.

Полученный массив суммировался и усреднялся вдоль разных направлений, чтобы оценить результаты с разных точек зрения. На рисунке ниже средняя оценка вдоль примеров и участников для разных ТМО:

По оси абсцисс отложены различные ТМО. Они отсортированы по возрастанию средней оценки. Средние оценки всех ТМО отрицательные, поэтому график расположен ниже оси абсцисс. Из графика видно, что все ТМО можно условно разделить на три группы:

• Фавориты: Canon (ArtStandard), ExpFusion (оба) • Средние: Photographic, Canon (Natural), Best LDR • Отстающие: Ashikhmin, WLS Следует заметить, что в существующих субъективных тестированиях ТМО Photographic и Ahikhmin получили высокие оценки и были в лидерах. Это объясняется спецификой наших данных.

На рисунках ниже средние оценки вдоль примеров для каждого участника в зависимости от ТМО. Усреднение только среди примеров с камнями:

На основании этих графиков можно сделать следующие выводы:

• Canon (ArtStandard) лучше работает для колец, чем для камней • Самые консистентные оценки у ExpFusion (default) и Canon (Natural) • Оценки разных настроек ExpFusion на камнях почти не отличаются, что согласуется с тем фактом, что их результаты на этих изображениях абсолютно • Ответы участников для камней более консистентны, чем для колец Система соответствий оценок числам -1, 0 и +1 спорна, она была выбрана по аналогии с оригинальным исследованием из [7]. На рисунке ниже приведено общее количество различных оценок вдоль примеров и участников в зависимости от ТМО:

Меньшая консистентность оценок для Canon (ArtStandard) в сравнении с ExpFusion проявляется в большем количестве оценок Unacceptable и меньшем – Acceptable.

На рисунке ниже приведено количество различных оценок вдоль ТМО и примеров в зависимости от участников:

На графике видно, что количество выставленных участником оценок Acceptable и Unacceptable отличается не более, чем примерно в два раза, и что оценок Favorable всегда меньшинство.

Система сбора оценок запоминала также время, которое потребовалось участнику для оценки определённого изображения. На рисунке ниже среднее время выставления оценки вдоль сцен для участников в зависимости от ТМО:

Для составления графика значения больше 10 секунд были заменены на среднее время по данному участнику. На приведённом графике видно, что для оценки более правдоподобных результатов в среднем потребовалось меньше времени.

Проведённое тестирование показало, что для изображений с обработанными алмазами и ювелирной продукцией фаворитами из существующих TMO являются Canon (ArtStandard) и ExpFusion. Однако ТМО от Canon обладает рядом минусов, в сравнении с ExpFusion:

• Проприетарная разработка – нет возможности анализа и изменения • Нет возможности использовать на произвольных изображениях Для проведения исследования была использована система GMLePublish, которая показала хорошую применимость для поставленной задачи и высокую степень надёжности.

Проведённое исследование имело своей целью выделить перспективные ТМО и исключить заведомо плохие. Эта цель была достигнута. Для более точного сравнения новых ТМО в дальнейшем будут использоваться другие методологии, например, опрос с попарным сравнением результатов.

В настоящий момент ведётся работа по созданию автоматизированных объективных метрик, для анализа качества которых будет проводиться сравнение их значений с полученными субъективными оценками. На основе объективных метрик планируется создание новых алгоритмов тональной компрессии, наиболее подходящих для изображений с образцами ювелирной продукции.

Список литературы [1] Erik Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting, Morgan Kaufmann Publishers, Dec. 2005.

[2] E. Reinhard, M. Stark, P. Shirley, and J. Ferwerda, “Photographic tone reproduction for digital images,” ACM Transactions on Graphics (TOG), vol. 21, no. 3, pp. 267–276, 2002.

[3] M. Ashikhmin, “A tone mapping algorithm for high contrast images,” in Proceedings of the 13th Eurographics workshop on Rendering. Eurographics Association, 2002, pp.

145–156.

[4] T.O. Aydin, R. Mantiuk, K. Myszkowski, and H.P. Seidel, “Dynamic range independent image quality assessment,” in ACM Transactions on Graphics (TOG). ACM, 2008, vol. 27, p. 69.

[5] M. adk, M. Wimmer, L. Neumann, and A. Artusi, “Evaluation of hdr tone mapping methods using essential perceptual attributes,” Computers & Graphics, vol. 32, no. 3, pp.