На правах рукописи

Со Ирина Александровна

МЕТОДИЧЕСКОЕ И АЛГОРИТМИЧЕСКОЕ ОБЕСПЕЧЕНИЕ

ИНФОРМАЦИОННО-ИЗМЕРИТЕЛЬНЫХ СИСТЕМ КОНТРОЛЯ

ИСКАЖЕНИЙ ВИЗУАЛЬНОЙ ИНФОРМАЦИИ

Специальность 05.11.16 – Информационно-измерительные и управляющие

системы (машиностроение)

Автореферат диссертации на соискание ученой степени кандидата технических наук

Санкт-Петербург – 2011 2

Работа выполнена на кафедре «Измерительные информационные технологии»

федерального государственного бюджетного образовательного учреждения высшего профессионального образования (ФГБОУ ВПО) «Санкт-Петербургский государственный политехнический университет»

Научный руководитель: доктор технических наук, профессор Малыхина Галина Федоровна

Официальные оппоненты: доктор технических наук, профессор Кондрашкова Галина Анатольевна кандидат технических наук, доцент Потехин Вячеслав Витальевич

Ведущая организация: Научно-исследовательский институт специального машиностроения Московского государственного технического университета им. Н.Э. Баумана

Защита состоится «1» декабря 2011 года в 14 часов на заседании диссертационного совета Д 212.229.10 в ФГБОУ ВПО «Санкт-Петербургский государственный политехнический университет» по адресу:

195251, Санкт-Петербург, Политехническая ул., 29 (9-й корпус, ауд.121).

С диссертацией можно ознакомиться в библиотеке ФГБОУ ВПО «СанктПетербургский государственный политехнический университет»

Автореферат разослан «_»_2011 г.

Ученый секретарь диссертационного совета кандидат технических наук, доцент Э.А. Кудряшов

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность исследования. Количественное определение искажений визуальной информации актуально в различных областях, а именно: в телевидении при определении искажений видеоизображений, в полиграфии, например, при оценке соответствия репродукции оригиналу, лакокрасочной промышленности при допусковом контроле цвета красок, в текстильной промышленности при проверке правильности окраски ткани.

Искажения статической визуальной информации главным образом связаны с искажениями цвета статических стимулов, например, в полиграфии, лакокрасочной, бумажной, текстильной промышленности. Цветовые различия выражают в порогах цветоразличения зрительной системы. Порог цветоразличения в стандартном цветовом пространстве МКО 1931 имеет различную величину в относительных единицах этого пространства в разных точках и в разных направлениях для каждой точки. Цветовое различие объективно равно длине кратчайшего пути в порогах цветоразличения.

Существующие методы измерения цветовых различий основаны на преобразовании стандартного цветового пространства МКО 1931 в т.н.

равноконтрастное пространство, в котором порог цветоразличения имеет постоянную величину. Первая попытка создать равноконтрастное пространство была предпринята Д.Джаддом еще в 1935 году. Впоследствии были предложены пространства Джадда, Мак Адама, Шредингера, Вышецки, пространства CIELUV, CIELAB, Наятани, Ханта, RLAB, ATD, LLAB, CIECAM97, CIECAM02, CIEDE2000, Jimenez, Ложкина и др. Однако известные пространства не являются строго равноконтрастными и не всегда дают адекватные зрительному восприятию результаты. В информационноизмерительных системах (ИИС) контроля цвета в указанных выше областях промышленности используют приближенные методы измерения цветовых различий (обычно CIELAB), характеризуемые значительной погрешностью относительно экспериментальных данных о цветоразличении. Таким образом, необходим новый метод измерения цветовых различий, позволяющий найти длину кратчайшего в порогах цветоразличения пути между точками цветов и обладающий более высокой точностью.

Искажения динамической визуальной информации главным образом относятся к искажениям видеоизображений, в частности, передаваемых в телевизионной системе. В настоящее время в цифровом телевидении контролируют ошибки цифрового потока, однако не контролируют искажения, связанные со сжатием видеоизображений. Разработанные для аналогового телевидения косвенные методы измерений по т.н. измерительным сигналам связаны с неизменными параметрами аналогового тракта передачи видеосигнала и не несут информации об искажениях видеоизображений при их использовании в системах цифрового телевидения вследствие адаптивности кодера сжатия цифровой видеоинформации, обладающего переменной эффективностью сжатия (соотношением «качество - скорость потока») в зависимости от сжимаемой видеопоследовательности и текущего кадра изображения. Возможность количественного определения искажений цифровых видеоизображений позволит управлять распределением битовой скорости различным программам, входящим в состав одного транспортного потока, для оптимального выбора битовых скоростей этих программ с достижением минимальной величины суммарных искажений. Методы определения искажений изображений также могут использоваться для оценки эффективности различных, в том числе новых, методов сжатия. Предложено множество методов определения искажений цифровых видеоизображений, в частности, методы «Мера структурной схожести» (SSIM, Structural SIMilarity), «Качество цифрового видеоизображения» (DVQ, Digital Video Quality), «Модель качества видеоизображения» (VQM, Video Quality Model), «Анализ качества изображения» фирмы Tektronix (PQA, Picture Quality Analysis), модель на основе порогов зрительного восприятия фирмы Sarnoff (JND-model, just noticeable difference), «Оценка целостности видеоизображений на основе модели движения” (MOVIE, MOtion-based Video Integrity Evaluation) и др.

Можно выделить следующие основные недостатки методов определения искажений цифровых видеоизображений:

1. Методы либо вообще не определяют цветовые искажения либо используют приближенные методы измерения цветовых различий.

2. Методы используют или только пространственные, или раздельные пространственные и временные характеристики зрительной системы, хотя изменения во временной области влияют на восприятие в пространственной области, и наоборот.

3. Методы дают абстрактную оценку искажений в абстрактных единицах.

Таким образом, в цифровом телевидении актуальна разработка методов количественного определения конкретных видов искажений, например, цветовых искажений, потери четкости и отношения сигнал/шум, с учетом зрительного восприятия.

алгоритмического обеспечения ИИС для количественного определения основных видов искажений визуальной информации согласно их восприятию зрительной системой.

Задачи исследования:

- аналитический обзор и классификация методов количественного определения искажений визуальной информации;

- разработка метода измерения цветовых различий, позволяющего определить длину кратчайшего в порогах цветоразличения пути между точками цветов и основанного на модели цветоразличения, построенной по экспериментальным данным о порогах цветоразличения и позволяющей определить порог цветоразличения для любой точки цветового пространства;

- аппроксимация трехмерных пространственно-временных характеристик зрительной системы, позволяющая учесть при определении искажений динамической визуальной информации нераздельное пространственновременное восприятие зрительной системы;

- разработка методов количественного определения конкретных видов искажений видеоизображений, а именно: цветовых искажений, потери четкости и отношения сигнал/шум, с учетом полученных пространственно-временных характеристик зрительной системы;

- разработка средств измерения для ИИС контроля искажений визуальной информации с реализацией предлагаемых в диссертации методов.

Объект и предмет исследования Объектом исследования является количественное определение искажений визуальной информации в соответствии с их восприятием зрительной системой человека. Предметом исследования являются экспериментальные характеристики зрительной системы человека и модель зрительной системы человека, их использование в методах количественного определения искажений визуальной информации, ИИС контроля искажений визуальной информации, оценка погрешностей предлагаемых моделей и методов.

Методы и средства исследования В работе использовались методы цифровой обработки и спектрального анализа сигналов, методы математической статистики, методы вычислительной математики, методы оценки погрешностей, методы объектно-ориентированного программирования, а также следующие средства: программные средства, база данных исходных и искаженных видеопоследовательностей.

Достоверность и точность результатов исследования основаны на корректности математических выкладок, подтверждены оценкой погрешностей предложенных моделей и методов, сравнением разработанных методов с известными методами, согласованием полученных характеристик зрительной системы с экспериментальными данными, проверкой результатов измерения методами математической статистики, согласованностью результатов измерения с экспертными оценками.

Научная новизна работы 1. Предложена модель цветоразличения зрительной системы на основе интерполяции или аппроксимации экспериментальных данных о порогах цветоразличения.

2. Предложен метод измерения цветовых различий, основанный на вычислении длины кратчайшего в порогах цветоразличения пути между точками цветов.

3. Предложены аппроксимации трехмерных пространственно-временных контрастно-частотных характеристик яркостного канала и цветоразностных каналов зрительной системы.

4. Расширено понятие субъективной четкости для учета временных аспектов восприятия четкости и в соответствии с расширенным понятием предложен метод количественного определения потери субъективной четкости видеоизображений.

Практическая значимость результатов исследования 1. Программное обеспечение для измерения цветовых различий предложенным в диссертации методом, предназначенное для спектрофотометра Spectrolino фирмы GretagMacbeth.

2. Программное средство определения визуальных искажений видеоизображений для ИИС цифрового телевидения.

3. Генератор испытательных сигналов цифрового телевидения стандартной и высокой четкости.

4. Предложенный метод измерения цветовых различий обладает наименьшей среди известных методов погрешностью, не превышающей ~1%.

Внедрение результатов работы Метод и программное обеспечение для измерения цветовых различий внедрены на кафедре «Технологии полиграфического производства» СевероЗападного института печати, методы и программное средство определения искажений видеоизображений внедрены на кафедре «Измерительные информационные технологии» Санкт-Петербургского государственного политехнического университета, генератор испытательных сигналов цифрового телевидения внедрен в Федеральном государственном унитарном предприятии «Научно-исследовательский институт телевидения».

Апробация результатов исследования.

диссертации были обсуждены и одобрены на 11 конференциях, из них международного уровня.

Публикация результатов исследования Полученные научные результаты изложены в 19 опубликованных работах, из них 3 статьи в журналах, рекомендованных ВАК, заявка на выдачу патента РФ на изобретение «Способ и устройство для измерения цветовых различий» (заявлена группа из 4 изобретений), заявка на государственную регистрацию программы для ЭВМ.

Положения, выносимые на защиту - модель цветоразличения зрительной системы человека на основе экспериментальных данных о порогах цветоразличения, позволяющая определить порог цветоразличения для любой точки цвета в любом направлении неравномерного и анизотропного цветового пространства;

- метод измерения цветовых различий статических стимулов, определяющий цветовое различие длиной кратчайшего в порогах цветоразличения пути между точками цветов, который в неравномерном и анизотропном цветовом пространстве искривлен;

- аппроксимации трехмерных пространственно-временных контрастночастотных характеристик зрительной системы, согласующиеся с другими экспериментальными характеристиками зрительной системы, в частности, с разрешающей способностью по полю зрения;

- методы количественного определения конкретных видов искажений видеоизображений, а именно: цветовых искажений, потери четкости в соответствии с расширенным понятием субъективной четкости и отношения сигнал/шум, с учетом характеристик зрительной системы.

Структура диссертации Диссертационная работа состоит из введения, пяти глав, заключения и библиографического списка (112 наименований). Общий объем работы составляет 183 страницы, включая 74 рисунка, 10 таблиц и приложение.

СОДЕРЖАНИЕ РАБОТЫ

В первой главе представлен аналитический обзор и классификация методов количественного определения искажений визуальной информации.

Вторая глава посвящена разработке метода измерения цветовых различий, в котором цветовое различие определяется длиной кратчайшего в порогах цветоразличения пути между точками цветов. Как известно, пороги цветоразличения задаются эллипсами, например, 25 экспериментальными эллипсами Мак Адама на графике цветового пространства МКО 1931.

Для получения порогов цветоразличения в каждой точке цветового пространства предложена модель цветоразличения зрительной системы, полученная методами интерполяции или аппроксимации экспериментальных закономерности изменения формы и ориентации экспериментальных эллипсов цветоразличения. Поверхности параметров эллипсов цветоразличения получены методом изгиба тонкой пластинки, методом Шепарда, B-сплайновой интерполяцией, B-сплайновой аппроксимацией, бикубической аппроксимацией.

методической погрешностью, определенной по экспериментальным данным, полученным различными авторами. Сделан вывод об адекватности предложенных моделей цветоразличения.

Влияние яркости стимула на цветоразличение учтено в модели цветоразличения с помощью использования экспериментальных зависимостей порога цветоразличения от соотношения яркости стимула и яркости адаптации.

На основе модели цветоразличения предложен метод измерения цветовых различий. Идея метода состоит в итерационном «распрямлении»

области цветового пространства для нахождения кратчайшего в порогах цветоразличения пути между точками цветов на основе локальных преобразований T (бесконечно) малых областей неравноконтрастного цветового пространства. В малой области неравноконтрастного пространства МКО 1931 эллипсы цветоразличения имеют практически одинаковую форму и ориентацию. Преобразование T малой области заключается в ее повороте и масштабировании для получения равноконтрастной малой области.

Последовательное применение локальных преобразований T малых областей вдоль линии представляет «распрямление» области пространства вдоль этой линии и определено выражением:

цветоразличения, x - угол наклона линии «распрямления», f и h – координаты точек в новой области, полученной «распрямлением» вдоль линии.

«Распрямление» области пространства вдоль кратчайшего в порогах цветоразличения пути между точками цветов позволит определить цветовое различие. В силу того, что изначально нам не известен кратчайший путь между двумя точками в неравноконтрастном пространстве, будем «распрямлять»

область вдоль произвольной линии, например, вдоль отрезка прямой между точками А и В рассматриваемых цветов. В результате получим новую область, более равноконтрастную в окрестности истинного кратчайшего пути между точками цветов. В этой новой области отрезок A' B' прямой между двумя точками цветов располагается ближе к истинному кратчайшему пути.

Отобразив отрезок прямой в новой области в соответствующий участок линии в исходном пространстве, будем осуществлять «распрямление» уже вдоль полученной линии. Можно производить дальнейшие итерации «распрямления»

для достижения необходимой точности. Как правило, в большинстве случаев для решения практических задач, в которых обычно требуется измерять небольшие цветовые различия, достаточно единственной итерации. При этом цветовое различие определяется как евклидово расстояние между точками цветов в области пространства FHL, полученной на последней итерации «распрямления», т.е. «распрямления» вдоль кратчайшего пути между точками А и В цветов: d fh f B f A 2 hB hA 2 порогов цветоразличения.

На рис.1 представлен пример области FHL, полученной на пятой итерации «распрямления». В области FHL вдоль отрезка d5' прямой между кратчайший путь d 5 на неравноконтрастном графике МКО 1931 искривлен.

равноконтрастное пространство, а предлагается метод нахождения кратчайшего в порогах цветоразличения пути между точками цветов, который в неравноконтрастном пространстве искривлен.

Также представлен вывод формулы вычисления длины в порогах цветоразличения произвольного пути в неравномерном и анизотропном x - угол наклона пути.

Для сравнения точности предложенного метода FHL и известных методов стандартных методов CIELAB и CIEDE2000 превышает 100%, в то время как максимальная относительная погрешность предложенного метода FHL не больше 1%. Следует отметить, что погрешность предложенного метода зависит от погрешности используемых для построения модели цветоразличения методов интерполяции и аппроксимации, числа итераций «распрямления», а также от точности применяемых численных вычислений и при необходимости может быть уменьшена.

В третьей главе предложена аппроксимация трехмерной контрастночастотной характеристики (КЧХ) яркостного канала зрительной системы на основе нового предположения о том, что для диагональных частот меньшая чувствительности (рис.2).

Np ( f ) 0,0008 f 3 0,0331 f 2 0, 4224 f 9,6972, Nm( f ) 0,0001 f 3 0,0018 f 2 0,0576 f 1,3051, Ep( f ) 0,002005 f 4 0,13992 f 3 2,8483 f 2 6,1523 f 248,53, Em( f ) 0,00075955 f 4 0,073169 f 3 2,5751 f 2 39,393 f 224,53, пространственные частоты, f – временная частота, q( wx2 w 2 ) - поправка для конкретной яркости адаптации.

В пространственной области (рис.2) предложенная аппроксимация адекватно отражает характеристики зрительной системы, поскольку позволяет учесть спад КЧХ в области низких частот, обусловленный процессами торможения, и ромбовидную разрешающую способность по полю зрения.

Также получены аппроксимации трехмерных КЧХ цветоразностных каналов зрительной системы на основе аппроксимации гауссовыми функциями.

Полученные характеристики зрительной системы были использованы в методах количественного определения искажений видеоизображений, которые предложены в четвертой главе.

Метод определения цветовых искажений видеоизображений задан яркостного и цветоразностных каналов зрительной системы исходный и искаженный k-е кадры видеопоследовательности; функция FHL() реализует предложенный метод FHL измерения цветовых различий; M p - число пикселей.

Расширено понятие субъективной четкости. Ранее субъективная четкость определялась эквивалентной полосой частот (введена О.Шаде), задаваемой площадью под пространственной КЧХ системы, включающей систему передачи изображений и зрительную систему. Для учета временных аспектов восприятия четкости предложено определять субъективную четкость как площадь под пространственно-временной, в общем случае трехмерной, КЧХ rI w x, w y, f - пространственно-временная КЧХ системы передачи изображений, V ( wx, w y, f ) - пространственно-временная КЧХ зрительной системы.

В соответствии с расширенным понятием субъективной четкости предложен метод количественного определения потери субъективной четкости видеоизображений, возникающей при сжатии, относительно потенциальной комплексные пространственно-временные спектры сигналов исходного и искаженного видеоизображений.

Предложено вычислять отношение сигнал/шум после применения упомянутой выше пространственно-временной фильтрации.

результатов предложенных методов с экспертными оценками из базы данных LIVE Video Quality Data Base, сделан вывод об адекватности методов.

В пятой главе описаны следующие разработанные средства для ИИС контроля искажений статической и динамической визуальной информации:

- программное обеспечение для измерения цветовых различий предложенным методом FHL, предназначенное для спектрофотометра Spectrolino фирмы GretagMacbeth, видеоизображений, для ИИС цифрового телевидения, - генератор испытательных сигналов цифрового телевидения стандартной и высокой четкости.

ЗАКЛЮЧЕНИЕ

1. Предложен метод измерения цветовых различий, позволяющий найти длину кратчайшего в порогах цветоразличения пути между точками цветов, т.е.

цветовое различие. Метод обладает наименьшей среди известных методов погрешностью, не превышающей ~1%.

контрастно-частотных характеристик яркостного и цветоразностных каналов зрительной системы, позволяющие учесть нераздельное пространственновременное восприятие зрительной системы при определении искажений динамической визуальной информации.

3. Предложен метод количественного определения цветовых искажений видеоизображений с использованием характеристик цветоразличения и пространственно-временных характеристик зрительной системы.

4. Расширено понятие субъективной четкости для учета временных аспектов восприятия четкости.

5. Предложен метод количественного определения потери субъективной четкости в соответствии с расширенным понятием субъективной четкости.

6. Рассмотрено отношение сигнал/шум с использованием пространственновременных характеристик зрительной системы для учета заметности шумовых искажений для зрительной системы.

7. Разработано программное обеспечение для измерения цветовых различий предложенным методом FHL, предназначенное для спектрофотометра Spectrolino фирмы GretagMacbeth.

8. Предложено и разработано новое средство измерения для ИИС цифрового телевидения – измеритель визуальных искажений.

9. Разработан совместно с коллегами генератор испытательных сигналов цифрового телевидения стандартной и высокой четкости.

СПИСОК ПУБЛИКАЦИЙ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Полосин Л.Л., Со И.А. О требованиях к четкости воспроизведения изображений / Л.Л. Полосин, И.А. Со // Журнал «Телерадиовещание». ОАО Всероссийский научно-исследовательский институт телевидения и радиовещания. – М. – 2008. – №1. – C. 35-39.

2. Со, И.А. Динамика потерь субъективной четкости в цифровых телевизионных системах / И.А.Со // Сборник трудов "Вычислительные, измерительные и управляющие системы", СПбГПУ. -2009. - С.53-56.

3. Со, И.А. Измерение искажений четкости в цифровом телевидении / И.А. Со // Материалы 2-й международной научно-практической конференции «Измерения в современном мире – 2009». – 2009. - С.209-210.

цветовосприятия / И.А. Со, Г.Ф. Малыхина // Журнал «Научнотехнические ведомости СПбГПУ». Информатика.Телекоммуникации.Управление. – 2011. – Вып.1. - С.118-123.

использованием характеристик зрительной системы / И.А. Со // Журнал «Компьютерная оптика». – 2011. – том 35. - №3. – C.395-407.

6. Со, И.А. Количественное определение визуальных искажений видеоизображений: заявка на государственную регистрацию программы для ЭВМ / И.А. Со - №2011616855 от 2.09.2011. - 38 с.

7. Со, И.А. Количественная оценка цветовых различий / И.А. Со // Материалы 63-й научно-технической конференции, посвященной Дню Радио. СанктПетербург. – 2008. - С.224-225.

8. Со, И.А. Метод анализа потери субъективной четкости в системах сжатия MPEG / И.А.Со, Г.Ф. Малыхина // Тезисы доклада на Международную научнопрактическую конференцию «38 неделя науки СПбГПУ». 2009. - С.129-130.

9. Со, И.А. Методы оценки цвета в равноконтрастных пространствах / И.А. Со «Информационные технологии в области науки и техники». - Санкт-Петербург, 2008. - С.16.

10. Со, И.А. Новый объективный метод измерения визуальных цветовых различий / И.А.Со // Сборник трудов международной конференции «Измерения в современном мире - 2011». – 2011. – С.176-177.

11. Со, И.А. Об аппроксимации амплитудно-частотных характеристик (АЧХ) яркостного канала зрительной системы / И.А. Со // «Системы управления и передачи информации». Юбилейный сборник трудов, посвященный 50-летию создания Приборостроительного факультета. - СПб, 2008. - С.117-120.

12. Со, И.А. Об измерениях в цифровом телевидении / И.А. Со, Г.Ф. Малыхина // Материалы конференций Политехнического симпозиума 2010 года «Молодые ученые – промышленности Северо-Западного региона». -2010. - С.31-33.

13. Со, И.А. Оценка зависимости потенциальной субъективной четкости от числа строк / И.А. Со, Л.Л. Полосин // «Телевидение: передача и обработка изображений». Материалы 5-й Международной конференции 19-20 июня 2007.

– 2007. - С.67.

14. Со, И.А. Оценка потенциальной субъективной четкости в стандартном телевидении и телевидении высокой четкости / И.А. Со // Материалы межвузовской научно-технической конференции «Системы управления и передачи информации» студентов, аспирантов и молодых ученых, СПб, 15 мая 2007 года. - С.61-62.

15. Со, И.А. Повышение четкости изображений, передаваемых с космических станций / И.А. Со // Материалы V открытой научно-практической конференции «Информационные технологии в области науки и техники». - СПб, 2007. - С.26Со, И.А. Разработка новых моделей цветовосприятия зрительной системой человека / Г.Ф.Малыхина, И.А.Со // Журнал «Научнотехнические ведомости СПбГПУ». – 2010. – Вып.5. – C.145-151.

17. Со, И.А. Сравнение равноконтрастных пространств CIELUV и CIELAB / И.А. Со // Материалы 6-й Международной конференции «Телевидение:

передача и обработка изображений». - Санкт-Петербург, 2008. - С.126-128.

18. Способ и устройство для измерения цветовых различий: заявка на выдачу патента РФ на изобретение, МПК G01J 3/52. / И.А. Со, Г.Ф. Малыхина от 9.03.2011. - 42 с.

19. So, I.A. Automatic Measurements of Picture Impairments in Digital Television / I.A. So // Preprints of 13th International Student Olympiad on Automatic Control. - P.167-169.