Министерство образования и науки Российской Федерации

ГОСУДАРСТВЕННОЕ УЧЕБНО-НАУЧНОЕ УЧРЕЖДЕНИЕ

ФАКУЛЬТЕТ ВЫЧИСЛИТЕЛЬНОЙ МАТЕМАТИКИ И КИБЕРНЕТИКИ

МОСКОВСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА ИМЕНИ М.В.

ЛОМОНОСОВА (ФАКУЛЬТЕТ ВМК МГУ ИМЕНИ М.В. ЛОМОНОСОВА)

УДК 004.9, 519.6 УТВЕРЖДАЮ

№ госрегистрации 01201176783 Декан, академик РАН Инв.№ _ Е.И. Моисеев «_»_ 2011 г.

ОТЧЕТ О НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЕ

по Государственному контракту № 0211.519.11.4014 от 06 сентября 2011 г.

по теме:

Исследования и разработка методов автоматического обнаружения и подавления артефакта ложного оконтуривания для современных технологий компьютерной обработки изображений.

(промежуточный, 1 этап) Федеральная целевая программа: «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы»

Шифр: «2011-1.9-519-020-154»

Работы по проведению проблемно-ориентированных поисковых исследований и созданию научно-технического задела по приоритетному направлению «Информационно-коммуникационные системы» в области информационно-телекоммуникационных систем с участием научных и исследовательских организаций стран Латинской Америки, Ближнего Востока, Азии и Африки.

Руководитель работ 26.10.11 А.С. Крылов подпись, дата Москва

СПИСОК ИСПОЛНИТЕЛЕЙ

Руководитель темы, д. ф.-м. н., профессор 26.10.11 А.С. Крылов (введение, разделы 1-7, заключение) подпись, дата Исполнители темы:

д. ф.-м. н., профессор 26.10.11 А.М. Денисов (введение, раздел 5) подпись, дата к. ф.-м. н., ст. преп. 26.10.11 М.М. Мизотин (раздел 6, заключение) подпись, дата к. ф.-м. н., с.н.с. 26.10.11 Д.В. Юрин (разделы 3, 6) подпись, дата к. ф.-м. н., н.с. 26.10.11 Е.В. Никитина (разделы 5–7) подпись, дата к. ф.-м. н., м.н.с. 26.10.11 А.С. Лукин (разделы 6, 7) подпись, дата м.н.с. 26.10.11 А.В. Насонов (введение, разделы 2–7) подпись, дата математик 26.10.11 Д.В. Сорокин (разделы 6, 7) подпись, дата математик 26.10.11 А.С. Семашко (раздел 6) подпись, дата математик 26.10.11 И.Т. Ситдиков (раздел 5) подпись, дата математик 26.10.11 А.А. Черноморец (разделы 1, 2, 6, 7) подпись, дата математик 26.10.11 В.В. Сергеев (раздел 2) подпись, дата математик 26.10.11 М.В. Бесфамильная (разделы 6) подпись, дата математик 26.10.11 А.В. Свидерская (разделы 7) подпись, дата Нормоконтролр:

к. ф.-м. н., н.с. 26.10.11 Е.В. Никитина подпись, дата

РЕФЕРАТ

Отчет 101 с., 1 ч., 30 рис., 69 источников.

Проведн аналитический обзор и анализ современной литературы в предметной области исследования. Выделено две основные подзадачи:

детектирование артефакта ложного оконтуривания и подавление артефакта ложного оконтуривания. В зависимости от источника артефакта ложного оконтуривания выделены основные направления работ: общие методы подавления эффекта Гиббса и ложного оконтуривания, методы обнаружения и подавления артефакта ложного оконтуривания после повышения резкости изображений, обращения свртки и подавления шума, обнаружение и подавление эффекта Гиббса на магнитно-резонансных изображениях, обнаружение и подавление артефакта ложного оконтуривания на специальных изображениях, обнаружение и подавление эффекта Гиббса после JPEG и JPEG2000 сжатия.

Проведн патентный поиск в области исследования.

На основании проведнного анализа современной литературы были исследованы пути создания алгоритма обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях. Осуществлн выбор методов и средств при разработке алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях.

Проведнный анализ современной литературы по теме исследования показал, что эффект Гиббса и ложного оконтуривания, полученный в результате действия различных алгоритмов обработки изображений, имеет существенные обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях был выбран комплексный подход, адаптивный к типу артефакта ложного оконтуривания. Комплексный подход заключается в интеграции деталей алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания различных типов в единый алгоритм.

оконтуривания на изображениях. В работе рассматриваются следующие способы получения изображений с эффектом Гиббса и ложным оконтуриванием: получение эффекта Гиббса в чистом виде путм воздействия низкочастотных фильтров на изображение, моделирование артефакта ложного оконтуривания при повышении разрешения изображений, моделирование артефакта ложного оконтуривания при подавлении размытия, моделирование артефакта ложного оконтуривания при повышении локального контраста, моделирование артефакта ложного оконтуривания в результате компрессии изображений, получение изображений с эффектом ложного оконтуривания в реальных условиях при магнитно-резонансной томографии и при искажении видеосигнала при передаче через аналоговые каналы связи. Также рассматривается специальный случай моделирования эффекта ложного оконтуривания при обработке радиально-симметричных изображений с помощью полиномов Лагерра.

Разработан алгоритм поиска базовых контуров, в окрестности которых обнаруживается эффект Гиббса и ложное оконтуривание. Алгоритм поиска базовых контуров основан на методах математической морфологии. Основными требованиями к контурам были следующие требования: осцилляции эффекта Гиббса не должны детектироваться как контуры, интересующие нас контуры должны быть достаточно удалены друг от друга, не должно происходить эффекта маскирования и смещения контуров при потере высокочастотной информации.

Предполагается использование данных контуров для обнаружения артефакта ложного оконтуривания.

Разработана структура тестовой базы данных изображений с эффектом Гиббса и ложным оконтуриванием. Целью создания базы данных изображений с эффектом Гиббса и ложным оконтуриванием является е дальнейшее использование при разработке алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания. База данных содержит репрезентативный набор изображений высокого качества, на которых моделируется эффект Гиббса и ложного оконтуривания.

Проведн аналитический обзор информационных источников по артефактам сжатия изображений и методам их подавления. Рассмотрены работы по подавлению артефакта ложного оконтуривания при сжатии с использованием дискретного косинусного преобразования и при сжатии с использованием дискретного вейвлет преобразования.

Полученные результаты и уточнение плана проведения дальнейших работ проводилось, в том числе, в рамках обсуждения методов автоматического обнаружения и подавления артефакта ложного оконтуривания с участниками международных конференций:

по обработке и анализу изображений ICIAP 2011 (Равенна, Италия, 14сентября 2011 г.);

по компьютерной графике и зрению GraphiCon'2011 (Москва, 28- информационным технологиям IScIDE2011 (Сиань, Китай, 23- международной конференции по видеокоммуникациям и обработке изображений VCIP2011 (Тайнань, Тайвань, 06-09 ноября 2011 г.).

Составной частью отчета являются следующие результаты, полученные иностранным партнером - институтом СБИС Чжецзянского университета, Китай:

аналитический обзор информационных источников по артефактам сжатия изображений и методам их подавления;

структура тестовой базы данных изображений, сжатых JPEG2000 и другими алгоритмами, с эффектом Гиббса и ложным оконтуриванием.

Данная база представляет собой дополнение основной базы.

Работа, выполненная иностранным партнром, представлена разделами 8 и 9.

Обсуждение полученных результатов и плана дальнейших совместных работ с иностранным партнером проведено в рамках визита профессора А.С. Крылова, м.н.с. Насонова А.В. и математика Черноморец А.А. в Ханчжоу 16–23 октября г. В рамках данного визита также проведена стажировка на базе организации иностранного партнера — института СБИС Чжецзянского университета для молодых специалистов (м.н.с. Насонов А.В. и математик Черноморец А.А.) на срок 6 рабочих дней.

ВВЕДЕНИЕ

1. АНАЛИТИЧЕСКИЙ ОБЗОР И АНАЛИЗ СОВРЕМЕННОЙ

ЛИТЕРАТУРЫ

2. ПРОВЕДЕНИЕ ПАТЕНТНЫХ ИССЛЕДОВАНИЙ

3. ИССЛЕДОВАНИЕ, ОБОСНОВАНИЕ И ВЫБОР МЕТОДОВ И

СРЕДСТВ, НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ И СПОСОБОВ РЕШЕНИЯ

ПОСТАВЛЕННЫХ ЗАДАЧ, ВКЛЮЧАЯ ТЕОРЕТИЧЕСКОЕ

ИССЛЕДОВАНИЕ ПУТЕЙ СОЗДАНИЯ АЛГОРИТМА ОБНАРУЖЕНИЯ И

ПОДАВЛЕНИЯ ЭФФЕКТА ГИББСА И ЛОЖНОГО ОКОНТУРИВАНИЯ НА

ИЗОБРАЖЕНИЯХ

4. СРАВНИТЕЛЬНАЯ ОЦЕНКА ВАРИАНТОВ ВОЗМОЖНЫХ

РЕШЕНИЙ ИССЛЕДУЕМОЙ ПРОБЛЕМЫ С УЧЁТОМ РЕЗУЛЬТАТОВ

ПРОГНОЗНЫХ ИССЛЕДОВАНИЙ

5. МОДЕЛИРОВАНИЕ ЭФФЕКТА ГИББСА И ЛОЖНОГО

ОКОНТУРИВАНИЯ НА ИЗОБРАЖЕНИЯХ

6. РАЗРАБОТКА АЛГОРИТМА ПОИСКА БАЗОВЫХ КОНТУРОВ, В

ОКРЕСТНОСТИ КОТОРЫХ ОБНАРУЖИВАЕТСЯ ЭФФЕКТ ГИББСА И

ЛОЖНОЕ ОКОНТУРИВАНИЕ

7. РАЗРАБОТКА СТРУКТУРЫ ТЕСТОВОЙ БАЗЫ ДАННЫХ

ИЗОБРАЖЕНИЙ С ЭФФЕКТОМ ГИББСА И ЛОЖНЫМ

ОКОНТУРИВАНИЕМ

8. ПРОВЕДЕНИЕ АНАЛИТИЧЕСКОГО ОБЗОРА

ИНФОРМАЦИОННЫХ ИСТОЧНИКОВ ПО АРТЕФАКТАМ СЖАТИЯ

ИЗОБРАЖЕНИЙ И МЕТОДАМ ИХ ПОДАВЛЕНИЯ

9. РАЗРАБОТКА СТРУКТУРЫ ТЕСТОВОЙ БАЗЫ ДАННЫХ

ИЗОБРАЖЕНИЙ, СЖАТЫХ JPEG2000 И ДРУГИМИ АЛГОРИТМАМИ, С

ЭФФЕКТОМ ГИББСА И ЛОЖНЫМ ОКОНТУРИВАНИЕМ.

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Введение Артефакт ложного оконтуривания представляет собой волны или осцилляции от высококонтрастных контуров на изображениях. Этот артефакт вызван искажением или потерей высокочастотной информации на изображениях и встречается в широком наборе классов изображений, например, на изображениях, полученных в результате подавления эффекта размытия, на изображениях магнитно-резонансной томографии, на изображениях, подвергнутых передаче через аналоговые каналы связи, и многих других. В математических методах обработки изображений этот артефакт также называют эффектом Гиббса.

Эффект Гиббса и ложное оконтуривание обычно возникают после действия различных алгоритмов обработки изображений. Наиболее часто артефакт ложного оконтуривания возникает после сжатия с потерями [1]. В зависимости от класса сжимаемых изображений, уровня и алгоритма компрессии, данный артефакт может быть как практически незаметным, так и раздражающим. Чрезмерно сильное повышение резкости контуров на размытых изображениях может также привести к неприятным окаймлениям возле контуров.

В некоторых случаях на исходных изображениях уже присутствует артефакт ложного оконтуривания, например на изображениях магнитно-резонансной томографии. Результатом томографии является частотно-фазовая информация об изображении. При реконструкции магнитно-резонансных изображений в пространственных координатах эффект Гиббса возникает при недостаточной частоте сэмплирования. В аналоговых стандартах телевещания, таких как NTSC, PAL, SECAM, передаваемый сигнал состоит из яркостной компоненты (Y) и цветовых компонент (U и V). По сравнению с яркостной компонентой, частотная полоса, отводимая под цветовые компоненты, существенно уже [2]. Ограниченная полоса пропускания сигнала приводит к потере высокочастотной информации в цветовых компонентах и цветовому окаймлению контуров. Помимо этого, при недостаточно качественном сигнале, возможно появление окаймления и в яркостном канале (Y). Также многие современные телевизоры обладают фильтрами повышения резкости изображений, в реальной ситуации же эти фильтры приводят к чрезмерному контрастированию контуров с появлением артефакта ложного оконтуривания.

Типичные примеры эффекта Гиббса и ложного оконтуривания приведены на рис. 1.

Рис. 1. Пример изображений с артефактом ложного оконтуривания.

Быстрый прогресс в области компьютерной техники позволяет применять для решения задач обработки и анализа изображений вс более современные математические методы. Более того, многие достижения в области обработки и анализа изображений во многом связаны именно с применением математических методов. Математические методы, ранее возникшие и развившиеся при решении задач в различных прикладных областях, являются ценным источником для создания новых мультимедийных алгоритмов, в частности для создания алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях.

Высокая производительность компьютеров в настоящее время дат возможность в реальном времени использовать сложные итерационные методы обнаружения и подавления эффекта Гиббса и ложного оконтуривания.

Целью работы является разработка алгоритмов оценки и подавления эффекта Гиббса и ложного оконтуривания на изображениях.

Необходимым условием для разработки алгоритмов оценки и подавления эффекта Гиббса и ложного оконтуривания на изображениях является проведение аналитического обзора и анализа современной литературы в предметной области исследования, на основании чего должны быть выбраны методы и пути решения поставленной задачи.

Проведнный анализ современной литературы по теме исследования показал, что эффект Гиббса и ложного оконтуривания, полученный в результате действия различных алгоритмов обработки изображений, имеет существенные различия. Наиболее эффективным решением для разработки алгоритма обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях был выбран комплексный подход, адаптивный к типу артефакта ложного оконтуривания. Комплексный подход заключается в интеграции деталей алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания различных типов в единый алгоритм.

Для создания комплексного алгоритма обнаружения и подавления эффекта Гиббса на изображениях необходимо создание тестовой базы данных с изображениями, содержащими эффект Гиббса и ложное оконтуривание, вызванные различными алгоритмами обработки изображений для различных классов изображений. База данных позволит выявить характеристики, общие как большого класса типов артефакта ложного оконтуривания, так и характеристики, специфичные для конкретных типов артефакта ложного оконтуривания.

1. Аналитический обзор и анализ современной литературы В современной литературе рассматриваются две основные подзадачи в предмете исследования:

детектирование эффекта Гиббса и ложного оконтуривания;

подавление эффекта Гиббса и ложного оконтуривания.

Большинство работ совмещают в себе обе подзадачи. Также часть работ посвящена только метрикам эффекта Гиббса и ложного оконтуривания.

В связи с тем, что артефакт ложного оконтуривания может сильно различаться в зависимости от источника его возникновения, в современной литературе задачи обнаружения и подавления артефакта рассматриваются отдельно для каждого из источников. Работы по обнаружению и подавлению эффекта Гиббса можно разбить на следующие группы:

общие методы подавления эффекта Гиббса и ложного оконтуривания обнаружение и подавление эффекта Гиббса и ложного оконтуривания после повышения резкости изображений, обращения свртки и обнаружение и подавление эффекта Гиббса на магнитно-резонансных обнаружение и подавление артефакта ложного оконтуривания на специальных изображениях обнаружение и подавление эффекта Гиббса после JPEG-сжатия обнаружение и подавление эффекта Гиббса после JPEG2000-сжатия 1.1. Детектирование эффекта Гиббса и ложного оконтуривания Одной из главных подзадач обработки и анализа эффекта ложного оконтуривания является его обнаружение и оценка уровня на изображении. В настоящее время не существует универсальных методов, решающих данную проблему: существующие алгоритмы обнаружения и подавления эффекта ложного оконтуривания ориентированы на обнаружение и подавление эффекта для конкретного метода обработки изображений. При этом алгоритмы подавления эффекта ложного оконтуривания требуют от пользователя задания параметра — уровня подавления эффекта ложного оконтуривания.

Различают две категории метрик: метрики, использующие эталонное изображение для сравнения, и метрики, которым дополнительная информация не требуется. В первом случае фиксируется отклонение изображения от оригинала. В случае метрик, не требующих дополнительной информации, фиксируется некоторое абсолютное значение, связанное с конкретным изображением и согласуемое с человеческим восприятием.

В основном исследования проводились по относительным метрикам.

Трудность оценки качества без сравнения с эталоном заключается в самой природе подобных измерений, поскольку грань между деталями изображения и артефактами очень тонка.

В [3] предложена метрика оценки эффекта ложного оконтуривания на изображениях, сжатых по алгоритму JPEG2000, с использованием оригинального изображения, заданная в пространственной области и направленная на измерение осцилляций вокруг контуров. Для каждого контура, найденного при помощи детектора контуров, вычисляются значения правой и левой ширины контура сканированием строк изображений, затем вычисляется значение метрики как где FixedRingwidth — априорная оценка эффекта ложного оконтуривания, характерного для конкретного вейвлет-разложения; D — разница между исходным и сжатым изображениями. Показано, что для вычисления значения метрики достаточно рассматривать только вертикальные контура. Увеличение количества направлений контуров не дает улучшения результата и только приводит к лишним вычислениям.

В работе M. Balasubramanian et al. [4] сначала находятся контуры на исходном изображении при помощи детектора контуров Канни. Далее найденные контуры подвергаются операции морфологического расширения. В качестве оценки эффекта ложного оконтуривания берется разница между исходным и сжатым изображениями в областях, попавших в полученную бинарную маску.

В [5] проводится анализ корреляции между соседними пикселями при вейвлет-разложении изображения. Показывается, что эффект ложного оконтуривания уменьшает значение корреляции. Для исходного и сжатого изображений на каждом уровне вейвлет-разложения вычисляются значения корреляции по методу Пирсона. Если значение корреляции для исходного изображения превышает значение корреляции для сжатого изображения, это означает присутствие эффекта ложного оконтуривания. В качестве численной оценки берется взвешенная сумма оценок эффекта ложного оконтуривания на разных уровнях вейвлет-разложения.

В работе Li [6] предлагается использовать в качестве метрики процент высокочастотной энергии на изображении. При таком подходе не требуется наличие исходного изображения, но модель не учитывает никакие особенности изображения.

В [7] для изображений, сжатых по алгоритму JPEG, предлагается система создания карты эффекта ложного оконтуривания, которая состоит из четырех основных шагов. На первом этапе проводится детектирование контуров. На втором этапе проводится сегментация изображения на три класса: контуры; области с потенциальным эффектом ложного оконтуривания, находящиеся вокруг контуров;

однородные области. Далее происходит кластеризация однородных областей по цветовым и текстурным характеристикам. На третьем шаге каждой области с потенциальным эффектом ложного оконтуривания ставится в соответствие одна из частей однородной области изображения. На последнем шаге для каждой области r с эффектом ложного оконтуривания вычисляется значение видимости эффекта на основе подсчета величины "активности области" r и общего порогового значения th для всей области r, М — размер блока (М=64 для JPEG). В итоге оценка эффекта ложного оконтуривания вычисляется как где W(x,y) — окрестность пикселя (x,y); ri — область с эффектом ложного оконтуривания с iым наибольшим значением отношения r/th; N — количество выбранных областей с наибольшими значениями отношения r/th.

1.2. Общие методы подавления эффекта Гиббса и ложного оконтуривания Разработка общих методов подавления эффекта Гиббса и ложного оконтуривания во многих случаях не является эффективной, т.к. не учитывает особенности артефакта ложного оконтуривания. Тем не менее, существует ряд работ, в которых предложены эффективные методы подавления артефакта ложного оконтуривания в общем случае.

В [8] для подавления эффекта ложного оконтуривания и сохранения контуров предложен простой подход, основанный на адаптивном сглаживании изображения вокруг контуров. Алгоритм состоит из двух шагов: на первом шаге производится детектирование контуров; на втором шаге для всех найденных точек контуров производится сглаживание их окрестности как где у — пересчитанное значение центрального пикселя фильтрационного окна; R — множество попавших в окно пикселей, соединенных с центральным и не принадлежащих контуру; N — количество пикселей в R. Главный недостаток такого подхода заключается в том, что размер фильтра должен меняться в зависимости от степени присутствия эффекта ложного оконтуривания.

В [9] предложен метод, основанный на анализе особенностей изображения для формирования фильтра с адаптивным ядром. Для подсчета коэффициентов пространственными весами по аналогии с билатеральной фильтрацией. Параметры для расчета коэффициентов фильтра выбираются исходя из ряда методов обработки изображений: анализа главных компонент, комбинированного метода детектирования контуров при помощи градиента изображения и лапласиана.

Основываясь на вышеуказанных методах, строятся бинарные карты изображения, отражающие области с различными особенностями: однородные, текстурированные, граничные, подверженные эффекту ложного оконтуривания. В каждой из этих областей форма фильтра адаптируется для достижения максимального качества фильтрации изображения.

1.3. Обнаружение и подавление эффекта Гиббса и ложного оконтуривания после повышения резкости изображений, обращения свртки и подавления шума В [10] предложен статистический метод подавления эффекта ложного оконтуривания, появившегося в результате повышения разрешения изображения или его сжатия по алгоритму JPEG. Метод развивает подход, основанный на априорной оценке пространственного градиента/локальной неоднородности.

Вычисление пространственного градиента позволяет эффективно обнаруживать четкие контуры на изображении. Информация о локальной неоднородности успешно определяет нарушения связности даже достаточно малых объектов на изображении. Таким образом, оптимальное значение Х* определяется как максимальная апостериорная оценка где Y — сжатое изображение, U(X) — априорная оценка энергии изображения, полученная на основе подсчета пространственного градиента и локальной неоднородности;, — параметры модели.

В [11] решается проблема подавления эффекта ложного оконтуривания при повышении резкости изображения. В основном контрастность контура повышается за счет увеличения яркости светлой стороны и понижения яркости темной стороны, что может привести к выбросам по обе стороны контура и как следствие эффекту ложного оконтуривания. Контроль влияния данного эффекта осуществляется за счет использования информации о локальной динамике изображения. Если предварительное значение интенсивности пикселя, посчитанное по окрестности фиксированного размера N, выходит за рамки допустимых значений, оно модифицируется как где I(x,y) — исходное изображение; U(x,y) — изображение с повышенной резкостью; sharp, — параметры алгоритма. Алгоритм довольно прост в реализации и позволяет достаточно качественно и быстро подавить эффект ложного оконтуривания при удачном выборе параметров.

В [12] предлагается новый алгоритм, который позволяет контролировать эффект ложного оконтуривания при обращении свертки изображения с некоторой функцией рассеяния точки. Предложенный метод использует информацию как из исходного размытого изображения, так и восстановленного при помощи популярного метода Ричардсона-Люси [13]. Отдельно рассматриваются ближние и дальние осцилляции, подавление которых проходит в три этапа:

1) на первом этапе сегментируются области с дальними осцилляциями как области с небольшим количеством слабых контуров на исходном размытом изображении;

2) окрестности контрастных контуров на восстановленном изображении помечаются как области ближних осцилляций;

3) ко всем помеченным областям применяется специальный сглаживающий фильтр.

1.4. Обнаружение и подавление эффекта Гиббса на магнитнорезонансных изображениях Технология магнитно-резонансной томографии (МРТ) является методом посредством его многократного просвечивания в различных пересекающихся направлениях.

пространственной области, а его интегральное преобразование, по которому может быть вычислено преобразование Фурье. Для снижения времени томографического сканирования уменьшают число шагов кодирования. Это приводит к неполной усеченным данным приводит к изображению с ограниченным разрешением, на котором присутствует эффект ложного оконтуривания.

Для подавления этого нежелательного эффекта были разработаны многие алгоритмы, основанные на Гегенбауэровской реконструкции, регуляризирующих математической статистики [10].

дискретизации, большинство применимых на практике приложений все же основываются на получении данных на относительно разреженной сетке как минимум по одному из измерений, тем самым приводя к нежелательным артефактам.

разработаны многие методы [16], [17], [18], [19]. Однако в большинстве коммерчески доступных МР-систем применяется только простейшая фильтрация данных. В таких случаях применяется размытие для визуального улучшения качества изображения, но это ведет к нежелательной потере информации.

Альтернативой вышеописанному служат методы экстраполяции измеренных данных, что позволяет избежать резкой обрезки данных в частотном пространстве [20], [21], [22], [23]. Ключевым отличием такого подхода от фильтрации является сохранение исходных данных неизменными и дополнение их синтетическими, что вполне оправдано, поскольку измеренные данные являются не ложными, но только неполными.

В [18] производится исследование возникновения эффекта ложного оконтуривания на изображениях, полученных при помощи МРТ, предлагается метод фильтрации исходных данных для дальнейшей Фурье-реконструкции:

где р — порядок фильтра; — сила фильтра (обычно =32). Экспоненциальный фильтр выбран в силу высокой точности его поведения на неоднородностях. В работе представлены подробные анализы процессов детектирования контуров на МРТ-изображениях и Гегенбауэровской реконструкции, а также предложения по их улучшению.

В работе [24] описывается обратный метод реконструкции полиномами (IPRM) спектральных данных [25], [26]. Представлен анализ Гегенбауэровской реконструкции и показано его неполное соответствие для решения поставленной задачи. Классический метод Гегенбауэра подразумевает экстраполяцию данных по известным (m+1) отчетам как где Cl x — Гегенбауэровский полином порядка l; f l — коэффициенты, вычисляемые приближенно на основе Фурье-экстраполяции известных значений f x на сетке. Главным недостатком такого подхода является необходимость подбора параметров m и для плавного убывания спектра. В работе предложено заменить полиномы Гегенбауэра на Чебышевские полиномы, что позволяет избавиться от подбора параметра. Также предложен улучшенный метод детектирования контуров за счет фильтрации спектральных данных.

Основываясь на теории обработки сигналов и статистических методах, Lei et al. [27] представили доказательства следующих утверждений:

статистически независимыми с нормальным распределением;

асимптотически независимы;

3) амплитуда коэффициентов корреляции между интенсивностями пикселей изображения экспоненциально убывает с возрастанием расстояния между пикселями. Отмечено, что при подавлении эффекта ложного оконтуривания значение корреляции увеличивается.

В [28] предложен метод экстраполяции данных, который сводится к решению задачи минимизации полной вариации. На практике МРТ-изображения распределением), и для таких случаев модификация алгоритма предполагает предварительную операцию шумоподавления с максимальным сохранением контуров за счет допущения малых отклонений от измеренных данных.

1.5. Обнаружение и подавление артефакта ложного оконтуривания на специальных изображениях Существуют работы, касающиеся обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях специального вида, например:

1) Изображения с однородными областями, разделнными контрастными контурами. Такие изображения характерны для мультфильмов [29].

2) Изображения, полученные с радаров при геологической разведке [30].

3) Изображения с неоднородным артефактом ложного оконтуривания [31].

В работе G. Wang et al. [29] рассматривается задача подавления эффекта ложного оконтуривания на мультипликационных изображениях, сжатых при помощи алгоритмов, основанных на дискретном косинусном преобразовании.

Вместо того, чтобы проводить постобработку изображения, предлагается синтезировать улучшенное изображение с использованием Марковских случайных полей. Основная идея метода заключается в поиске отношения между исходными и сжатыми изображениями, для чего генерируется обучающее множество пар изображений и формируется вектор признаков для нахождения областей, подверженных эффекту ложного оконтуривания. Синтезирование улучшенного изображения происходит попиксельно. Метод неитерационный, что позволяет избавляться от артефактов за очень короткий промежуток времени.

В работе [31] для разделения объектов, движущихся с разной скоростью, при наличии размытия вследствие движения, используется метод классификации эффекта Гиббса при обращении свртки. Для оценки эффекта Гиббса в блоке на изображении вычисляется сумма вертикальных и горизонтальных абсолютных значений производных, затем бертся наибольшая из этих сумм.

2. Проведение патентных исследований Отчт по проведнному патентному поиску в области исследования приложен отдельно.

В рассмотренных патентах представлены методы обнаружения и подавления эффекта ложного оконтуривания и их применение в системах обработки изображений. Рассмотрены методы решения задач пост-обработки изображений, восстановленных после сжатия с использованием дискретных косинусного и вейвлет преобразований; после повышения резкости изображений; после повышения разрешения изображений. Представлены методы улучшения качества видеосигналов, подверженных влиянию эффекта ложного оконтуривания.

В ходе анализа патентов не было обнаружено работ, посвященных только детектированию или оценке эффекта ложного оконтуривания, а также работ, посвященных общим методам подавления эффекта ложного оконтуривания, не накладывающим ограничения на класс изображения.

Все работы в той или иной мере подразумевают использование процедуры обнаружения границ на изображении. Некоторые работы используют традиционные методы Собеля или Канни, в некоторых работах предлагаются специальные процедуры обнаружения границ, учитывающие особенности изображения.

Аналогичным образом всем работам, которые подразумевают обработку изображений в пространственной области, присуще использование адаптивных низкочастотных фильтров в окрестностях границ на изображении.

Большинство работ, которые посвящены подавлению эффекта ложного оконтуривания после сжатия, основанного на дискретном косинусном преобразовании, подразумевают классификацию блоков пикселей и дальнейшую их адаптивную обработку. Стоит отметить, что все методы этого раздела так или иначе включают в себя этап подавления эффекта блочности, возникающего вследствие самой сути метода сжатия, и процедура подавления эффекта ложного оконтуривания применяется к уже предварительно обработанному изображению.

Процедура пост-обработки изображения подразумевает разделение блоков на однородные, текстурные и содержащие границы, что чаще всего производится на основе анализа статистических характеристик блока. Далее к каждому блоку в зависимости от его типа применяется адаптивный сглаживающий фильтр.

Большинство работ, которые посвящены подавлению эффекта ложного оконтуривания после сжатия, основанного на дискретном вейвлет-преобразовании, подразумевают корректирование квантованных коэффициентов обратного преобразования с учетом шумовой составляющей изображения.

При обработке видеосигналов для анализа областей, подверженных влиянию эффекта ложного оконтуривания, а также для подавления этого эффекта, в некоторых методах рассматриваются не только пространственные окрестности пикселей, принадлежащих границам изображения, но и эволюция интенсивности пикселя во времени.

К достоинствам рассмотренных методов стоит отнести их относительную вычислительную простоту и возможность интегрирования в системы обработки и повышения качества изображений.

Проведенные патентные исследования показали перспективность продолжения исследований, проводимых в рамках работы Исследования и разработка методов автоматического обнаружения и подавления артефакта ложного оконтуривания для современных технологий компьютерной обработки изображений. Рассмотренные патенты показывают, что заявленные фундаментальные результаты и разрабатываемые алгоритмы являются патентно чистыми, соответствуют мировому уровню и могут быть эффективно применены в практике.

3. Исследование, обоснование и выбор методов и средств, направления исследований и способов решения поставленных задач, включая теоретическое исследование путей создания алгоритма обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях На основании проведнного анализа современной литературы были исследованы пути создания алгоритма обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях. Высокую эффективность имеют алгоритмы, основанные на использовании полной вариации изображения.

Планируется использование следующих методов и средств при разработке алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях:

1. Методы проектирования на множества изображений с ограниченной полной вариацией. Проецирование на выпуклые множества широко используется в задачах обработки изображений как один из регуляризирующих методов. Одним из преимуществ этого метода является возможность явного задания регуляризирующего параметра в некоторых случаях. Планируется использовать данный метод как для разработки алгоритма подавления эффекта Гиббса и ложного оконтуривания на изображениях, так и для алгоритмов моделирования эффекта Гиббса и ложного оконтуривания, например, для регуляризирующего алгоритма подавления эффекта размытия.

2. Методы минимизации выпуклых недифференцируемых функционалов.

При моделировании эффекта Гиббса и ложного оконтуривания на изображениях и при проецировании на выпуклые множества возникает задача минимизации недифференцируемых функционалов, для которых неприменимы обычные градиентные методы. Для минимизации таких функционалов используются субградиентные методы [32].

3. Методы численного дифференцирования дискретных функций.

Изображения подвержены воздействию шумов различной природы. Наиболее часто встречаются тепловой шум сенсоров камер, шум квантования при переходе к дискретным значениям интенсивностей пикселей, помехи при передаче аналогового сигнала. При вычислении производных на изображении разностными методам важно соблюсти баланс между погрешностью аппроксимации и ошибками, вызванными шумом.

4. Метод быстрой свртки с фильтром Гаусса. Фильтр Гаусса обладает рядом свойств (сепарабельность, радиальная симметричность, совпадение с образом преобразования Фурье с точностью до масштаба), благодаря которым он нашл широкое применение в задачах обработки изображений. Вычисление фильтра Гаусса с большим радиусом требует значительных временных затрат, однако возможно приближнное вычисление фильтра Гаусса с помощью рекуррентных алгоритмов с приемлемой точностью.

5. Метод оценки ширины контуров. Одной из составных частей алгоритма обнаружения и оценки артефакта ложного оконтуривания является вычисление ширины осцилляций артефакта ложного оконтуривания. Наиболее эффективно оценивать ширины осцилляций артефакта ложного оконтуривания через ширину контуров, т.к. контуры имеют значение амплитуды выше, чем осцилляции эффекта Гиббса, а значит, выше наджность работы алгоритма при наличии шума.

6. Методы математической морфологии. Математическая морфология используется в работе для нахождения областей на изображении, в которых обычно возникает эффект Гиббса и ложного оконтуривания. Помимо этого, методы математическая морфология используются для шумоподавления.

7. Быстрое преобразование Евклидового расстояния. Наиболее эффективно вычисление морфологического сужения и расширения с круговым структурным элементом с помощью быстрого преобразования Евклидового расстояния, позволяющего за O(N ), где N — число пикселей изображения, для каждого пикселя изображения вычислить расстояние до ближайшего пикселя произвольного множества.

4. Сравнительная оценка вариантов возможных решений исследуемой проблемы с учтом результатов прогнозных исследований Проведнный анализ современной литературы по теме исследования показал, что эффект Гиббса и ложного оконтуривания, полученный в результате действия различных алгоритмов обработки изображений, имеет существенные различия. Для каждого типа артефакта ложного оконтуривания нужно разрабатывать методы обнаружения и подавления с учтом специфики возникающей задачи.

Разработка множества методов обнаружения и подавления для каждого конкретного типа артефакта ложного оконтуривания требует больших затрат ресурсов. В реальных условиях, когда тип артефакта ложного оконтуривания априори неизвестен, такой подход потребует разработки алгоритма классификации типов артефактов ложного оконтуривания. Помимо этого возможна ситуация, когда может встретиться артефакт ложного оконтуривания нового типа, для которого нет разработанного алгоритма. В этом случае подавление эффекта Гиббса и ложного оконтуривания будет невозможным.

Для разработки алгоритма обнаружения и подавления эффекта Гиббса и ложного оконтуривания на изображениях необходима разработка комплексного подхода, адаптивного к типу артефакта ложного оконтуривания. Комплексный подход заключается в интеграции деталей алгоритмов обнаружения и подавления эффекта Гиббса и ложного оконтуривания различных типов в единый алгоритм.

Для создания комплексного алгоритма обнаружения и подавления эффекта Гиббса на изображениях необходимо создание тестовой базы данных с изображениями, содержащими эффект Гиббса и ложное оконтуривание, вызванные различными алгоритмами обработки изображений для различных классов изображений. База данных позволит выявить характеристики, общие как большого класса типов артефакта ложного оконтуривания, так и характеристики, специфичные для конкретных типов артефакта ложного оконтуривания.

Необходимым действием является разработка программы и методики тестирования разрабатываемых алгоритмов обнаружения и оценки эффекта Гиббса на изображениях. Важным является корреляция между субъективным восприятием артефакта ложного оконтуривания и объективным результатом, выдаваемым разрабатываемым алгоритмом обнаружения и оценки эффекта Гиббса и ложного оконтуривания на изображениях. Для оценки субъективного восприятия используются субъективные оценки (mean opinion score), однако для большого числа изображений в базе такой подход не является оправданным, т.к. требует вовлечения большого количества людей. Альтернативой является разработка референсного алгоритма обнаружения и оценки артефакта ложного оконтуривания, проводящего сравнение оцениваемого изображения с референсным изображением высокого качества, однако при этом не гарантируется высокая корреляция с субъективной оценкой артефакта ложного оконтуривания. Наилучшие результаты могут быть достигнуты при использовании следующего подхода, сочетающего в себе оба метода оценки артефакта ложного оконтуривания:

1. Создание базы данных изображений как с реальным, так и с моделированным эффектом Гиббса и ложным оконтуриванием.

2. Вычисление субъективных оценок для части изображений базы.

3. Разработка референсного алгоритма оценки артефакта ложного оконтуривания, дающего оценку, наиболее близкую к субъективной оценке, и его тестирование.

4. Разработка общего алгоритма оценки артефакта ложного оконтуривания, не использующего референсное изображение. При этом полученные в п.2 и п. оценки принимаются в качестве эталонных.

5. Моделирование эффекта Гиббса и ложного оконтуривания на изображениях Необходимым условием для разработки методов обнаружения и подавления эффекта ложного оконтуривания на изображениях является создание базы данных изображений с эффектом ложного оконтуривания, полученного в результате действия различных алгоритмов обработки изображений.

Наиболее логичным является моделирование эффекта Гиббса и ложного оконтуривания с помощью различных алгоритмов обработки изображений, используемых на практике. При этом важно охватить большинство способов, приводящих к возникновению эффекта ложного оконтуривания.

В работе мы рассматриваем следующие способы получения изображений с эффектом Гиббса и ложным оконтуриванием:

низкочастотных фильтров на изображение. При этом эффект Гиббса проявляется в виде чередующихся полос возле резких контуров.

2. Моделирование эффекта ложного оконтуривания при повышении разрешения изображений. Изображение уменьшается в определнное число раз, затем увеличивается до исходного размера.

3. Моделирование эффекта ложного оконтуривания при подавлении размытия. Изображение подвергается действию оператора размытия, затем к изображению добавляется шум, после чего к изображению применяются алгоритмы повышения резкости.

4. Моделирование эффекта ложного оконтуривания при повышении локального контраста.

компрессии изображений.

6. Получение изображений с эффектом ложного оконтуривания в реальных 7. Также рассматривается специальный случай моделирования эффекта ложного оконтуривания при обработке радиально-симметричных изображений с помощью полиномов Лагерра.

5.1. Получение ложного оконтуривания в чистом виде 5.1.1. Идеальная низкочастотная фильтрация (Фурье).

Эффект Гиббса в чистом виде проявляется при отсечении высокочастотной информации изображения в спектре преобразования Фурье [33]:

где N x и N y — размеры изображения.

Если все частоты выше Hz удалены при преобразовании Фурье, то при обращении дискретного преобразования Фурье возникает эффект Гиббса, а контуры размываются. Ширина одиночной осцилляции эффекта Гиббса и ширина контура равны p пикселям. Пример отсечения высокочастотной информации показан на рис. 2. Хотя число осцилляций эффекта Гиббса при отсечении высоких частот является бесконечным, на реальных изображениях обычно заметно не более 1–2 осцилляций.

Будем называть параметр p параметром отсечения.

Модуль дискретного преобразования Фурье:

Рис. 2. Возникновение размытия и эффекта Гиббса после отсечения Полный алгоритм моделирования эффекта Гиббса при отсечении частот выглядит следующим образом:

1. Домножение изображения f x, y на весовое окно Хемминга:

Дискретное преобразование Фурье предполагает, что функция является периодической с периодом, равным размеру изображения. При периодическом продолжении изображения на границах изображения возникают стыки, которые приводят к возникновению эффекту Гиббса возле границы изображения.

Использование весового окна позволяет уменьшить этот эффект.

2. Применение дискретного преобразование Фурье Изображение g w1,w2 является комплекснозначным изображением размера N x N y. В силу периодичности преобразования Фурье мы будем рассматривать не w2 соответственно.

3. Отсечение высокочастотной информации 4. Применение обратного дискретного преобразования Фурье 5. Деление изображения на весовое окно Хемминга 5.1.2. Разложение по полиномам Эрмита.

При разложении изображения по функциям Эрмита [34] эффект Гиббса возникает, если число функций, используемых в разложении, недостаточно для представления изображения. Возникающий эффект аналогичен эффекту Гиббса для тригонометрических рядов, но в качестве частотной информации в данном методе используются коэффициенты разложения в ряд по функциям Эрмита – собственным функциям непрерывного преобразования Фурье.

Функции Эрмита удовлетворяют необходимым условиям для обработки непрерывных изображений, так как они образуют полную ортонормированную в L2 (, ) систему функций.

Функции Эрмита определяются как:

Они также могут быть определены следующими рекуррентными формулами:

Графики функций Эрмита выглядят следующим образом (см. рис. 3):

Двумерные функции Эрмита определяются следующей формулой:

Они образуют полную ортонормированную систему функций в пространстве L2 (, ) L2 (, ). Исходное изображение может быть разложено в ряд по функциям Эрмита следующим образом:

где Если ограничить число функций, используемых в разложении, возникает эффект Гиббса.

Приведем алгоритм моделирования эффекта Гиббса при разложении изображения в ряд по функциям Эрмита. Поскольку двумерные функции Эрмита являются сепарабельными, разложение изображения в ряд по двумерным функциям может быть представлено как суперпозиция одномерных разложений.

Рассмотрим одномерный алгоритм разложения изображения по функциям Эрмита, называемый одномерной проекционной фильтрацией.

В одномерной проекционной фильтрации изображения строки изображения обрабатываются по очереди.

Во-первых, мы должны убрать базовые линии, потому что Таким образом, если мы имеем изображение I[j,i], i=0..width, j=0..height, то тогда базовые линии можно определить как (см. рис. 4):

вычисленную базовую линию из исходных данных и центруем результат относительно оси градаций.

Теперь полученное изображение готово для дальнейшей обработки.

Перейдем к аппроксимации строк изображения с помощью функций Эрмита.

На этом этапе, мы должны выбрать число функций Эрмита для фильтрации.

Далее мы растягиваем наш отрезок аппроксимации [ A0, A0 ] до отрезка [ A1, A1 ], определенного по следующему критерию:

где n — число функций Эрмита, используемых для аппроксимации.

Потом мы раскладываем функцию базовой линии из j уровня исходного изображения, в ряд Фурье по функциям Эрмита (рис. 4):

преобразования Фурье, то мы получаем и аппроксимацию преобразования Фурье для j уровня исходного изображения.

изображение с одномерной фильтрацией. Число функций для всех линий берется одинаковое. Поэтому полученный шаблон определяется базовыми линиями и коэффициентами разложения для каждой линии.

Если мы рассмотрим полученный шаблон исходного изображения как новое изображение, повернутое на 90o, и проведем для него все предыдущие вычисления, мы получим изображение с двумерной фильтрацией. Число функций для второго прохода может быть отличным от числа функций, используемых на первом проходе. Следовательно, полученный двумерный шаблон определяется только базовыми линиями и коэффициентами разложения для каждого столбца одномерного отфильтрованного шаблона.

На рис. 4 изображены исходное изображение и результат проекционной фильтрации с использованием 80 функций Эрмита на первом проходе и функций Эрмита на втором проходе для изображения размера 255х172. Также на рис. 4 изображена 30 строка изображения, базовая линия, вычисленная для данной строки, и результат аппроксимации данной строки с помощью 80 одномерных функций Эрмита.

Исходное изображение Результат проекционной фильтрации с Базовая линия (толстая линия) Аппроксимированная линия (толстая и исходная линия (тонкая линия) для линия) и исходная линия (тонкая линия) Рис. 4. Возникновение размытия и эффекта Гиббса при разложении изображения 5.2. Повышение разрешения изображений Задачей повышения разрешения изображений в s раз является построение изображения высокого разрешения, которое при уменьшении в s раз даст исходное изображение. Процесс понижения разрешения изображения может быть описан с помощью математической модели.

В цифровой камере изображение проецируется на матрицу, состоящую из светочувствительных элементов (сенсоров), каждый из которых соответствует пикселю на изображении. Значение пикселя ui, j равно суммарной интенсивности непрерывного светового потока попавшего на сенсор:

где h — шаг дискретизации, K ( x, y) — функция усреднения в координатах относительно центра пикселя, называемая также point spread function (PSF), или функцией распределения точки, причм предполагается, что все сенсоры одинаково усредняют световой поток. Для прямоугольных сенсоров функция распределения точки принимает вид Более точным приближением функции распределения точки, которым мы будем пользоваться в дальнейшем, является двухмерная функция Гаусса где радиус (квадратный корень дисперсии 2 ) бертся пропорционально размеру сенсоров = 0 h. Параметр 0 определяется конструкцией камеры, обычно используются значения 0 из интервала [0.4,0.5].

Формула (5.2.1) может быть записана в виде дискретизации:

Рассмотрим случай, когда одно и то же изображение получено с помощью камер с разными размерами сенсоров: h и h / s :

записана в виде продолжение свртки на непрерывную числовую плоскость. При этом остатся лишь зависимость от s :

Если коэффициент масштабирования s целый, то все узлы грубой сетки с шагом h являются узлами исходной сетки h / s. В этом случае для нахождения u достаточно вычислить дискретную свртку:

где Ds — оператор «прореживания»:

Если коэффициент s не является целым, то для вычисления значений пикселей в узлах грубой сетки с шагом h используются методы интерполяции, например, билинейная интерполяция.

Таким образом, при понижении разрешения (5.2.6) изображение сначала подвергается сначала действию низкочастотного фильтра (свртка с фильтром Гаусса), затем происходит отсечение высоких частот при действии фильтра Ds.

Задачей повышения разрешения (ресамплинга) изображений является восстановление изображения высокого разрешения z по изображению низкого разрешения u. При этом основной проблемой здесь является восстановление потерянной при понижении разрешения высокочастотной информации.

преобразование Фурье изображения высокого разрешения является дополнением изображении высокого разрешения возникает эффект Гиббса, причм параметр отсечения будет равен коэффициенту масштабирования:

Мы используем следующие методы повышения разрешения изображений, которые приводят к возникновению артефакта ложного оконтуривания:

1. Билинейная интерполяция 2. Бикубическая интерполяция 3. Интерполяция Ланцоша 4. Регуляризирующий метод повышения разрешения изображений 5.2.1. Билинейная интерполяция представлены в виде где K (t ) — ядро интерполяции [35].

Для билинейной интерполяции Использование данного метода интерполяции не приводит к возникновению эффекта Гиббса и ложного оконтуривания. В базе изображений этот метод используется в качестве контрольного метода.

5.2.2. Бикубическая интерполяция Данный, метод, как и билинейная интерполяция, является линейным методом, и может быть записан в виде (5.2.7), где