На правах рукописи
Таранов Дмитрий Дмитриевич
АЛГОРИТМЫ ОБРАБОТКИ И
МОДЕЛИРОВАНИЯ
ПРОСТРАНСТВЕННО-ВРЕМЕННЫХ
МУЗЫКАЛЬНЫХ АКУСТИЧЕСКИХ СИГНАЛОВ
В ПОМЕЩЕНИИ
Специальности:
05.12.04 – Радиотехника, в том числе системы и устройства телевидения, 01.04.06 – Акустика
Автореферат диссертации на соискание ученой степени кандидата технических наук
Таганрог – 2013
Работа выполнена на кафедре теоретических основ радиотехники радиотехнического факультета Инженерно-технологической академии Федерального государственного автономного образовательного учреждения высшего профессионального образования «Южный федеральный университет».
Научный руководитель: Рыжов В.П., доктор физико-математических наук, профессор Инженерно-технологической академии Южного федерального университета, г. Таганрог.
Официальные оппоненты:
Тимошенко В.И., доктор технических наук, профессор Инженерно-технологической академии Южного федерального университета, г. Таганрог.
Богосов В.А., кандидат технических наук, доцент Ростовского государственного университета путей сообщения, г. Ростов-на-Дону.
Ведущая организация: Федеральное государственное автономное образовательное учреждение высшего профессионального образования Дальневосточный федеральный университет.
Защита состоится «23» декабря 2013 г. в 14 20 в ауд. Д-406 на заседании диссертационного совета Д 212.208.20 при Федеральном государственном автономном образовательном учреждении высшего профессионального образования «Южный федеральный университет» по адресу: пер. Некрасовский, 44, корп. Д, г. Таганрог, Ростовская обл., 347928.
С диссертацией можно ознакомиться в Зональной научной библиотеке Южного федерального университета по адресу: ул. Пушкинская, 148, г.
Ростов-на-Дону, 344065.
Автореферат разослан «» ноября 2013 г.
Ученый секретарь диссертационного совета к.т.н., доцент В.В. Савельев
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность работы Обработка акустических музыкальных сигналов в настоящее время представляет собой обширную область научных исследований, инженерных разработок, программного обеспечения и устройств на стыке таких направлений как акустика, радиотехника, звукорежиссура и других фундаментальных и прикладных наук и технических приложений.
Традиционно задачи звукозаписывающей и техники сводились к наиболее точному воссозданию акустических условий, в которых производилась звукозапись. Однако, на сегодняшний день обработка акустических музыкальных сигналов, включая монтаж, сведение, мастеринг и т.д. имеет, прежде всего, задачу художественного характера. Как правило, звукозапись, в том числе и многоканальная, производится последовательно, т.е. источники звукового сигнала – музыкальные инструменты, голоса исполнителей и художественные звуковые эффекты – записываются по очереди, а не одновременно. Обычно эта запись производится в заглушенном помещении с целью дальнейшей динамической, спектральной и пространственной обработки. Среди приложений пространственной обработки музыкальных акустических сигналов стоит отметить такие, как:
моделирование свойств реальных помещений при создании фонограмм методом наложения;
повышение естественности звучания фонограмм;
задача локализации виртуальных источников звуковых сигналов при создании фонограмм;
повышение оперативности позиционирования источника звукового сигнала в реальном времени при одновременном снижении вычислительных затрат;
создание дополнительных художественных музыкальных эффектов.
В нашей стране проблемой исследования и обработки музыкальных акустических сигналов занимались такие ученые как Алдошина И.А., Меерзон Б.Я., Ковалгин Ю.А., Вологдин Э.И. Среди зарубежных исследователей следует отметить такие имена как Д. Уиллиамс, Б. Вебстер, У. Зольцер, В. Гарднер, Дж.
Блауэрт и др.
Решение задачи пространственного позиционирования музыкальных акустических сигналов сопряжено с существенными сложностями, многие из которых в полной мере не разрешены на сегодняшний день. Первой из таких сложностей является субъективность восприятия музыкальных сигналов слушателем. Под субъективностью подразумевается как вариативность исполнения различного музыкального материала на одних и тех же музыкальных инструментах, так и трудности, связанные с формальным описанием параметров музыкального интонирования, звукоизвлечения и их объективным измерением.
В связи с данными проблемами в данный момент ни в одном из направлений обработки музыкальных сигналов не существует общепринятых моделей динамической и спектральной обработок, а также пространственного позиционирования. Алгоритмы обработки музыкальных сигналов не стандартизованы. Несмотря на достигнутые в ряде приложений значительные успехи (бинауральная звукозапись, достоверно передающие характер реальных помещений реверберационные алгоритмы и т.д.), в большинстве своем они не имеют фундаментальной значимости. Как следствие, исследователи и разработчики алгоритмов обработки музыкальных сигналов зачастую вынуждены исходить из эвристических соображений при подборе параметров алгоритмов в отсутствие накопленной информационной базы.
Также следует отметить такой недостаток многих существующих методов обработки музыкальных сигналов, как чрезмерно формальный подход к задаче, т.е. недостаточный учет специфики музыкальных сигналов и особенностей человеческого слуха и, в частности, особенностей восприятия конкретного музыкального материала.
В сложившейся ситуации возрастающего спроса на звукозаписывающие и звуковоспроизводящие системы в музыкальной сфере для использования в разнообразных приложениях существует необходимость поиска новых подходов к решению данной задачи, обладающих достаточной универсальностью и обеспечивающих достоверностью звучания. Особое значение эта задача имеет для мобильных средств звуковоспроизведения.
Объектом исследования являются музыкальные акустические сигналы, не содержащие информацию о конкретном помещении, в котором они были записаны.
Предметом исследования являются методы обработки музыкальных сигналов с целью их пространственного позиционирования и пространственной окраски в заданном помещении.
Целью диссертационной работы является повышение эффективности пространственного позиционирования и пространственной окраски музыкальных акустических сигналов в заданном акустическом пространстве.
Основными задачами
, которые требуется решить для достижения поставленной цели, являются:
1. моделирование свойств реальных помещений при создании фонограмм методом наложения;
2. повышение естественности звучания фонограмм;
3. увеличение степени локализации виртуальных источников звуковых сигналов при создании фонограмм;
4. обеспечение оперативности позиционирования источника звукового сигнала в реальном времени при одновременном снижении вычислительных затрат.
В диссертационной работе получены следующие новые научные результаты:
1. Предложен метод бинаурального позиционирования источника звукового сигнала с использованием модели ушных раковин.
2. Разработан алгоритм бинаурального позиционирования источника звукового сигнала с использованием передаточной характеристики «искусственной головы», применимый в реальном времени.
3. Предложен алгоритм снижения вычислительных затрат бинаурального позиционирования с возможностью использования в реальном времени.
4. Разработан гибридный реверберационный алгоритм, основанный на использовании импульсных характеристик реальных или математически моделируемых помещений и модели поздних отражений.
5. Разработана методика оценки качества бинаурального пространственного позиционирования с использованием экспертных оценок.
Практическая значимость работы 1. Разработан алгоритм бинаурального позиционирования источника музыкального акустического сигнала относительно слушателя. Показано, что применение данного алгоритма имеет достаточно высокие локационные характеристики. В среднем, погрешность локации во фронтальной полуплоскости составляет 7°, в тыловой полуплоскости – 15°, что более чем на 20% превышает результаты распространенных коммерческих алгоритмов.
2. Разработан алгоритм искусственной реверберации, позволяющий повысить естественность звучания музыкального материала посредством помещения источника звука в акустическую среду, свойства которой максимально приближены к свойствам заданного помещения.
3. Предложен способ снижения вычислительных затрат, требуемых для бинаурального пространственного позиционирования сигнала, понижающий затраты ресурсов более, чем в 103 раз по сравнению с коммерческими сверточными алгоритмами. Алгоритм также позволяет реализовать динамическое пространственное позиционирование источника звукового сигнала в заданном акустическом пространстве.
Методы исследования основаны на использовании аппарата математической статистики, теории сигналов и их цифровой обработки.
Использовались методы компьютерного моделирования, акустики, статистической радиотехники, цифровой обработки сигналов, прикладной статистики, а также некоторые положения психоакустики. Проверка теоретических выводов производилась путем проведения эксперимента с использованием экспертных оценок.
Использование результатов работы Результаты исследований и разработанные программные продукты используются на студии звукозаписи (г. Батайск) для улучшения параметров художественной обработки музыкальных сигналов, а также в учебном процессе кафедры ТОР в курсах «Акустика» и «Компьютерный синтез сигналов и электромузыкальные инструменты» (специальность «Аудиовизуальная техника»).
По результатам выполненных исследований опубликовано 7 работ, в том числе 2 статьи в рецензируемых журналах из списка ВАК РФ и 5 статей и тезисов в материалах Всероссийских научных конференций.
Основные положения, выносимые на защиту:
1. Повышение естественности звучания фонограмм с учетом специфики музыкальных сигналов возможно на основе одновременного учета как реверберационных свойств помещения, так и позиционирования источников звуковых сигналов.
2. Метод бинаурального позиционирования источника звукового сигнала, основанный на использовании междуушных временных задержек и модели ушных раковин, а также передаточной характеристики «искусственной головы», позволяет повысить точность пространственного позиционирования акустических сигналов.
3. Наибольшая естественность звучания музыкальных сигналов при минимальной затрате вычислительных ресурсов достигается при использовании гибридного реверберационного алгоритма, основанного на использовании импульсных характеристик реальных или математически моделируемых помещений и поздних отражений.
Структура и объем работы Диссертационная работа состоит из введения, четырех глав, заключения и списка использованных литературных источников, содержащего наименований. Общий объем работы составляет 141 страниц машинописного текста, включая 56 рисунков и 38 таблиц.
Во введении обоснована актуальность темы, обозначено современное состояние исследований в области пространственной обработки музыкальных акустических сигналов, сформулированы цели исследования, отражены научная новизна и практическая значимость полученных результатов. Также сформулированы основные положения, выносимые на защиту.
В первой главе произведена формальная постановка задачи пространственной обработки музыкальных акустических сигналов. Описаны задачи, возникающие при записи музыкального материала, описаны некоторые особенности слухового восприятия человеческого слуха, а также общие сведения о слуховом аппарате человека. Рассмотрены статистические свойства музыкальных сигналов, приведен анализ спектрограмм различных музыкальных инструментов. Рассмотрены характеристики направленности музыкальных сигналов. При этом показано, что для большинства музыкальных инструментов характерна неравномерность характеристики направленности. Введено понятие аурализации. Отмечено что мотивацией создания систем аурализации является возможность посредством математических преобразований помещение некоторого мнимого источника звукового сигнала в произвольную акустическую среду, что во многих случаях субъективно положительно сказывается на его воспроизведении. Таким образом, возможным является моделирование, например, концертных залов, соборов и т.д., с целью создания максимального эффекта присутствия для слушателя. Рассмотрены известные модели локационных алгоритмов человеческого слуха. Разобраны горизонтальная (азимутальная), вертикальная (угломестная) и глубинная (оценка расстояния до источника) локации. Показана важная роль, которую играют такие физические параметры сигналов, как междуушная временная задержка (Interaural Time Difference - ITD), междуушная интенсивностная разность (Interaural Intensity Difference - IID), возникающая из-за различной величины интенсивностей звуковой волны вследствие дифракции ее вокруг головы слушателя, спектральные различия, возникающие из-за разницы в спектральном составе звуков, воспринимаемых левым и правым ухом, вследствие неодинакового экранирующего влияния головы и ушных раковин на низкочастотные и высокочастотные составляющие сложного звукового сигнала.
На основе приведенной информации выполнена постановка задачи, заключающаяся с одной стороны, в необходимости разработки метода аурализации, для применения которого достаточно мобильной звуковоспроизводящей системы со стереотелефонами, а с другой – аурализационного алгоритма, обладающего определенными преимуществами перед существующими.
Во второй главе производится анализ акустических полей и двумерных акустических сигналов с использованием искусственной головы и моделей слуха. Приводятся известные аурализационные модели: метод лучевой трассировки, метод энергетического перехода и метод виртуального источника.
Предлагается аурализационный алгоритм на основе междуушной временной задержки и модели ушных раковин слушателя. Вводится понятие гамматонового фильтра, используемого при моделировании процессов фильтрации слуховой системой алгоритма.
Под гамматоновым понимается линейный фильтр, имеющий импульсную характеристику, описываемую как синусоидальный сигнал, модулированный по амплитуде гамма-распределением. Данные фильтры широко используется для моделирования процессов фильтрации слуховой системы человека.
Рис. 1 – Импульсная характеристика гамматонового фильтра Импульсная характеристика гамматонового фильтра описывается следующим уравнением:
где – фаза несущего колебания, fc – центральная частота фильтра; n – порядок фильтра; b – ширина полосы пропускания фильтра.
Переменная b зависит от c и вычисляется формуле (2).
В ходе эксперимента несколько последовательно расположенных гамматоновых фильтров образуют блок фильтров, который может быть применен для получения характеристик сигнала на различных частотах. Центральные частоты расположения гамматоновых фильтров выбирались из следующих соображений: центральная частота первого фильтра помещался на центральной частоте исходного сигнала. Центральная частота второго – выше на значение ERB/N, где N – количество гамматоновых фильтров, расположения фильтров, третий – на значение 2ERB/N расположения фильтров и т.д. до достижения верхней граничной частоты первого фильтра. ERB (Equivalent Rectangular Bandwidth) в данном случае – психоакустическая мера ширины полосы фильтров, входящих в состав модели ушной улитки С целью оценки степени статистической связи между сигналами, достигающими левого и правого уха слушателя в условиях, имитирующих реальные, был проведен эксперимент, в котором были получены сигналы, имитирующие реальные, т.е. аурализованные посредством учета междуушной временной задержки ITD и представления модели ушных раковин как фильтров.
Последовательно с применением набора гамматоновых фильтров применялась бинауральная обрабока сигнала: взаимное перемножение сигнала на выходе фильтра для левого и правого каналов как функция частоты и ITD. В качестве тестовых сигналов в эксперименте был использован полосовой третьоктавный шум с центральными частотами 250 Гц, 500 Гц, 1 кГц, 2 кГц, 4 кГц. При обработке сигналов использовалось временное окно Хэмминга длительностью 30 мс с перекрытием 10 мс при частоте дискретизации сигнала 44.1 кГц. Длина преобразования Фурье выбиралась равной – 1024 отсчета. Примеры результатов эксперимента для полосового шума с центральной частотой 250 Гц представлены в Таблице 1 в виде изображений взаимных корреляционных функций (трехмерные и усредненные по частоте коррелограммы), являющиеся информативными оценками степени взаимосвязи левого и правого каналов восприятия.
Приводятся существующие модели реверберационных алгоритмов:
сверточного, на основе рекурсивных цифровых фильтров, с использованием множественных обратных связей.
Рассматриваются модели восприятия искажений музыкальных сигналов.
Приводятся графические результаты эксперимента по расчету корреляционной функции клиппированного и неклиппированного сигнала в частотной области.
Рассматриваются особенности обработки музыкальных сигналов и существующие модели их представления.
Таблица 1. – Результаты моделирования взаимных корреляционных функций для полосового третьоктавного шума на частоте 250 Гц В третьей главе рассматривается моделирование пространственных характеристик слуха на основе модели искусственной головы.
Рассматривается система моделирования трехмерного акустического пространства с использованием функции HRTF (Head-Related Transfer Function), что позволяет учесть дифракция звуковых волн на поверхностях головы, ушных раковин, плеч, человеческого торса. При этом голова слушателя рассматривается как фильтр, а функция HRTF представляет собой передаточную функцию этого фильтра. Спектр сигнала, достигающего каждого уха слушателя, зависит от положения источника звукового сигнала, азимута, угла возвышения и т.д.
Предлагается алгоритм повышения эффективности аурализации.
Описывается эксперимент по записи массива функций HRTF во временной области, приводится последовательность, в которой производился эксперимент, описываются использованные программные и аппаратные средства.
Приводятся подходы к формированию импульсных характеристик функции HRTF, описывается эксперимент по моделированию функций HRTF.
Приводится алгоритм моделирования бинауральных свойств головы слушателя на основе массива HRTF В. Гарднера и K. Мартина, рассматривается упрощение данного алгоритма, уменьшение его вычислительной емкости. Приводятся графики HRTF использованного массива во временной и частотной областях.
Рис. 2 – HRTF во временной и частотной областях, использованные в эксперименте по моделированию бинауральных свойств Рис. 3 – HRTF во временной и частотной областях, использован ные в эксперименте по моделированию бинауральных свойств головы, =30° Представлены графики корреляционных функций в частотной области для каждой пары импульсных характеристик, соответствующих левой и правой ушной раковине слушателя.
Для каждой из пар функций HRTF в частотной области соответствующих радиусу r = 1 м и данному азимуту были построены графики корреляционных функций, показывающих степень линейной статистической связи между мгновенными спектрами импульсных функций, приходящих к левой и правой ушной раковине. С целью упрощения вычислений каждый процесс принимался эргодическим в пределах заданного интервала. Максимальная длина корреляционной функции была принята равной 8 кГц, поскольку на более высоких частотах корреляция практически отсутствовала, что очевидно из рис. 3 – 4.
xn, yn – дискретные значения спектральных функций x(f), y(f) в пределах заданного интервала.
Рис. 4 – Коррелограммы для двух пар импульсных характеристик, соответствующих левой и правой ушной раковине слушателя, при =0° и =30°.
Приводится алгоритм снижения вычислительных затрат алгоритма моделирования бинауральных свойств головы с использованием ФНЧ. Для сокращения вычислительных затрат было использовано известное свойство человеческого слуха, заключающееся в невозможности локализации звуковых сигналов частотой ниже 100 Гц. При этом производилась фильтрация входного сигнала согласно структурной схеме, приведенной на рисунке 5.
В связи с важной ролью реверберации при моделировании характеристик закрытого пространства, особое внимание уделено вопросам моделирование реверберационных свойств заданного помещения. Приводятся модели ревербераторов М. Шредера и Р. Мурера. Разработан гибридный реверберационный алгоритм, структурная схема которого приведена ниже.
Особенностью алгоритма является использование набора фильтров – массива гребенчатых фильтров с последовательно подключенными ФНЧ и фазовых фильтров, а также сверточного алгоритма. Это позволяет значительно повысить естественность результирующего отклика благодаря моделированию как ранних (сверточный алгоритм), так и поздних (набор фильтров) отражений.
«