На правах рукописи
Худойбердиев Хуршед Атохонович
КОМПЛЕКС ПРОГРАММ
СИНТЕЗИРОВАНИЯ ТАДЖИКСКОЙ РЕЧИ ПО ТЕКСТУ
05.13.18 – Математическое моделирование, численные методы
и комплексы программ
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата физико-математических наук
ДУШАНБЕ – 2009
Работа выполнена в Худжандском филиале Технологического Университета Таджикистана
Научный руководитель:доктор физико–математических наук, академик АН РТ, профессор Усманов Зафар Джураевич
Официальные оппоненты: доктор технических наук, профессор Мирзоахмедов Фахриддин кандидат физико–математических наук Хаитов Тельман Ишанович
Ведущая организация: Таджикский национальный университет
Защита состоится 13 мая 2009 г., в 11 час. 00 мин. на заседании диссертационного совета K.047.007.01 при Институте математики Академии наук Республики Таджикистан по адресу: 734063, г. Душанбе, ул. Айни, 299/1.
С диссертацией можно ознакомиться в научной библиотеке Института математики Академии наук Республики Таджикистан.
С авторефератом можно ознакомиться на сайте www.mitas.tj.
Автореферат разослан «_» 2009 г.
Ученый секретарь диссертационного совета У. Х. Каримов
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы. Настоящая диссертация посвящена разработке и созданию прототипа компьютерного синтезатора таджикской речи по тексту.
Потребность в таком синтезаторе обуславливается тем, что его аналоги для других языков не только оказывают помощь людям с дефектами зрения и речи, но также находят все большее применение в технике связи, в информационносправочных системах, а в обозримом будущем займут надлежащее место в широком акустическом диалоге человека с автоматами и робототехникой в разнообразных сферах человеческой деятельности.
Синтезируемая речь ныне воспроизводится различными методами, обладающими как определенными достоинствами, так и недостатками. Всякий речевой синтезатор оценивается по двум основным характеристикам естественности звучания и разборчивости воспроизводимой им речи. При проектировании синтезаторов пытаются учесть именно эти две характеристики.
Одни синтезаторы речи лучше передают естественность звучания, другие понятность. В зависимости от того, для каких целей они предназначаются, в основу их проектирования закладываются различные методы синтеза речи.
Методы эти обычно разделяются на три группы, называемыми артикуляционным, формантным и конкатенативным синтезами.
Представители артикуляционного синтеза в Европе и США пытаются численно смоделировать работу человеческой гортани и происходящих в ней артикуляторных процессов настолько точно, насколько это возможно с тем, чтобы воспроизвести высококачественную синтетическую речь. Формантный синтез, не используя никаких образцов человеческой речи, подражает ей, производя искусственные спектрограммы. Речевое сообщение синтезированной речи создается им при помощи акустической модели. В основе конкатенативного синтеза лежит соединение (или же конкатенация) заранее записанных сегментов естественной речи. Такой синтез является самым простым способом воспроизведения понятной и естественно звучащей синтетической речи.
Различные методы синтеза речи положены в основу компьютерных программ – синтезаторов речи. Относящиеся к разряду "text-to-speech" такие программы по желанию пользователя могут читать мужским или женским голосом тексты, записанные в электронную память, делать при этом интонационные паузы, изменять тон и тембр речи в ходе прослушивания, передавать озвученные тексты через сеть. Вот список наиболее известных компьютерных синтезаторов речи - Reader TTS, Govorilka, ToМ Reader, Sakrament, Talk-To-Me, Text Aloud MP3, SNAT, Book Reader, Speech2, Фонемафон, MP3book2005, Sakrament Talker, Infovox, DECTalk, Bell Labs Textto-Speech, Laureate, SoftVoice, CNET PSOLA, ORATOR, Eurovocs, Lernout & Hauspies, Apple Plain Talk, Acu Voice, CyberTalk, ETI Eloquence, Festival TTS System, ModelTalker, MBROLA, Whistler, NeuroTalker, Listen2, SPRUCE, HADIFIX, SVOX Pfister 1995. SYNTE2 and SYNTE3, Timehouse Mikropuhe, Sanosse, Speaking Mouse, ARGUS, АГАФОН.
О некоторых программах, например, таких как Sakrament Talker, Govorilka, Talk-To-Me, Text Aloud, Speech2 сообщается, что они приспособлены читать вслух тексты на любом языке. Однако при непосредственной работе с ними обнаруживается, что приписываемое им умение на самом-то деле не подтверждается, так как высокое качество синтезируемой речи напрямую связано с учетом специфики озвучиваемого языка, вследствие чего программная система, разработанная для конкретного языка, не может столь же успешно выполнять свои функции по отношению к любому другому языку.
Однако не только это, но также и существенные недостатки, определяемые либо неестественностью звучания, либо недостаточной разборчивостью сообщений, обуславливают актуальность проведения дальнейших исследований по проектированию синтезаторов речи для естественных языков.
Цель работы – создать программный комплекс Tajik Text-to-Speech для автоматического преобразования таджикского текста в озвученную человеческую речь.
Методы исследования. В диссертации синтез таджикской речи основывается на конкатенации озвученных слогов. Для изучения статистических закономерностей таджикского языка, а также для выявления и описания всего многообразия слогов использованы методы системного анализа, математической статистики и статистической лингвистики. При формировании программного комплекса Tajik Text-to-Speech применялись методы проектирования БД, цифровой обработки звуковой информации и программирования.
Научная новизна работы определяется следующими результатами:
Разработан программный комплекс Tajik Text-to-Speech – прототип компьютерного синтезатора таджикской речи по тексту, учитывающий такие характеристики воспроизводимой им речи как естественность звучания и разборчивость.
Установлены статистические закономерности, свойственные многообразию слоговых структур таджикских слов и структур сами слогов;
Дано исчерпывающее описание многообразия всех слогов таджикского языка.
Теоретическая значимость работы состоит в том, что разработанные в ней подходы и алгоритмы эффективно приспосабливаются к решению проблемы синтеза речи по тексту, прежде всего, для индоевропейских, а также для других языков, в которых просодия слова строится по принципу словесного ударения.
Кроме того, в работе создана основа для проведения дальнейших исследований по совершенствованию компьютерного синтезатора таджикской речи.
Практическая значимость программного комплекса Tajik Text-to-Speech подтверждается:
его использованием людьми с дефектами зрения в НПО ПК «Сигма» при Центральном правлении Таджикского общества слепых (после 3-х месяцев предварительного испытания);
его внедрением в учебный процесс на кафедре гуманитарных наук, Худжандского филиала Технологического университета Таджикистана, для углубленного изучения основ грамматики и фонетики таджикского языка.
Практическая значимость работы состоит также в том, что в ней установлена перспективность дальнейшего развития программного комплекса Tajik Text-to-Speech в синтезатор таджикской речи с русизмами;
в синтезатор таджикской речи на основе морфемного лексикона.
Комплекс зарегистрирован Национальным патентно-информационным центром Министерства экономического развития и торговли Республики Таджикистан в качестве интеллектуального продукта 041TJ 04.09.2007 и передан посредническим фирмам для распространения.
Апробация работы. Основные результаты диссертации обсуждались на научно-исследовательских семинарах Института математики АН РТ, а также на научных конференциях Худжандского филиала Технологического университета Таджикистана.
Публикации. Основные результаты диссертации опубликованы в 4-х статьях, из них 2 в соавторстве с научным руководителем З.Д.Усмановым, которому принадлежат постановки задач и обсуждение результатов. Решения задач выполнены автором диссертации.
Структура работы. Диссертация изложена на 113 страницах компьютерного набора, состоит из введения, 3-х глав, 13 таблиц, 8 рисунков, списка литературы из 146 наименований и 4 приложений.
СОДЕРЖАНИЕ РАБОТЫ
Во Введении формулируется цель работы, вкратце характеризуется имеющийся опыт решения проблемы компьютерного озвучивания текстов, излагаются основные результаты диссертации и способы их получения.
В параграфе Концептуальная модель синтеза речи по тексту излагается в виде блок-схемы основная идея построения синтезатора речи по тексту. В нем использованы обозначения: ps - пауза между слогами при произношении слова;
p w - пауза между словами при чтении предложения (соответствует пробелу между словами); pi - пауза, отмечающая внутренний знак препинания (запятая, двоеточие, точка с запятой, тире); pe - пауза, отмечающая внешний знак препинания (точка, многоточие, знак вопросительный, знак восклицательный);
p a - пауза, отмечающая конец абзаца.
Рис.1. Принципиальная блок-схема синтеза речи по тексту.
Изложенная идея заключена в специальный параграф для того, чтобы помочь восприятию содержания последующих глав, в которых описывается решение задач, возникающих в связи с созданием компьютерного синтезатора речи.
Глава 1. О многообразии слогов таджикского языка В этой главе излагаются лингвистические основы синтеза таджикской речи по произвольному тексту. В качестве минимально произносимого элемента речи выбирается слог. Это определяет основную цель настоящей главы описать в явном виде все многообразие слогов таджикского языка. Достижение этой цели основывается на применении статистических методов обработки текстовой информации. В качестве последней в § 1.2 используется репрезентативная выборка объёмом в 3800 страниц, извлеченная из художественных произведений, газетных статьей и специальной литературы на таджикском языке.
В § 1.3 для изучения закономерностей таджикского языка, связанных с понятием слога, вводится понятие слоговой структуры слова. Пусть W какоелибо слово, представляющее собой определенную цепочку букв. Замещая в ней гласные буквы цифрой 1, а согласные – цифрой 0 (буква “й” считается согласной), мы, тем самым, преобразуем слово W в упорядоченную совокупность W0*,1 нулей и единиц. Такое преобразование назовем кодированием слова W, а получаемый результат, т.е. запись W0*,1, - слоговой структурой слова Размерностью структуры W0*,1 будем называть число букв, составляющих слово W, или же число символов (двоичных знаков), которые используются в записи W0*,1. Структуры двух слов назовем одинаковыми, если их представления в двоичной записи тождественны, в противном случае – различными. Вполне понятно, что структуры могут быть одинаковыми только при условии, что они обладают одинаковой размерностью. Очевидно также, что всякому слову W ставится в соответствие один и только один образ W0*,1. В свою очередь, по существу для любого естественного языка, всякому W0*,1 соответствует одновременно несколько слов W. Это значит, что различные слова с одинаковым числом букв могут обладать одинаковой слоговой структурой.
Например, словам “дилшод” (радостный), “кардан” (делать) и т.п.
соответствует одна и та же структура “010010”.
В § 1.4 изучаются статистические закономерности текстовой информации, представленной репрезентативной выборкой § 1.2 объемом в 1724472 слов, каждое из которых предварительно кодируется в форму W0*,1, показывающую его слоговую структуру.
На множестве {W0*,1 } обнаружено 274 различных слоговых структур таджикских слов, при этом 1 и 14 – размерности минимальной и максимальной структур слов, соответственно.
Получено статистическое распределение структур, т.е. установлено соответствие между слоговыми структурами слов и частотами их встречаемости в текстах на таджикском языке.
а 23 структуры - 75%-е покрытия таджикских текстов. Эти данные представлены в таблице 1 (в первой колонке дается номер структуры в порядке убывания частоты её встречаемости, во второй - запись самой структуры и в третьей - процент её встречаемости в текстах).
Установлено также, что 51 структура осуществляют 90%-е, а 76 структур е покрытие таджикских текстов.
Частота встречаемости таджикских слов в зависимости от числа букв Частота в % 0,87 16,14 10,94 11,32 16,95 13,95 12, Из этой таблицы видно, что 2-х и 5-и буквенные слова - наиболее часто встречающиеся в таджикских текстах. Слова с числом букв более 12 – довольно редкие события. Слова с числом букв более 14 в обработанных текстах не встретились, хотя таковые и имеются в таджикском языке.
В § 1.5 выявленные в предыдущем параграфе 274 слоговые структуры таджикских слов разделялись на слоги “вручную” (в согласии с разделением на слоги тех слов, которые подпадали под те или иные структуры). В результате обнаружено всего лишь 9 различных структур слогов – 1, 10, 01, 010, 100, и 001, 0010, 00100. Из них первые шесть свойственны природе таджикского языка, а три последние заимствованы из других языков.
Слоги Частота Из таблицы видно, что двухбуквенные слоги типа да, ба, ро, на, ни, та, ме, ва, ки (в символьной записи - 01) и т.п. являются наиболее часто встречающимися, а трехбуквенные слоги типа абр, илм, ашк, ишк, умр, орд (в символьной записи - 100) и т.п. – особо редкими. Кроме того, слоги 001, 0010 и 00100, заимствованные из других языков, эпизодически появляются в таджикских текстах.
В § 1.6 описывается алгоритм сегментации таджикских слов на слоги. В нем каждое слово W предварительно кодируется в форму W0*,1, а затем с помощью слоговых “шаблонов” таблицы 3 слово разрезается на сегменты.
В § 1.7 изложены результаты автоматической обработки исходной текстовой информации с целью определения всего многообразия таджикских слогов. На 3800 страницах случайной выборки выявлено 3259 различных слогов.
Установлено статистическое распределение слогов в текстах на таджикском языке, т.е. эмпирическое соответствие = (n) между номером каждого из 3259 различных слогов, расположенных в порядке убывания их частот встречаемости, и отвечающей этому номеру частотой (в процентах) встречаемости соответствующего слога. Обнаружено, что 41 слогов, приведенных в таблице 4, покрывают 50% таджикского текста:
Кроме того, 148 слогов покрывают 75% таджикского текста, 204 слога слогов - 90%, а 683 слога покрывают 95% текста. Отметим, что все остальные слоги в совокупности (от номера 684 до 3259) покрывают всего лишь 5% текста. Следовательно, появление каждого отдельно взятого слога из такой совокупности представляет собой чрезвычайно редкое событие.
§ 1.8 посвящен распознаванию ударного слога в таджикском слове. Здесь используются два основополагающих утверждения:
в таджикском языке ударение, в основном, падает на последний слог слова;
неподчиняющиеся основному правилу исключения описываются грамматико-алгоритмическими процедурами.
В § 1.9 дано описание алгоритма автоматического морфемного анализа таджикских слов. Применение морфемного лексикона позволяет обратиться к альтернативному методу синтеза речи, основанному на соединении озвученных морфем, и сравнить качество полученной таким образом синтетической речи с речью, синтезируемой путем конкатенации озвученных слогов.
В § 1.10 изучается слоговая структура русских слов. Потребность в таком исследовании обусловлена тем, что в таджикском языке присутствует большое количество слов, заимствованных из русского языка, в основном – от имен существительных. В этой связи синтезатор речи, настроенный на озвучивание только таджикских слов, неизбежно может столкнуться с такой ситуацией, когда послоговое фрагментирование встретившегося по тексту русского слова произвести не удается.
Глава 2. Компьютерные основы синтеза таджикской речи Цель этой главы – охарактеризовать базу данных и алгоритмическое обеспечение программного комплекса Tajik Text-to-Speech, реализующего синтез таджикской речи конкатенацией слогов. В § 2.1 описывается формирование базы слог-звук. Она составляется из 2 3259 таджикских слогов § 1.7, озвученных двумя профессиональными дикторами – мужчиной и женщиной и сохраненными в формате WAV. В связи с необходимостью оперирования со “стандартизованным” (единообразным) звучанием слогов, с помощью компьютерной программы Cool Edit Pro выполнено редактирование полученных фонем по 3 признакам – по тону, определяемому частотой колебания голосовых связок, громкости, зависящей от интенсивности звука и его частоты, и длительности звучания.
В § 2.2 приводится общая характеристика базы слог-звук. Она занимает 263 Мб памяти на жестком диске, в среднем – 40 Кб на 1 слог. Интервал времени звучания одного слога варьируется в пределах – 250–400 мс, длительности межслоговой и межсловной пауз могут составлять соответственно 20 - 200мс и 200 - 2000мс.
В § 2.3 описан алгоритм озвучивания слова. Поначалу исходное слово с помощью алгоритма § 1.6 сегментируется на слоги. Затем для каждого слога из базы “слог-звук” выделяется соответствующий звуковой файл и затем с их помощью синтезируется звучание слова с расстановкой межслоговых пауз.
В § 2.4 описан алгоритм озвучивания чисел. В связи с тем, что список наименований числовых разрядов незначительный, в рассматриваемом случае вместо базы “слог-звук” используется база озвученных наименований разрядов чисел и соединительные окончания “у” и “ю”. Это позволяет заметно повысить качество восприятия синтезируемой речи в сравнении со способом синтеза путем конкатенации озвученных слогов.
В § 2.5 приведен алгоритм озвучивания таджикского текста. По существу он представляет собой циклическое применение алгоритма озвучивания слова с добавлением междусловных пауз.
В § 2.6 в виде блок-схемы описан алгоритм ударного озвучивания текста.
Алгоритм учитывает особенность расположения ударного слога в таджикском слове. Для большинства слов он является последним слогом основы слова, который и отыскивается с помощью алгоритма. Что касается слов-исключений, то для них сформирована база с указанием позиции ударного слога.
В §§ 2.7 и 2.8 дополнения к главе 2 характеризуются алгоритмы морфемного озвучивания слова и озвучивания таджикского текста с русизмами.
Глава 3. Программный комплекс Tajik Text-to-Speech В § 3.1 дается описание структурной схемы программного комплекса, написанного на языке программирования Visual Basic 6.0.
В § 3.2 приводятся основные функциональные характеристики программы, в которой реализованы следующие возможности:
создание текстового окна для ввода текстовой информации;
открытие текстового файла до 10Мб размера памяти;
поддержка (в виде текста) форматов TXT, RTF, HTML, MS’Word;
сохранение информации как в формате простого текста, так и в формате RTF;
редактирование текста;
выбор между мужским или женским синтезируемыми голосами;
озвучивание чисел в интервале от 0 до 1012;
настройка параметров скорости и громкости чтения синтезируемым голосом;
перемещение курсора по озвучиваемому тексту и др.
Разработанный интерфейс программы выполнен в виде текстового редактора, см. рис. 1: сверху расположена строка меню с функциями программы, ниже - панель управления, текстовое окно и строка состояния.
Пользователю предоставляется возможность создать или открыть текстовый файл и затем озвучить содержащийся в нем текст.
Строка меню содержит команды: File – работа с файлами, Edit – редактирование текста в окне, View – настройка вида интерфейса, Format – форматирование шрифта в тексте, настройка озвучивания текста, Tools – управление озвучиванием текста и Help – справка о программе. Основные команды меню дублируются кнопками "Панели инструментов" и сочетаниями клавиш. Можно использовать мышь.
Панель инструментов содержит следующие функциональные кнопки:
создать текстовое окно, открыть файл, сохранить файл, отмена последнего действия, работа с буфером обмена – вырезать, копировать и вставить текст, старт, пауза, стоп и справка о программе.
Рис. 2. Интерфейс программы Tajik Text-to-Speech.
Панель с дополнительными инструментами содержит возможность форматирования шрифта (название и размер), настройки озвучивания (скорость и громкость), выбор голоса (мужского или женского).
В текстовом окне возможны выделения текста как с использованием клавиатуры, так и с помощью мыши, а также навигационные действия с курсором.
Строка состояния указывает дату и время системы, в каком месте находится курсор и на какую раскладку (стандартную или оптимальную) настроена клавиатура.
В состав программного комплекса Tajik Text-to Speech входят:
установочный пакет комплекса;
база слог-звук с мужским голосом;
база слог-звук с женским голосом;
руководство пользователя;
пакет программы для активизации Tajik Text-to-Speech.
В § 3.3 перечисляются системные требования, при выполнении которых обеспечивается работоспособность программного комплекса:
операционная система Microsoft Windows 98 / ME и 2000 / XP;
минимум 350 Мб свободной памяти на жестком диске;
процессор с тактовой частотой не ниже 500 МГц, оперативная память - не менее 64 Мб;
«