На правах рукописи

РАБИНОВИЧ БОРИС ИЛЬИЧ

ИНФОРМАЦИОННАЯ ТЕХНОЛОГИЯ

КОМПЛЕКСНОЙ ОБРАБОТКИ ИНФОРМАЦИИ

В РАМКАХ ЛОГИКО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ

НА ОСНОВЕ РАСШИРЕННЫХ СЕМАНТИЧЕСКИХ СЕТЕЙ

Специальность 05.13.17 – Теоретические основы информатики

АВТОРЕФЕРАТ

диссертации на соискание ученой степени кандидата технических наук

Москва, 2008

Работа выполнена в Институте проблем информатики Российской академии наук

Научный руководитель: доктор технических наук, профессор Кузнецов Игорь Петрович

Официальные оппоненты: доктор технических наук, профессор Шемакин Юрий Иванович кандидат технических наук, доцент Башлыков Александр Александрович

Ведущая организация: Московский технический университет связи и информатики

Защита диссертации состоится _2008 г. в _ часов на заседании диссертационного Совета Д002.073.01 при Институте проблем информатики РАН по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2.

С диссертацией можно ознакомиться в библиотеке Института проблем информатики Российской академии наук.

Отзывы в одном экземпляре, с заверенной подписью, просим направлять по адресу: 119333, Москва, ул. Вавилова, 44, корп. 2, в диссертационный Совет.

Автореферат разослан « _» _ 2008 г.

Ученый секретарь диссертационного совета Д002.073. доктор технических наук, профессор С.Н. Гринченко

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность работы. В настоящее время наблюдается повсеместный лавинообразный рост потоков разнородной информации, состоящей из сложноорганизованных документов, различных отчетов, электронных писем и пр. В связи с этим актуальным является разработка технологий и программных средств комплексной обработки разнородной информации.

В криминальной милиции примером разнородной информации могут быть тексты на естественном языке (сводки происшествий, обвинительные заключения, справки по уголовным делам), данные из различных справочников (телефоны, адреса), биллинги телефонных переговоров и др. Информация может храниться в файлах, в базах данных (БД) или извлекаться из сети Интернет. Её обработка должна быть максимально автоматизирована, что зачастую предполагает решение сложных логико-аналитических задач (поиск объектов, анализ их связей и др.). Перспективным является разработка технологий и систем, позволяющих осуществить на единой основе агрегацию, хранение и логико-аналитическую обработку разнородной информации достаточно унифицированными средствами.

Такая система, ориентированная на обработку текстов на естественном языке (ЕЯ), разработана в Институте проблем информатики Российской академии наук в рамках проекта «Аналитик» и связанных с ним проектов «Криминал», «Дискурс» и «Поток». Созданная система «Аналитик» нашла применение в МВД и ГУВД города Москвы.

Ее особенность заключается в использовании семантико-ориентированного лингвистического процессора, позволяющего отобразить тексты на ЕЯ в структуры знаний, которые образуют базу знаний (БЗ). Для представления информации в БЗ используются расширенные семантические сети (РСС). Их отличие от обычных семантических сетей состоит в использовании многоместных фрагментов, связывающих вершины, и кодов фрагментов, которые тоже являются вершинами. Такие сети позволяют с достаточной точностью представлять объекты и их связи, которые выражаются в ЕЯ с помощью различных форм, в том числе с отглагольными существительными, с оборотами с инфинитивами, со сложноподчиненными предложениями.

Связанными могут быть не только объекты, но и сами действия, в которых эти объекты принимают участие.

Обработка информации в системе «Аналитик» осуществляется с помощью языка Декл, созданного для обработки структур знаний в виде РСС. На языке Декл разработано много уникальных программ семантического поиска в БЗ (поиск похожих объектов и ситуаций, поиск по связям и по приметам и др.), программ аналитической обработки и экспертных оценок (семейство оболочек экспертных систем). Использование в качестве БЗ обычных семантических сетей, языков логики предикатов, фреймов приводит к существенной потере информации, содержащейся в текстах на ЕЯ, и, соответственно, к ограничению круга решаемых задач.

Представляется перспективным дальнейшее развитие систем, основанных на структурах знаний в виде РСС. Основными направлениями их развития должны быть: обработка разнородной информации в рамках единой БЗ с использованием уже имеющихся средств; разработка средств решения новых логико-аналитических задач; обеспечение взаимодействия БЗ с внешними БД.

В этом случае пользователь-аналитик будет получать из одного источника полную информацию в наиболее удобном виде.

Объекты исследования. Объектами исследования диссертационной работы являются системы, основанные на технологии БЗ, обеспечивающие обработку на единой основе разнородной информации (неструктурированной – текстов на ЕЯ, слабоструктурированной – биллингов, структурированной – данных из БД);

существующие методы обработки различных типов данных и их структур;

модели информационных структур; методики интеграции данных.

Цель диссертационной работы. Целью диссертации является разработка информационной технологии комплексной обработки разнородной информации большого объема в рамках логико-аналитической системы, основанной на структурах знаний в виде РСС (далее Система).

Основные задачи исследования:

1. Анализ современных аналитических комплексов, основанных на технологии БЗ и обеспечивающих обработку на единой основе разнородной информации.

2. Исследование структур биллингов телефонных переговоров и банковских счетов с целью создания унифицированного процессора для их преобразования в РСС.

3. Обеспечение возможности совместного использования структур знаний в виде РСС, представляющих тексты на ЕЯ и биллинги, для решения существующих задач Системы.

4. Изучение специальных задач пользователей, основанных на информации о телефонных переговорах и банковских переводах, для разработки новых средств их решения в рамках Системы.

5. Разработка новых логико-аналитических режимов обработки информации, представленной в виде структур знаний, в рамках Системы.

6. Исследование особенностей представления информации в БЗ и разработка методов представления структур знаний в СУБД Oracle для повышения эффективности хранилища знаний Системы.

7. Исследование информационных процессов, связанных с задачей интеграции данных, и разработка технологии интеграции БЗ Системы с внешними БД для расширения пространства поиска Системы.

Методы исследования. Для решения поставленных задач в диссертации использовались методы математической логики, методы обработки структур знаний, методы формальных грамматик, методы многомерного статистического анализа (кластерный, частотный и временной анализы).

Научная новизна. В работе получены следующие новые научные результаты:

1. Проведено исследование и сравнительный анализ систем, основанных на технологии БЗ и обеспечивающих обработку на единой основе разнородной информации.

2. Разработаны алгоритмы извлечения знаний из биллингов различных структур (телефонных переговоров, банковских переводов) и их отображения в БЗ.

3. Разработана методика аналитической обработки биллингов на основе информации в БЗ (решение задачи группировки связанных объектов с учетом частоты их появления, а также их визуализация в виде временных гистограмм и графов).

4. Разработан метод анализа временных совпадений, обеспечивающий на основе информации в БЗ выявление временной связи между интересующими пользователя событиями.

5. Проведено исследование специфики применения методов кластерного анализа к биллингам телефонных переговоров. Выявлена комбинация метрик и алгоритмов кластерного анализа, позволяющая осуществить оптимальное разбиение телефонов на кластеры.

6. Предложена методика инкапсуляции структур знаний в реляционную СУБД, позволяющая обеспечить работу Системы с большими объемами данных.

7. Разработана методика интеграции Системы, основанной на структурах знаний, с внешними БД.

Достоверность научных положений, рекомендаций и выводов.

Обоснованность научных положений, рекомендаций и выводов определяется корректным использованием математических методов и моделей.

Достоверность положений и выводов диссертации подтверждена результатами исследований и экспериментальными данными, полученными при внедрении Системы. Предложенные определения и классификации апробированы на конференциях и в научных публикациях.

Практическая значимость. В работе получены следующие практически значимые результаты:

1. Разработаны программные компоненты, обеспечивающие в рамках Системы обработку новых источников информации, анализ накопленной информации и оптимизацию работы хранилища знаний.

2. Разработана информационная технология комплексной обработки разнородной информации, которая может служить основой для создания новых программных систем, ориентированных на решение сложных логикоаналитических задач в различных предметных областях.

Реализация результатов работы. Результаты представлены:

1. В двух научно-исследовательских отчетах ИПИ РАН – № гос. регистрации 0120.0 412404, № гос. регистрации 0120.0 603386 за 2005, 2007 гг.

2. В программе "Логико-аналитическая система «Криминал»", внедренной в ГУВД города Москвы в 2002-2004 гг. в рамках договора № 61-И/01 (992-14-И) между Московским комитетом науки и технологии и ИПИ РАН;

3. В программе "Логико-аналитическая система обработки документов «Аналитик»" – свидетельство РОСПАТЕНТа № 2006610239 от 10.01.2006 г.

4. В учебном процессе Московского университета МВД России.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на международной научной конференции MegaLing'2007 «Горизонты прикладной лингвистики и лингвистических технологий» (Партенит, 2007), на II Научной сессии ИПИ РАН «Проблемы и методы информатики» (Москва, 2005), на научно-технической конференции кафедры «Системы обработки информации и управления» МГТУ им. Н.Э.Баумана (Москва, 2002), на научно-технической конференции МТУСИ (Москва, 2002).

Публикации. По тематике диссертационной работы имеется 12 печатных публикаций, в том числе две в рекомендованных ВАК журналах. Кроме того, по теме диссертации опубликованы материалы в двух научно-технических отчетах ИПИ РАН за 2005 и 2007 гг.

Структура работы. Диссертация состоит из введения, четырех глав, заключения и двух приложений. Содержание работы изложено на страницах, иллюстрированных 24 таблицами и 66 рисунками. Список использованных источников содержит 139 наименований.

КРАТКОЕ СОДЕРЖАНИЕ ДИССЕРТАЦИИ

Во введении обосновывается актуальность работы. Ставятся основные цели и задачи исследования.

Первая глава состоит из двух параграфов. В первом параграфе для определения базового функционала Системы на примере системы «Аналитик»

проводится исследование особенностей и компонентов типовой системы, основанной на технологии БЗ. Анализируются основные задачи, решаемые этой системой: автоматический ввод документов с их делением на части и лексическим анализом; автоматическая формализация текстовой информации с созданием собственной БЗ – имеется в виду направленное извлечение знаний с помощью лингвистического процессора (ЛП) из текстов на ЕЯ с их использованием на уровне БЗ и др.

В качестве структур знаний в БЗ выступают расширенные семантические сети, зарекомендовавшие себя как эффективное средство представления знаний, позволяющее отобразить особенности ЕЯ. РСС состоят из однотипных N-арных фрагментов. В каждый из них введена вершина, называемая кодом фрагмента и соответствующая всей представленной в нем информации.

Помимо этого вводится множество "внутренних" вершин, которые порождает сама Система по мере необходимости и которые сопоставляются неименованным объектам. Наличие этих вершин обеспечивает достаточную универсальность РСС и позволяет сохранить семантические компоненты текстов на ЕЯ. По этим же причинам логические возможности РСС выходят за рамки возможностей логики предикатов 1-го и 2-го порядков. На основе РСС в системе «Аналитик» осуществляется вся аналитическая обработка и поиск.

При использовании технологии БЗ, в отличие от БД, структуры знаний не ограничиваются какими-либо схемами. Любая глагольная форма с ее обязательными и факультативными актантами навязывает свою схему, которая представляется в виде фрагмента РСС (рис. 1, 2).

Багдад. 9.05.06. ИНТЕРФАКС/АФП. 8 июня был совершен акт саботажа на нефтепроводе на севере Ирака … PLACE_(ГОРОД,БАГДАД/1+) ДАТА_(2006,ИЮНЬ,9/2+) ОРГ_(ИНТЕРФАКС,АФП/3+) СОВЕРШИТЬ(АКТ,САБОТАЖ,НА,НЕФТЕПРОВОД/4+) ДАТА_(8,ИЮНЬ/5+) Когда(4-,5-) PLACE_(СЕВЕР,ГОС-ВО,ИРАК/6+) Где(4-,6-) На рисунке 2 представлено, что действие "СОВЕРШИТЬ" (с кодом 4+, 4-) связано с датой происшествия "ДАТА_" (с кодом 5+, 5-) через фрагмент "Когда" и с местом происшествия "PLACE_" (с кодом 6+, 6-) через фрагмент "Где".

Упомянутое действие (с кодом 4+, 4-) может быть связано с другими действиями. Такие структуры формируются автоматически с помощью семантико-ориентированного ЛП, основанного на структурах знаний. Он обеспечивает автоматическое построение по текстам на ЕЯ их содержательных портретов в виде РСС.

Логико-аналитическая обработка осуществляется на основе РСС программами, написанными на языке Декл. В результате удается решать новые задачи, связанные с семантическим поиском, экспертными оценками, принятием оперативных решений. Например, в системе «Криминал», разработанной на основе системы «Аналитик», решаются следующие наукоемкие задачи:

поиск похожих происшествий;

поиск похожих фигурантов по приметам;

поиск информации фактографического характера по запросам на ЕЯ и др.

В то же время в системе «Аналитик» имеется ряд проблем. Во-первых, для хранения структур знаний в системе «Аналитик» используется своя внутренняя база данных, основанная на плоских файлах. Учитывая объемы существующих потоков данных, возникает необходимость использовать в качестве хранилища знаний современные СУБД (например, Oracle, MSSQL), обеспечивающие работу с большими объемами информации.

Во-вторых, не реализовано взаимодействие с внешними источниками данных: телефонными справочниками, адресными книгами и другими данными, введенными в соответствующие БД (например, "Кронос", ГИБДД) и широко используемыми в криминальной милиции. Таким образом, необходимо организовать эффективное взаимодействие внешних БД с БЗ Системы.

В-третьих, одна из проблем связана с аналитической обработкой слабоструктурированной информации – биллингов телефонных переговоров и банковских переводов. В зависимости от компании-автора биллинги могут иметь различную структуру. Возникает задача разработки интегрированного универсального средства извлечения и представления в БЗ информации из биллингов, а также логико-аналитических режимов для ее анализа.

Эти проблемы решаются в рамках предлагаемой Системы.

Во втором параграфе проводится исследование двадцати отечественных и зарубежных аналогов системы «Аналитик»: «SynSys Semantix», «Интегрум», «RetrievalWare» и др. Определяются современные перспективные методы обработки разнородной информации, которые могли бы быть реализованы в Системе. Проводится выбор параметров сравнения этих систем и их обоснование. Представлена таблица сравнения аналогов в разрезе выбранных параметров. По результатам сравнения формируются требования и предполагаемый состав функций, которые должны быть реализованы в Системе. В конце первой главы сделаны выводы, в которых предлагается разработать новую информационную технологию комплексной обработки разнородной информации на основе технологических решений системы «Аналитик». Технология должна быть основана:

1) на расширении информационного пространства Системы, посредством подключения к Системе в качестве исходных данных слабоструктурированной информации (биллингов телефонных переговоров и банковских переводов) и внешних БД;

2) на расширении аналитических возможностей Системы, путем реализации новых логико-аналитических режимов обработки накопленной информации на основе структур знаний в виде РСС;

3) на применении современных технологий в области хранения информации.

В первом параграфе второй главы описывается развитие аналитических возможностей Системы. Для анализа неструктурированной информации (текстов на ЕЯ) разработан режим «Анализ временных совпадений». Этот автоматический режим позволяет аналитику на основе информации из БЗ выявить связанные происшествия, произошедшие в один и тот же период времени. При больших объемах информации выявить подобные связи вручную человеку практически невозможно.

Вся обработка в этом режиме проходит на уровне РСС. В процессе поиска документов в БЗ по выделенным в исходном документе объектам используется режим «Поиск похожих», где всем полученным в результате поиска документам в зависимости от степени совпадения найденной и исходной информации присваивается тот или иной вес. Результаты поиска с наибольшим весом сравниваются с исходным документом на предмет совпадения по времени и, если временной интервал совпадает, визуализируются. Для визуализации разработан специальный модуль, отображающий результаты анализа в виде блочных структур на временной оси (рис. 3).

Рисунок 3. Визуализация событий в режиме «Анализ временных совпадений»

Страницы 5 из 8 Номер SIM-карты: Телефон номер 2234567 Сведения о разговорах:

Дата Время Номер Зона ПС Зона ВТК Услуга Длит. Стоимость