«ВВЕДЕНИЕ В ИНТЕЛЛЕКТУАЛЬНЫЕ ИНФОРМАЦИОННЫЕ СИСТЕМЫ УДК 004.8 (075.8) ББК 32.813я73 C34 Сидоров С. П., Дудов С. И. С34 Введение в интеллектуальные информационные системы: Учеб. пособие для студентов мех.-мат. фак. ...»

Рекурсия позволяет обойтись без списка open. Механизм, посредством которого можно реализовать рекурсию на каком-либо языке программирования, должен включать отдельную запись активации (activation record) для каждого рекурсивного вызова. Каждая такая запись активации должна содержать локальные переменные и состояние выполнения для каждого вызова процедуры. При каждом рекурсивном вызове процедуры с новым состоянием новая запись активации сохраняет параметры процедуры (состояние), все локальные переменные и текущее состояние выполнения. В рекурсивном алгоритме поиска состояния, находящиеся на рассматриваемом пути, сохраняются в последовательности записей активации рекурсивных вызовов. Запись каждого вызова содержит также последнюю операцию, которая была сделана при генерации соответствующего потомка. Это позволяет генерировать при необходимости брата данного потомка.

function DepthSearch2(CurrentState);

begin if CurrentState равно целевому состоянию then return SUCCESS;

добавить CurrentState в список closed;

while CurrentState имеет непроверенные потомки do child := следующий непроверенный потомок;

if потомок не член списка closed then if depthsearch(child) = SUCCESS then return SUCCESS end.

Возврат производится, если ни один из потомков данного состояния не привел к цели, что послужило причиной неудачного завершения процедуры.

В этом случае в процедуру генерации потомков возвращается значение FAIL.

Затем эта процедура применяется к брату данного состояния. В рассматриваемом случае внутренние механизмы рекурсии заменяют список open, который был использован в итерационной версии алгоритма. Рекурсивная реализация позволяет программисту ограничить рассмотрение единственным состоянием и его потомками, а не иметь дело со всем списком open. Возможность рекурсии выражать глобальные понятия в простой форме главный источник ее удобства.

Поиск в пространстве состояний процесс рекурсивный по природе. Чтобы найти путь от текущего состояния к цели, необходимо двигаться в дочернее состояние, затем из него перейти к потомку и так далее. Если соответствующее дочернее состояние не ведет к цели, то необходимо рассмотреть состояние того же уровня, на котором находится родительское состояние.

Рекурсия разбивает большую и трудную проблему (поиск во всем пространстве состояний) на более простые части (генерирование потомков отдельного состояния), а затем применяет (рекурсивно) эту стратегию к каждому потомку. Этот процесс продолжается до тех пор, пока не будет найдено целевое состояние или исчерпано все пространство состояний.

Глава Разработка систем, основанных на знаниях 4.1. Введение в экспертные системы.

Определение и структура Приведем рабочее определение экспертной системы.

Экспертные системы (ЭС) это сложные программные комплексы, аккумулирующие знания специалистов в конкретных предметных областях и тиражирующие этот эмпирический опыт для консультаций менее квалифицированных пользователей.

Обобщенная структура экспертной системы представлена на рис. 8. Процесс функционирования ЭС можно представить следующим образом: пользователь, желающий получить необходимую информацию, через пользовательский интерфейс посылает запрос к ЭС; решатель, пользуясь базой знаний, генерирует и выдает пользователю подходящую рекомендацию, объясняя ход своих рассуждений при помощи подсистемы объяснений.

Так как терминология в области разработки ЭС постоянно модифицируется, определим основные термины.

Пользователь специалист предметной области, для которого предназначена система.

Инженер по знаниям специалист в области искусственного интеллекта, выступающий в роли промежуточного буфера между экспертом и базой знаний.

Интерфейс пользователя комплекс программ, реализующих диалог пользователя с ЭС как на стадии ввода информации, так и при получении результатов.

База знаний (БЗ) ядро ЭС, совокупность знаний предметной области, записанная на машинный носитель в форме, понятной эксперту и пользователю (обычно на некотором языке, приближенном к естественному).

Решатель программа, моделирующая ход рассуждений эксперта на основании знаний, имеющихся в БЗ.

Подсистема объяснений программа, позволяющая пользователю получить ответы на вопросы: Как была получена та или иная рекомендация? и Почему система приняла такое решение?

Интеллектуальный редактор БЗ программа, представляющая инженеру по знаниям возможность создавать БЗ в диалоговом режиме.

4.2. Классификация экспертных систем Приведем классификацию систем, основанных на знаниях.

1. По задаче:

2. По связям с реальным временем:

3. По типу ЭВМ:

4. По степени интеграции:

гибридные (интегрированные).

4.2.1. Классификация по решаемой задаче Рассмотрим указанные типы задач подробнее.

Интерпретация данных. Это одна из традиционных задач для экспертных систем. Под интерпретацией понимается процесс определения смысла данных, результаты которого должны быть согласованными и корректными. Обычно предусматривается многовариантный анализ данных.

Диагностика. Под диагностикой понимается процесс соотнесения объекта с некоторым классом объектов и/или обнаружение неисправности в некоторой системе. Неисправность это отклонение от нормы.

Мониторинг. Основная задача мониторинга непрерывная интерпретация данных в реальном масштабе времени и сигнализация о выходе тех или иных параметров за допустимые пределы. Главные проблемы пропуск тревожной ситуации и инверсная задача ложного срабатывания.

Проектирование. Проектирование состоит в подготовке спецификаций на создание объектов с заранее определенными свойствами. Под спецификацией понимается весь набор необходимых документов чертеж, пояснительная записка и т. д.

Прогнозирование. Прогнозирование позволяет предсказывать последствия некоторых событий или явлений на основании анализа имеющихся данных. Прогнозирующие системы логически выводят вероятные следствия из заданных ситуаций. В прогнозирующей системе обычно используется параметрическая динамическая модель, в которой значения параметров подгоняются под заданную ситуацию. Выводимые из этой модели следствия составляют основу для прогнозов с вероятностными оценками.

Планирование. Под планированием понимается нахождение планов действий, относящихся к объектам, способным выполнять некоторые функции.

В таких ЭС используются модели поведения реальных объектов с тем, чтобы логически вывести последствия планируемой деятельности.

Обучение. Под обучением понимается использование компьютера для обучения какой-то дисциплине или предмету.

Управление. Под управлением понимается функция организованной системы, поддерживающая определенный режим деятельности. Такого рода ЭС осуществляют управление поведением сложных систем в соответствии с заданными спецификациями.

Поддержка принятия решений. Поддержка принятия решения это совокупность процедур, обеспечивающая лицо, принимающее решения, необходимой информацией и рекомендациями, облегчающими процесс принятия решения.

4.2.2. Классификация по связи с реальным временем Статические ЭС разрабатываются в предметных областях, в которых база знаний и интерпретируемые данные не меняются во времени.

Квазидинамические ЭС интерпретируют ситуацию, которая меняется с некоторым фиксированным интервалом времени.

Динамические ЭС работают в сопряжении с датчиками объектов в режиме реального времени с непрерывной интерпретацией поступающих в систему данных.

4.2.3. Классификация по типу ЭВМ На сегодняшний день существуют:

ЭС для уникальных стратегически важных задач на супер-ЭВМ (Эльбрус, CRAY, CONVEX и др.);

ЭС на ЭВМ средней производительности (типа ЕС ЭВМ, mainframe);

ЭС на символьных процессорах и рабочих станциях (SUN, Silicon Graphics, APOLLO);

ЭС на мини- и супермини-ЭВМ (VAX, microVAX и др.);

ЭС на персональных компьютерах (IBM PC, MAC II и т. п.).

4.2.4. Классификация по степени интеграции Автономные ЭС работают непосредственно в режиме консультаций с пользователем для специфически экспертных задач, для решения которых не требуется привлекать традиционные методы обработки данных (расчеты, моделирование и т. д.).

Гибридные ЭС представляют программный комплекс, включающий стандартные пакеты прикладных программ (например, математическую статистику, линейное программирование или системы управления базами данных) и средства манипулирования знаниями. Это может быть интеллектуальная надстройка над ППП (пакетами прикладных программ) или интегрированная среда для решения сложной задачи с элементами экспертных знаний.

4.3. Коллектив разработчиков Под коллективом разработчиков будем понимать группу специалистов, ответственных за создание ЭС.

4.3.1. Пользователь К пользователю предъявляются самые слабые требования. Он является в некотором роде заказчиком системы. Желательные качества: дружелюбие, умение объяснить, что он хочет от системы, отсутствие психологического барьера к применению вычислительной техники, интерес к новому.

От пользователя зависит, будет ли применяться разработанная экспертная система. Необходимо, чтобы пользователь имел некоторый базовый уровень квалификации, который позволит ему правильно истолковать рекомендации ЭС. Кроме того, должна быть полная совместимость в терминологии интерфейса к ЭС с той, которая привычна и удобна для пользователя.

Обычно требования к квалификации пользователя не очень велики, иначе он переходит в разряд экспертов и совершенно не нуждается в ЭС.

4.3.2. Эксперт Эксперт чрезвычайно важная фигура в коллективе разработчиков. В конечном счете, его подготовка определяет уровень компетенции базы знаний.

Желательные качества: доброжелательность, готовность поделиться своим опытом, умение объяснить (педагогические навыки), заинтересованность (моральная, а лучше еще и материальная) в успешности разработки.

Возраст эксперта обычно почтенный, что необходимо учитывать всем членам группы. Часто встает вопрос о количестве экспертов. Поскольку проблема совмещения подчас противоречивых знаний остается открытой, обычно с каждым из экспертов работают индивидуально, иногда создавая альтернативные базы.

Помимо безусловно высокого профессионализма в выбранной предметной области желательно знакомство эксперта с популярной литературой по искусственному интеллекту и экспертным системам для того, чтобы эффективнее прошел этап извлечения знаний.

4.3.3. Программист Известно, что программисты обладают самой низкой потребностью в общении среди представителей разных профессий. Однако при разработке ЭС необходим тесный контакт членов группы, поэтому желательны следующие его качества: общительность, способность отказаться от традиционных навыков и освоить новые методы, интерес к разработке.

Поскольку современные ЭС сложнейшие и дорогостоящие программные комплексы, программисты в коллективе разработчиков должны иметь опыт и навыки разработки программ. Обязательно знакомство с основными структурами представления знаний и механизмами вывода, состоянием отечественного и мирового рынка программных продуктов для разработки ЭС и диалоговых интерфейсов.

4.3.4. Инженер по знаниям Существуют такие профессии и виды деятельности, для которых природные качества личности (направленность, способности, темперамент) могут иметь характер абсолютного показания или противопоказания к занятиям.

По-видимому, инженерия знаний принадлежит к таким профессиям. По различным оценкам, это одна из самых малочисленных, высокооплачиваемых и дефицитных в мире специальностей. Попытаемся дать наброски к портрету инженера по знаниям (без претензии на полноту и точность определений).

Пол. Психологи утверждают, что мужчины более склонны к широкому охвату явлений и в среднем у них выше аналитичность, чрезвычайно полезная инженеру по знаниям, которому надо иметь развитое логическое мышление и умение оперировать сложными формальными структурами. Кроме того, при общении с экспертами, которые в большинстве своем настроены скептически по отношению к будущей ЭС, инженер по знаниям-мужчина вызывает более высокую мотивацию успешности со стороны эксперта-женщины. С другой стороны, известно, что у женщин выше наблюдательность к отдельным деталям объектов. Так что пол не является окончательным показанием или противопоказанием к данной профессии.

Интеллект. Это понятие вызывает самые бурные споры психологов; существует до 50 определений интеллекта, но с прагматической точки зрения очевидно, что специалист в области искусственного интеллекта должен стремиться к максимальным оценкам по тестам как вербального, так и невербального интеллекта.

Стиль общения. Инженер по знаниям задает тон в общении с экспертом, он ведет диалог, и от него в конечном счете зависит его продуктивность.

Можно выделить два стиля общения: деловой (или жесткий) и дружеский (или мягкий, деликатный). Нам кажется, что дружеский будет заведомо более успешным, так как снижает эффект фасада у эксперта, раскрепощает его. Деликатность, внимательность, интеллигентность, ненавязчивость, скромность, умение слушать и задавать вопросы, хорошая коммуникабельность и в то же время уверенность в себе вот рекомендуемый стиль общения. Безусловно, что это дар и искусство одновременно, однако занятия по психологическому тренингу могут дать полезные навыки.

Портрет инженера по знаниям можно было бы дополнить другими характеристиками широтой взглядов и интересов, артистичностью, чувством юмора, обаянием и т. д.

При определении профессиональных требований к аналитику следует учитывать, что ему необходимы различные навыки и умения для грамотного и эффективного проведения процессов извлечения, концептуализации и формализации знаний.

Инженер по знаниям имеет дело со всеми формами знаний: Z1 (знания в памяти) Z2 (знания в книгах) Z3 (поле знаний) Z4 (модель знаний) Z5 (база знаний).

Работа на уровне Z1 требует от инженера по знаниям знакомства с элементами когнитивной психологии и способами репрезентации понятий и процессов в памяти человека, с двумя основными механизмами мышления логическим и ассоциативным, с такими способами активизации мышления как игры, мозговой штурм и др., с различными моделями рассуждений.

Изучение и анализ текстов на уровне Z2 подразумевает широкую общенаучную подготовку инженера; знакомство с методами реферирования и аннотирования текстов; владение навыками быстрого чтения, а также текстологическими методами извлечения знаний.

Разработка поля знаний на уровне Z3 требует квалифицированного знакомства с методологией представления знаний, системным анализом, теорией познания, аппаратом многомерного шкалирования, кластерным и факторным анализом.

Разработка формализованного описания Z4 предусматривает предварительное изучение аппарата математической логики и современных языков представления знаний. Модель знаний разрабатывается на основании результатов глубокого анализа инструментальных средств разработки ЭС и имеющихся оболочек. Кроме того, инженеру по знаниям необходимо владеть методологией разработки ЭС, включая методы быстрого прототипирования.

И наконец, реализация базы знаний Z5, в которой инженер по знаниям участвует вместе с программистом, подразумевает овладение практическими навыками работы на ЭВМ и, возможно, одним из языков программирования.

Так как инженеров по знаниям выращивают из программистов, уровень Z5 обычно не вызывает затруднения, особенно если разработка ведется на традиционных языках типа С или PASCAL. Специализированные языки искусственного интеллекта LISP и PROLOG требуют некоторой перестройки архаично-алгоритмического мышления.

Успешность выбора и подготовки коллектива разработчиков ЭС определяет эффективность и продолжительность всего процесса разработки.

4.4. Технология проектирования и разработки Процесс разработки промышленной экспертной системы, опираясь на традиционные технологии, практически для любой предметной области можно разделить на шесть более или менее независимых этапов:

1) выбор проблемы;

2) разработка прототипа ЭС;

3) доработка до промышленной ЭС;

4) оценка ЭС;

5) стыковка ЭС;

6) поддержка ЭС.

Охарактеризуем каждый из этих этапов отдельно.

4.4.1. Выбор подходящей проблемы Этот этап определяет деятельность, предшествующую решению начать разрабатывать конкретную ЭС. Он включает:

определение проблемной области и задачи;

нахождение эксперта, желающего сотрудничать при решении проблемы, и назначение коллектива разработчиков;

определение предварительного подхода к решению проблемы;

анализ расходов и прибылей от разработки;

подготовку подробного плана разработки.

Правильный выбор проблемы представляет самую критическую часть разработки в целом. Если выбрать неподходящую проблему, можно очень быстро увязнуть в болоте проектирования задач, которые никто не знает, как решать. После того как инженер по знаниям убедился, что:

данная задача может быть решена с помощью экспертной системы;

экспертную систему можно создать предлагаемыми на рынке средствами;

имеется подходящий эксперт;

предложенные критерии производительности являются разумными;

затраты и срок их окупаемости приемлемы для заказчика, он составляет план разработки. План определяет шаги процесса разработки и необходимые затраты, а также ожидаемые результаты.

4.4.2. Технология быстрого прототипирования Прототипная система является усеченной версией экспертной системы, спроектированной для проверки правильности кодирования фактов, связей и стратегий рассуждения эксперта. В табл. 7 приводятся шесть стадий разработки прототипа и минимальный коллектив разработчиков, занятых на каждой из стадий.

Приведем краткую характеристику каждой из стадий, хотя эта схема представляет собой грубое приближение к сложному, итеративному процессу.

Хотя любое теоретическое разделение бывает часто условным, осознание коллективом разработчиков четких задач каждой стадии представляется целесообразным. Роли разработчиков (эксперт, программист, пользователь и аналитик) являются постоянными на протяжении всей разработки. Совмещение ролей нежелательно.

Сроки приведены условно, так как зависят от квалификации специалистов и особенностей задачи.

Идентификация проблемы Уточняется задача, планируется ход разработки прототипа экспертной системы, определяются:

необходимые ресурсы (время, люди, ЭВМ и т. д.);

источники знаний (книги, дополнительные эксперты, методики);

имеющиеся аналогичные экспертные системы;

цели (распространение опыта, автоматизация рутинных действий и др.);

классы решаемых задач и т. д.

Идентификация проблемы знакомство и обучение членов коллектива разработчиков, а также создание неформальной формулировки проблемы.

Средняя продолжительность 1–2 недели.

Извлечение знаний На этой стадии происходит перенос компетентности от эксперта к инженеру по знаниям, с использованием различных методов, среди которых анализ текстов, диалоги, экспертные игры, лекции, дискуссии, интервью, наблюдение и другие.

Извлечение знаний получение инженером по знаниям наиболее полного из возможных представлений о предметной области и способах принятия решения в ней.

Средняя продолжительность этого этапа 1–3 месяца.

Структурирование, или концептуализация знаний Выявляется структура полученных знаний о предметной области, то есть определяются терминология, список основных понятий и их атрибутов, отношения между понятиями, структура входной и выходной информации, стратегия принятия решений, ограничения стратегий и т. д.

Структурирование (или концептуализация) знаний разработка неформального описания знаний о предметной области в виде графа, таблицы, диаграммы или текста, которое отражает основные концепции и взаимосвязи между понятиями предметной области.

Такое описание называется полем знаний. Средняя продолжительность этапа 2–4 недели. Подробно стадия структурирования описана в главе 5.

Формализация Строится формализованное представление концепций предметной области на основе выбранного языка представления знаний. Традиционно на этом этапе используются:

логические методы (исчисления предикатов 1-го порядка и др.);

продукционные модели (с прямым и обратным выводом);

семантические сети;

объектно-ориентированные языки, основанные на иерархии классов и объектов.

Формализация знаний разработка базы знаний на языке представления знаний, который, с одной стороны, соответствует структуре поля знаний, а с другой позволяет реализовать прототип системы на следующей стадии программной реализации.

Все чаще на этой стадии используется симбиоз языков представления знаний фреймы, семантические сети, полный набор возможностей языка исчисления предикатов.

Средняя продолжительность этапа 1–2 месяца.

Реализация Создается прототип экспертной системы, включающий базу знаний и остальные блоки, при помощи одного из следующих способов:

1. программирование на традиционных языках типа PASCAL, C++ и др.;

2. программирование на специализированных языках, применяемых в задачах искусственного интеллекта;

3. использование инструментальных средств разработки ЭС;

4. использование пустых ЭС или оболочек.

Реализация разработка программного комплекса, демонстрирующего жизнеспособность подхода в целом. Чаще всего первый прототип отбрасывается на этапе реализации действующей ЭС.

Средняя продолжительность 1–2 месяца.

Тестирование Оценивается и проверяется работа программ прототипа с целью приведения в соответствие с реальными запросами пользователей. Прототип проверяется на:

удобство и адекватность интерфейсов ввода/вывода (характер вопросов в диалоге, связность выводимого текста результата и др.);

эффективность стратегии управления (порядок перебора, использование нечеткого вывода и др.);

качество проверочных примеров;

корректность базы знаний (полнота и непротиворечивость правил).

Тестирование выявление ошибок в подходе и реализации прототипа и выработка рекомендаций по доводке системы до промышленного варианта.

Средняя продолжительность 1–2 недели.

4.4.3. Развитие прототипа до промышленной ЭС Основная работа на данном этапе заключается в существенном расширении базы знаний, то есть в добавлении большого числа дополнительных правил, фреймов, узлов семантической сети или других элементов знаний. Эти элементы знаний обычно увеличивают глубину системы, обеспечивая большее число правил для трудноуловимых аспектов отдельных случаев. В то же время эксперт и инженер по знаниям могут увеличить базу знаний системы, включая правила, управляющие дополнительными подзадачами или дополнительными аспектами экспертной задачи (метазнания).

Переход от прототипа к промышленной экспертной системе представлен в табл. 8.

Демонстрационный про- Система решает часть задач, демонстрируя жизтотип ЭС неспособность подхода (несколько десятков правил Исследовательский про- Система решает большинство задач, но неустойчива тотип ЭС в работе и не полностью проверена (несколько сотен Действующий прототип Система надежно решает все задачи на реальных Промышленная система Система обеспечивает высокое качество решений при минимизации требуемого времени и памяти; переписывается с использованием более эффективных Коммерческая система Промышленная система, пригодная к продаже, то 4.4.4. Оценка системы После завершения этапа разработки промышленной экспертной системы необходимо провести ее тестирование в отношении критериев эффективности.

К тестированию широко привлекаются другие эксперты с целью апробирования работоспособности системы на различных примерах. Экспертные системы оцениваются главным образом для того, чтобы проверить точность работы программы и ее полезность. Оценку можно проводить, исходя из различных критериев, которые сгруппируем следующим образом.

1. Критерии пользователей (понятность и прозрачность работы системы, удобство интерфейсов и др.).

2. Критерии приглашенных экспертов (оценка советов-решений, предлагаемых системой, сравнение ее с собственными решениями, оценка подсистемы объяснений и др.).

56 Глава 4. Разработка систем, основанных на знаниях 3. Критерии коллектива разработчиков (эффективность реализации, производительность, время отклика, дизайн, широта охвата предметной области, непротиворечивость БЗ, количество тупиковых ситуаций, когда система не может принять решение, анализ чувствительности программы к незначительным изменениям в представлении знаний, весовых коэффициентах, применяемых в механизмах логического вывода, данных 4.4.5. Стыковка системы На этом этапе осуществляется стыковка экспертной системы с другими программными средствами в среде, в которой она будет работать, и обучение людей, которых она будет обслуживать.

4.4.6. Поддержка системы При перекодировании системы на язык, подобный С, повышается ее быстродействие и увеличивается переносимость, однако гибкость при этом уменьшается. Это приемлемо лишь в том случае, если система сохраняет все знания проблемной области и это знание не будет изменяться в ближайшем будущем. Однако если экспертная система создана именно из-за того, что проблемная область изменяется, то необходимо поддерживать систему в ее инструментальной среде разработки.

Глава Теоретические аспекты извлечения знаний 5.1. Поле знаний Поле знаний это условное неформальное описание основных понятий и взаимосвязей между понятиями предметной области, выявленных из системы знаний эксперта, в виде графа, диаграммы, таблицы или текста.

Поле знаний формируется на третьей стадии разработки ЭС (стадии структурирования).

Аналитик должен представить модель знаний о предметной области на некотором своем языке. Наиболее применима к сложным сферам человеческой деятельности семиотическая модель.

Семиотика включает:

синтаксис, то есть совокупность правил построения языка, или отношения между знаками;

семантику, то есть связь между элементами языка и их значениями, или отношения между знаками и реальностью;

прагматику, то есть отношения между знаками и их пользователями.

Поле знаний это некоторая семиотическая модель. Рассмотрим компоненты поля знаний.

Синтаксическую структуру поля знаний можно представить как где I структура исходных данных, подлежащих обработке и интерпретации в ЭС; O структура выходных данных, т.е. результат работы ЭС; M операциональная модель предметной области, на основании которой происходит модификация I в O.

Семантика придает определенное значение предложениям любого формального языка. При проведении структурного анализа предметной области инженер по знаниям формирует поле знаний.

5.2. Стратегии получения знаний Формирование поля знаний процесс получения знаний, когда происходит перенос компетентности экспертов на инженеров по знаниям.

Можно выделить три основные стратегии проведения стадии получения знаний при разработке ЭС.

Извлечение знаний (knowledge elicitation) это процедура взаимодействия аналитика с источником знаний (экспертом), в результате которой становятся явными процесс рассуждений специалистов при принятии решения и структура их представлений о предметной области.

Это длительная и трудоемкая процедура, в которой инженер по знаниям воссоздает модель предметной области, которой пользуются эксперты для принятия решений.

Приобретение знаний (knowledge acquisition) процесс наполнения базы знаний экспертом с использованием специализированных программных средств.

Формирование знаний (machine learning) процесс анализа данных и выявления скрытых закономерностей с использованием специального математического аппарата и программных средств.

5.3. Теоретические аспекты извлечения знаний Существует три основных аспекта процедуры извлечения знаний:

психологический;

лингвистический;

гносеологический.

Психологический аспект является ведущим. Он определяет успешность и эффективность взаимодействия инженера по знаниям с экспертом.

При разговорном общении происходят следующие потери информации:

Общение невозможно без следующих компонентов:

участники общения (партнеры);

средства общения (процедура);

предмет общения(знания).

Поэтому возникает три слоя психологических проблем:

процедурный слой;

когнитивный слой.

Следующие параметры партнеров (участников общения) влияют на результат процедуры извлечения знаний: пол, возраст, личность, темперамент, мотивация и др.

Процедурный слой включает следующие параметры:

ситуация общения (место, время, продолжительность);

оборудование (средства, мебель, освещенность);

профессиональные приемы (темп, стиль, методы).

Когнитивный слой описывается следующим набором факторов:

когнитивный стиль (импульсивность рефлексивность, полезависимость поленезависимость, ригидность–гибкость, когнитивная эквивалентность);

семантическая репрезетативность поля знаний.

Лингвистический аспект касается исследований языковых проблем, т.к.

язык основное средство в процессе извлечения знаний. Можно выделить три слоя лингвистических проблем:

понятийная структура;

словарь пользователя.

Общий код связан с проблемой различия языков эксперта и инженера по знаниям.

Язык аналитика состоит из общенаучной терминологии из его теоретического багажа ;

терминов предметной области, которые он почерпнул из специальной литературы;

бытового разговорного языка.

Язык эксперта включает общенаучную терминологию;

специальную терминологию, принятую в предметной области;

бытовой язык;

неологизмы (профессиональный жаргон).

60 Глава 5. Теоретические аспекты извлечения знаний В дальнейшем общий код преобразуется в семиотическую сеть, которая является прообразом поля знаний.

Формирование понятийной структуры состоит в построении иерархической сети понятий. Основная особенность естественного интеллекта и памяти это связность всех понятий в некоторую сеть. Поэтому для разработки базы знаний нужен не словарь, а энциклопедия, в которой все термины объяснены в словарных статьях со ссылками на другие термины.

Создание общего кода и понятийной структуры направлены на создание адекватной базы знаний. Однако часто профессиональный уровень конечного пользователя не позволяет ему применить специальный язык предметной области в полном объеме. Таким образом, необходимо формировать отдельный словарь для создания дружеского интерфейса с пользователем.

Гносеологический аспект извлечения знаний объединяет методологические проблемы получения нового научного знания, поскольку при создании базы знаний эксперт часто впервые формулирует некоторые закономерности, до того момента составляющие его личный опыт.

Познание часто сопровождается созданием новых понятий и теорий. Иногда эксперт порождает новые знания прямо в ходе беседы с аналитиком.

Такая генерация знаний полезна и самому эксперту, который до того момента мог не осознавать ряд соотношений и закономерностей предметной области. Аналитику может помочь тут и инструментарий системной методологии, позволяющий использовать известные принципы логики научных исследований, понятийной иерархии науки. Эта методология заставляет его за частным всегда стремиться увидеть общее, то есть строить цепочки.

Гносеологическая цепочка имеет вид: факт обобщенный факт эмпирический закон теоретический закон.

Такой подход согласуется со структурой самого знания, которое имеет два уровня эмпирический (наблюдения, явления), теоретический (законы, абстракции, обобщения).

Основными методологическими критериями научности, позволяющими считать научным и само новое знание и способ его получения, являются внутренняя согласованность, системность, объективность, историзм.

5.4. Теоретические аспекты структурирования знаний Разделение стадий извлечения и структурирования знаний является весьма условным, так как уже извлекая знания, необходимо начинать работу по структурированию и формированию поля знаний.

5.4.1. Иерархический подход Проектирование сложных систем и методы структурирования информации традиционно использовали иерархический подход как методологический прием расчленения формально описанной системы на уровни (или блоки, или модули). На высших уровнях иерархии используются наименее детализованные представления, отражающие только самые общие черты и особенности проектируемой системы. На следующих уровнях степень подробности возрастает, при этом система рассматривается не в целом, а отдельными блоками.

5.4. Теоретические аспекты структурирования знаний В теории САПР такой подход называется блочно-иерархическим (БИП).

Одно из преимуществ БИП состоит в том, что сложная задача большой размерности разбивается на последовательно решаемые группы задач малой размерности.

На каждом уровне вводятся свои представления о системе и элементах.

Элемент k-го уровня является системой для уровня k 1. Продвижение от уровня к уровню имеет строгую направленность, определяемую стратегией проектирования сверху вниз или снизу вверх.

Предлагаемый ниже объектноструктурный подход позволяет объединить две, обычно противопоставляемые, стратегии проектирования нисходящую или дедуктивную (top-down) с последовательной декомпозицией объектов и процессов сверху вниз и восходящую или индуктивную (bottom-up) с постепенным обобщением понятий и увеличением степени абстрактности описаний снизу вверх.

Синтез этих стратегий, а также включение возможности итеративных возвратов на предыдущие уровни обобщений позволили создать дуальную концепцию, предоставляющую аналитику широкую палитру возможностей на стадии структурирования знаний как для формирования концептуальной структуры предметной области, так и для функциональной структуры.

Нисходящая концепция (top-down) декларирует движение n n + 1, где n n-й уровень иерархии понятий ПО (предметной области) с последующей детализацией понятий, принадлежащих соответствующим уровням.

Восходящая концепция (bottom-up) предписывает движение n n 1 с последовательным обобщением понятий.

Основанием для прекращения агрегирования и дезагрегирования является полное использование словаря терминов, которым пользуется эксперт, при этом число уровней является значимым фактором успешности структурирования.

5.4.2. Традиционные методологии структурирования Существующие подходы к проектированию сложных систем можно разделить на два больших класса.

1. Структурный (системный) подход или анализ, основанный на идее алгоритмической декомпозиции, где каждый модуль системы выполняет один из важнейших этапов общего процесса.

2. Объектный подход, связанный с декомпозицией и выделением не процессов, а объектов, при этом каждый объект рассматривается как экземпляр определенного класса.

В структурном анализе разработано большое число выразительных средств для проектирования, в том числе графических: диаграммы потоков данных (DFD data-ow diagrams), структурированные словари (тезаурусы), языки спецификации систем, таблицы решений, стрелочные диаграммы объект связь (ERD entity-relationship diagrams), диаграммы переходов (состояний), деревья целей, блок-схемы алгоритмов, средства управления проектом, модели окружения.

62 Глава 5. Теоретические аспекты извлечения знаний Множественность средств и их некоторая избыточность объясняются тем, что каждая предметная область, используя структурный подход как универсальное средство моделирования, вводила свою терминологию, наиболее подходящую для отражения специфики конкретной проблемы. Поскольку инженерия знаний имеет дело с широким классом ПО (это мягкие ПО), встает задача разработки достаточно универсального языка структурирования.

Объектный (объектно-ориентированный) подход, возникший как технология программирования больших программных продуктов, основан на следующих основных элементарных понятиях: объекты, классы как объекты, связанные общностью структуры и свойств, и классификации как средства упорядочения знаний; иерархии с наследованием свойств; инкапсуляции как средства ограничения доступа; методы и полиморфизм для определения функций и отношений.

Широкое распространение объектноориентированных языков программирования C++, CLOS, Smalltalk и др. успешно демонстрирует жизнеспособность и перспективность этого подхода.

5.4.3. Объектно-структурный подход Можно предложить в качестве базисной парадигмы методологии структурного анализа знаний и формирования поля знаний обобщенный объектноструктурный подход, последовательно разработанный от математического обоснования до технологии и программной реализации.

Основные постулаты этой парадигмы заимствованы из объектно-ориентированного подхода и расширены:

1) системность (взаимосвязь между понятиями);

2) абстрагирование (выявление существенных характеристик понятия, которые отличают его от других);

3) иерархия (ранжирование на упорядоченные системы абстракций);

4) типизация (выделение классов понятий с частичным наследованием некоторых свойств в подклассах);

5) модульность (разбиение задачи на подзадачи или возможные миры );

6) наглядность и простота нотации.

На основе объектно-структурного подхода предлагается алгоритм объектно-структурного анализа предметной области, позволяющего оптимизировать и упорядочить достаточно размытые процедуры структурирования знаний.

5.5. Технологии инженерии знаний 5.5.1. Классификация методов практического извлечения знаний Коммуникативные методы извлечения знаний охватывают методы и процедуры контактов инженера по знаниям с непосредственным источником знаний экспертом.

Текстологические включают методы извлечения знаний из документов (методик, пособий, руководств) и специальной литературы (статей, монографий, учебников).

На выбор метода влияют три фактора: личностные особенности инженера по знаниям, личностные особенности эксперта, характеристика предметной области.

По психологическим характеристикам людей можно разделить на три типа:

мыслитель (познавательный тип);

собеседник (эмоционально-коммуникативный тип);

практик (практический тип).

Предметные области могут быть хорошо документированные, средне документированные, слабо документированные.

Предметные области можно также разделить по критерию структурированности. Структурированность это степень теоретического осмысления и выявленности основных закономерностей и принципов, действующих в данной предметной области. Предметные области могут быть хорошо структурированные с четкой аксиоматизацией, широким применением математического аппарата, устоявшейся терминологией;

средне структурированными с определившейся терминологией, развивающейся теорией, явными взаимосвязями между явлениями;

слабо структурированными с размытыми определениями, богатой эмпирикой, скрытыми взаимосвязями.

5.5.2. Коммуникативные методы Пассивные методы извлечения знаний включают такие методы, где ведущая роль в процедуре извлечения фактически передается эксперту, а инженер по знаниям только фиксирует рассуждения эксперта во время работы по принятию решений. К пассивным методам относятся следующие.

1. Наблюдения. В процессе наблюдений инженер по знаниям находится непосредственно рядом с экспертом во время его профессиональной деятельности или имитации этой деятельности. Аналитик записывает все действия эксперта и не вмешивается в его работу.

2. Анализ протоколов мыслей вслух. Этот метод отличается от наблюдений тем, что эксперта просят не просто прокомментировать свой действия и решения, но и объяснить, как это решение было найдено.

3. Лекции. Это один из самых древних способов передачи знаний. От инженера по знаниям требуется грамотно законспектировать лекцию и задать в конце необходимые вопросы.

Активные индивидуальные методы наиболее распространенные. Они включают Активную функцию выполняет инженер по знаниям.

Анкетирование наиболее стандартизированный и жесткий метод. Инженер по знаниям заранее составляет вопросник или анкету и использует для опроса нескольких экспертов.

Интервью форма общения инженера по знаниям и эксперта, в которой инженер по знаниям задает эксперту серию заранее подготовленных вопросов с целью извлечения знаний о предметной области.

Свободный диалог это метод извлечения знаний в форме беседы инженера по знаниям и эксперта, в котором нет жесткого регламентированного плана и вопросника.

Активные групповые методы включают дискуссии за круглым столом;

Достоинство этих методов участие нескольких экспертов.

Круглый стол это обсуждение какой-либо проблемы из предметной области, в котором принимают участие с равными правами несколько экспертов.

Мозговой штурм способ получения новых идей в условиях запрещения критики.

Деловая игра эксперимент, в котором участникам предлагается производственная ситуация, а они на основе своего опыта, специальных знаний принимают решение.

5.5.3. Текстологические методы Группа текстологических методов объединяет методы извлечения знаний, основанные на изучении специальных текстов из учебников, монографий, статей, методик и других носителей профессиональных знаний.

Задача извлечения знаний из текстов это задача понимания и выделения смысла текста. Текст лишь проводник смысла. Смысл, который пытался заложить автор и смысл, который постиг инженер по знаниям, не совпадают. Смысл, который постиг инженер по знаниям, образуется из текста за счет привлечения всей совокупности научного и человеческого багажа читателя.

Приведем алгоритм извлечения знаний из текста.

1. Составление базового списка литературы для ознакомления с предметной областью и чтение по списку.

2. Выбор текста для извлечения знаний.

3. Первое знакомство с текстом. Определение значений незнакомых слов (консультации со специалистами или привлечение справочной литературы).

4. Формирование первой гипотезы о макроструктуре текста.

5. Внимательное прочтение текста с выписыванием ключевых слов и выражений, то есть компрессия текста.

6. Определение связей между ключевыми словами, разработка макроструктуры текста в форме графа или сжатого текста (реферата).

7. Формирование поля знаний на основании макроструктуры текста.

Обычно инженер по знаниям комбинирует различные из вышеперечисленных методов.

5.5.4. Простейший метод структурирования Методы извлечения знаний непосредственная подготовка к структурированию знаний. Простейший алгоритм формирования поля знаний включает следующие шаги.

1. Определение входных {X} и выходных {Y } данных.

2. Составление словаря терминов и наборов ключевых слов N. Проводится текстуальный анализ всех протоколов сеансов извлечения знаний и выписываются все значимые слова, обозначающие понятия, явления, процессы и т.п. Определяется смысл всех слов.

3. Выявление объектов и понятий {A}. Словарь N просеивается и выбираются значимые для принятия решения понятия и их признаки. Образуется полный систематический набор терминов из какой-либо области знаний.

4. Выявление связей между понятиями. Строится сеть ассоциаций, где связи намечены, но не проименованы.

5. Выявление метапонятий и детализация понятий. Связи, полученные на предыдущем шаге, позволяют структурировать понятия и выявить как понятия более высокого уровня обобщения (метапонятия), так и детализировать их на более низком уровне.

6. Построение пирамиды знаний, то есть иерархической матрицы понятий, подъем по которой углубление понимания и повышение уровня абстракции.

66 Глава 5. Теоретические аспекты извлечения знаний 7. Определение отношений {RA}. Отношения между понятиями выявляются как внутри каждого из уровней пирамиды, так и между уровнями.

Даются имена всем связям.

8. Определение стратегии принятия решений {S}, то есть выявление цепочек рассуждений, которые связывают все выявленные ранее понятия и отношения в динамическую систему поля знаний.

Глава Некоторые методы машинного обучения 6.1. Задача классификации 6.1.1. Феномен восприятия Известно, что человек, сталкиваясь с новыми явлениями или предметами, очень часто их узнает, то есть без особых затруднений относит к тому или иному понятию (классу). Так, впервые увидев лошадь незнакомой масти или собаку необычной породы, человек определяет в них уже известных ему животных. Человек может читать рукописи, написанные разными людьми, хотя каждый почерк имеет свои особенности. Каждый из нас легко узнает своих знакомых, даже если они изменили прическу или одежду. Эта особенность человека называется феноменом восприятия.

Феномен восприятия проявляется во всех сферах человеческой деятельности, а многие профессии связаны исключительно с умением правильно классифицировать ситуации. Так, врачи умеют диагностировать заболевания, эксперты-криминалисты различают сходные почерки, археологи устанавливают принадлежность найденных предметов определенной эпохе, геологи по косвенным данным определяют характер месторождения и т.д.

Всюду здесь проявляется умение человека правильно относить наблюдаемый объект к тому или иному понятию, к тому или иному классу.

Человек умеет вырабатывать на основе опыта и новые понятия, обучаться новой системе классификации.

Существуют два различных метода обучения: один из них объяснение, другой, более интересный, обучение на примерах. Первый метод предполагает существование достаточно простых правил, простых настолько, что их можно изложить так, чтобы действуя сообразно этим правилам, каждый раз получать требуемый результат.

Однако во многих случаях учитель, проводящий обучение, не может сформулировать правило, по которому он действует, и тогда первый способ обучения неприменим и обучение проводят на примерах. Так, нельзя указать четких правил для такого, казалось бы, простого случая, как различение рукописных знаков.

В этом случае при обучении пользуются вторым методом. Обучающемуся показывают рукописные знаки и сообщают, какие это буквы, то есть к каким классам данные знаки относятся. В результате у ученика вырабатываются нужные понятия, он приобретает умение правильно относить каждую новую букву к тому или иному классу. Точно так же студентов медиков учат диагностировать заболевания.

Возможность использования такого метода обучения определяется заложенным в человеке внутренним механизмом построения правила, позволяющего распознавать нужные понятия.

6.1.2. Постановка задачи классификации Пусть некто, для определенности будем говорить учитель, предъявляет ситуации и о каждой сообщает, к какому из k классов она относится. Для простоты будем считать, что k = 2, так как при любом другом числе классов последовательным разделением на два класса можно построить разделение и на k классов. Для этого достаточно провести k разделений по принципу: первое отделяет элементы первого класса от всех остальных, а j-е элементы j-го класса от всех остальных.

Будем считать, что входная ситуация описывается n-мерным вектором x = (x1,..., xn ). Координаты этого вектора могут выражать те или иные характеристики объекта, например финансовые показатели предприятия, значения симптомов в задачах медицинской диагностики, значения параметров систем в технических задачах распознавания и т.д.

Последовательность ситуаций с указанием, к какому классу они относятся, называется обучающей последовательностью.

Задача заключается в том, чтобы построить такую программу, которая, используя обучающую последовательность, вырабатывала бы правило, позволяющее классифицировать вновь предъявляемые незнакомые ситуации (вообще говоря, отличные от входивших в обучающую последовательность).

Способность к обучению характеризуется двумя понятиями:

качеством полученного решающего правила (вероятностью неправильных ответов чем меньше эта вероятность, тем выше качество);

надежностью получения решающего правила с заданным качеством (вероятностью получения заданного качества чем выше эта вероятность, тем выше надежность успешного обучения).

Задача сводится к созданию такого обучающего устройства, которое по обучающей последовательности строило бы решающее правило, качество которого с заданной надежностью было бы не ниже требуемого.

6.1.3. Математическая постановка задачи обучения В среде, которая характеризуется распределением вероятностей P (x), случайно и независимо появляются ситуации x. Существует учитель, который классифицирует их, то есть относит к одному из k классов (для простоты k = 2). Пусть он делает это согласно условной вероятности P (t|x), где t = означает, что вектор x отнесен к первому классу, а t = 0 ко второму. Ни характеристика среды P (x), ни правило классификации P (t|x) нам не известны. Однако известно, что обе функции существуют, то есть существует совместное распределение вероятностей Пусть теперь определено множество решающих правил F (x, ). В этом множестве каждое правило определяется заданием параметра (обычно это вектор). Все правила F (x, ) характеристические функции, то есть могут принимать только одно из двух значений нуль или единицу:

Для каждой функции F (x, ) может быть определено качество Q() как вероятность различных классификаций ситуаций x с учителем.

1. В случае, когда пространство X дискретно и состоит из точек x1,..., xN, где P (xi ) вероятность возникновения ситуации xi.

2. В случае, когда в пространстве X существует плотность распределения 3. В общем случае можно сказать, что в пространстве X задана вероятностная мера P (x, t), тогда Среди всех функций F (x, ) есть такая F (x, 0 ), которая минимизирует вероятность ошибок. Эту функцию (или близкую к ней) и следует найти.

Так как совместное распределение вероятностей P (x, t) неизвестно, поиск ведется с использованием обучающей последовательности то есть случайной и независимой выборки примеров фиксированной длины N. Нельзя найти алгоритм, который по конечной выборке безусловно гарантировал успех поиска. Успех можно гарантировать лишь с некоторой вероятностью 1.

Таким образом, задача заключается в том, чтобы для любой функции P (x, t) среди характеристических функций F (x, ) найти по обучающей последовательности фиксированной длины N такую функцию F (x, ), о которой с надежностью, не меньшей 1, можно было бы утверждать, что ее качество отличается от качества лучшей функции F (x, 0 ) на величину, не превышающую.

Такая задача не является новой в математике. Она известна в более общей постановке: требуется найти минимум по функционала если неизвестна функция распределения P (z), но зато дана случайная и независимая выборка z 1,..., z N. Эта задача получила название задачи о минимизации величины среднего риска. Она имеет простую интерпретацию:

функция G(z, ) для всякого фиксированного значения определяет величину потерь при появлении сигнала z. Средняя величина потерь для фиксированного значения параметра определяется согласно (1).

Задача заключается в том, чтобы выяснить, при каких значениях параметра средняя величина потерь (или величина среднего риска) будет минимальной.

Задача классификации есть частный случай задачи и минимизации среднего риска. Особенность ее заключается в том, что на функцию G(z, ) наложены следующие ограничения:

вектор z задается n + 1 координатами координатой t и координатами функция потерь G(z, ) задана в виде (t F (x, ))2, где F (x, ) характеристическая функция множеств.

6.1.4. Практическое применение методов классификации Методы классификации обслуживают весьма широкий спектр прикладных задач в различных сферах деятельности. Например, в медицине это может быть диагностика состояния пациента по комплексу наблюдаемых признаков (результаты клинического осмотра, лабораторных исследований, оцифровки и кодирования рентгенограммы и/или сонограммы). В геофизике прогноз степени перспективности месторождения нефти или газа, в области финансов оценка уровня кредитоспособности клиента или прогноз тенденции поведения рынка ценных бумаг, в экономике разнообразные задачи типологизации объектов (семей, предприятий, городов, стран и т.п.) и прогноза социально-экономического поведения хозяйствующего субъекта, в маркетинге позиционирование нового товара среди существующих, в технике диагностика состояния турбины или двигателя, контроль уровня качества продукции и др.

Рассмотрим несколько проблем, при решении которых возникает задача классификации.

Классификация как необходимый предварительный этап статистической обработки многомерных данных. Пусть исследуется зависимость интенсивности спроса потребителей xp от ряда экономических и географических факторов x1, x2,..., xp1 таких, как средний заработок, возможности профессионального роста, географические условия и т.п. Естественно предположить, что для различных однородных групп индивидуумов одни и те же факторы влияют на xp в разной степени, а иногда и в противоположных направлениях. Поэтому до применения аппарата регрессионно-корреляционного анализа следует разбить все имеющиеся в нашем распоряжении данные на однородные классы и решать далее поставленную задачу отдельно для каждого класса. Только в этом случае можно ожидать, что полученные коэффициенты регрессии xp по x1,..., xp1 будут допускать содержательную интерпретацию, а мера тесноты между xp и x1,..., xp1 окажется достаточно высокой.

Классификация в задачах прогнозирования экономико-социологических ситуаций для отдельных показателей. Пусть объект исследования семья.

Всё факторное пространство разбивается на два подпространства: пространство X = {x} и пространство Y = {y}, где компонентами вектора y = (y1,..., ym ) описывается социально-экономическое поведение семьи, а компоненты вектора x = (x1,..., xp ) описывают половозрастную и профессиональную структуру семьи, а также среднедушевой доход. Примем в качестве априорного допущения, что отдельные параметры и ситуации в пространстве X в какой-то мере поддаются регулированию, и легче прогнозируются во времени, чем в пространстве Y. Логическая схема исследования такова:

производим разбиение обследуемых объектов (x, y) на классы отдельно в каждом из подпространств X и Y ; устанавливаем долю представительства классов из X в каждом отдельном классе из Y ; используя прогнозирование и регулирование признаков в пространстве X, возможно и модели регрессии Y по X, прогнозируем объем и структуру потребления по стране в целом.

Для решения задачи классификации могут быть использованы следующие методы:

статистические методы, основанные на дискриминантном анализе;

различные варианты линейного программирования;

деревья классификации, или рекурсионно-партиционный алгоритм;

нейронные сети;

генетический алгоритм;

метод ближайших соседей.

6.1.5. Дискриминантный анализ Рассмотрим применение статистических методов к решению задачи классификации, связанных с идеей восстановления функции распределения вероятностей.

Проблема классификации возникает, когда исследователь делает некоторое число измерений, связанных с каким-то индивидуумом, и на основе этих измерений хочет отнести его к одной из нескольких категорий. Во многих случаях можно предположить, что имеется конечное число категорий или генеральных совокупностей, из которых мог быть взят рассматриваемый индивидуум, причем каждая из этих категорий характеризуется определенным законом распределения вероятностей. Вопрос ставится так: как по результатам измерений определить, из какой генеральной совокупности взят данный индивидуум.

При построении процедуры классификации желательно сделать минимальной вероятность неправильной классификации, точнее добиться того, чтобы в среднем неправильные выводы делались как можно реже. Для удобства рассмотрим случай двух категорий.

Предположим, что наряду с функцией распределения P (x, t) существуют условные плотности распределения p(x|t = 0), p(x|t = 1) и вероятности P (t = 0), P (t = 1). Здесь p(x|t = 1) плотность распределения вероятностей векторов первого класса, а p(x|t = 0) плотность распределения вероятностей векторов второго класса. Величины P (t = 0), P (t = 1) определяют вероятность появления векторов соответственно первого и второго классов.

Зная эти функции, можно с помощью формулы Байеса определить вероятность принадлежности вектора x первому или второму классу:

В формуле нормирующий множитель.

Минимальные потери будут получены при такой классификации векторов, при которой вектор x будет отнесен к первому классу в случае выполнения неравенства то есть если более вероятно, что он принадлежит к первому классу чем ко второму.

Иначе говоря, учитывая 2, вектор x должен быть отнесен к первому классу, если выполняется неравенство или, что то же самое, оптимальная классификация векторов производится с помощью характеристической функции где Такие характеристические функции называют дискриминантными.

Таким образом, знание плотностей условных распределений p(x|t = 0), p(x|t = 1) и вероятностей P (t = 0), P (t = 1) гарантирует отыскание оптимального правила классификации.

Обычно сначала восстанавливают по выборке неизвестные функции распределения векторов первого и второго классов, а затем по восстановленным функциям распределения строят дискриминантную функцию.

6.1.6. Модуль Discriminant analysis системы STATISTICA Широкий круг задач, возникающих на практике и связанных с классификацией, можно решить методами дискриминантного анализа. В модуле Discriminant analysis (дискриминантный анализ) системы STATISTICA имеется широкий набор средств, обеспечивающих проведение дискриминантного анализа данных, визуализации и интерпретации результатов. На вход подается база данных, содержащая некоторые случайные наблюдения, для каждого из которых определен класс. Использование модуля Discriminant analysis системы STATISTICA приводит к построению дискриминантных функций. Новый объект относится к тому классу, для которого классификационное значение максимально. Следующим показателем дискриминантного анализа является квадрат расстояния Махаланобиса от точек (случаев) до центров групп. Объект относится к группе, до которой расстояние Махаланобиса минимально.

До анализа для каждого объекта задаются априорные вероятности классификации, то есть с какой вероятностью объект принадлежит к определенному классу. После проведения анализа эти вероятности пересчитываются и можно получить апостериорные вероятности. Объект относится к группе с максимальной апостериорной вероятностью. Значения статистики лямбда Уилкса, лежащие около 0, свидетельствуют о хорошей дискриминации, а около 1 о плохой.

6.2. Деревья решений 6.2.1. Деревья решений и области их применения Деревья решения являются одним из наиболее популярных подходов к решению задач интеллектуального анализа данных. Они создают иерархическую структуру классифицирующих правил типа если..., то..., имеющую вид дерева. Для того чтобы решить, к какому классу отнести некоторый объект или ситуацию, требуется ответить на вопросы, стоящие в узлах этого дерева, начиная с его корня. Для бинарных деревьев вопросы имеют вид значение параметра A больше x?. Если ответ положительный, осуществляется переход к правому узлу следующего уровня, если отрицательный то к левому узлу; затем снова следует вопрос, связанный с соответствующим узлом.

Первые идеи создания деревьев решений восходят к работам Ховленда (Hoveland), Ханта (Hunt) конца 50-х годов XX века. Популярность подхода связана с наглядностью и понятностью. Но очень остро для деревьев решений стоит проблема значимости. Дело в том, что отдельным узлам на каждом новом построенном уровне дерева соответствует все меньшее и меньшее число записей данных дерево дробит данные на большое количество частных случаев. Чем больше этих частных случаев, чем меньше обучающих примеров попадает в каждый такой частный случай, тем менее уверенной становится их классификация. Если построенное дерево слишком кустистое состоит из неоправданно большого числа мелких веточек оно не будет давать статистически обоснованных ответов. Как показывает практика, в большинстве систем, использующих деревья решений, эта проблема не находит удовлетворительного решения. Кроме того, деревья решений дают полезные результаты только в случае независимых признаков. В противном случае они лишь создают иллюзию логического вывода.

Рассмотрев основные проблемы, возникающие при построении деревьев, было бы несправедливо не упомянуть об их достоинствах:

быстрый процесс обучения;

генерация правил в областях, где эксперту трудно формализовать свои извлечение правил на естественном языке;

интуитивно понятная классификационная модель;

высокая точность прогноза, сопоставимая с другими методами (статистика, нейронные сети);

построение непараметрических моделей.

В силу этих и многих других причин, методология деревьев решений является важным инструментом в работе каждого специалиста, занимающегося анализом данных, вне зависимости от того, практик он или теоретик.

Деревья решений являются прекрасным инструментом в системах поддержки принятия решений, интеллектуального анализа данных (data mining). В состав многих пакетов, предназначенных для интеллектуального анализа данных, уже включены методы построения деревьев решений. В областях, где высока цена ошибки, они служат отличным подспорьем аналитика или руководителя.

Область применения деревьев решений в настоящее время широка, но все задачи, решаемые этим аппаратом, могут быть объединены в три класса.

1. Описание данных. Деревья решений позволяют хранить информацию о данных в компактной форме, вместо них мы можем хранить дерево решений, которое содержит точное описание объектов.

2. Классификация. Деревья решений отлично справляются с задачами классификации, т.е. отнесения объектов к одному из заранее известных классов. Целевая переменная должна иметь дискретные значения.

3. Регрессия. Если целевая переменная имеет непрерывные значения, деревья решений позволяют установить зависимость целевой переменной от независимых (входных) переменных. Например, к этому классу относятся задачи численного прогнозирования (предсказания значений целевой переменной).

Деревья решений успешно применяются для решения практических задач в следующих областях.

1. Банковское дело. Оценка кредитоспособности клиентов банка при выдаче кредитов.

2. Промышленность. Контроль за качеством продукции (выявление дефектов), испытания без разрушений (например, проверка качества сварки) 3. Медицина. Диагностика различных заболеваний.

4. Молекулярная биология. Анализ строения аминокислот.

Это далеко не полный список областей, где возможно использование деревьев решений. Не исследованы еще многие потенциальные области применения.

6.2.2. Структура дерева решений Деревья решений это способ представления правил в иерархической, последовательной структуре, где каждому объекту соответствует единственный узел, дающий решение. Под правилом понимается логическая конструкция, представленная в виде если... то.... Наиболее близкая аналогия деревьев решений дерево каталогов, отображаемое, например, проводником Windows. Каталоги в данном случае будут соответствовать узлам (условие если ), а файлы листьям (ветвь то ).

Дерево решений можно определить как структуру, которая состоит из узлов листьев, каждый из которых представляет определенный класс;

узлов принятия решений, специфицирующих определенные тестовые процедуры, которые должны быть выполнены по отношению к одному из значений атрибутов; из узла принятия решений выходят ветви, количество которых соответствует количеству возможных исходов тестирующей процедуры.

Более формально дерево можно определить как конечное множество T, состоящее из одного или множества узлов, таких, что имеется один специально обозначенный узел, называемый корнем данного дерева;

остальные узлы (исключая корень) содержатся в m 1 попарно непересекающихся множествах T1,..., Tm, каждое из которых в свою очередь является деревом. Деревья T1,..., Tm называют поддеревьями данного Из данного определения следует, что каждый узел дерева является корнем некоторого поддерева, которое содержится в этом дереве. Число поддеревьев данного узла называется степенью этого узла. Узел с нулевой степенью называется листом. Уровень узла по отношению к дереву T определяется следующим образом: говорят, что корень имеет уровень 1, а другие узлы имеют уровень на единицу выше их уровня относительно содержащего их поддерева Tj этого корня.

Если в дереве существует относительный порядок поддеревьев T1,..., Tm, то говорят, что дерево является упорядоченным; в случае, когда в упорядоченном дереве m 2, имеет смысл называть T2 вторым поддеревом данного корня и т.д.; если два дерева, отличающиеся друг от друга только относительным порядком узлов поддеревьев, не считать различными, то в этом случае говорят, что дерево является ориентированным, поскольку здесь имеет значение только относительная ориентация узла, а не их порядок.

Стандартная терминология для структур типа дерева: каждый корень является отцом корней своих поддеревьев, последние являются братьями между собой и сыновьями своего отца. Корень же всего дерева не имеет отца.

Дерево решения представляет один из способов разбиения множества данных на классы или категории. Корень дерева неявно содержит все классифицируемые данные, а листья определенные классы после выполнения классификации. Промежуточные узлы дерева представляют пункты принятия решения о выборе или выполнения тестирующих процедур с атрибутами элементов данных, которые служат для дальнейшего разделения данных в этом узле.

Можно рассматривать дерево решений и с другой точки зрения: промежуточные узлы дерева соответствуют атрибутам классифицируемых объектов, а дуги возможным альтернативным значениям этих атрибутов.

На рис. 9 представлено дерево решений, соответствующее обучающей выборке, содержащейся в табл. 9. На этом дереве промежуточные узлы представляют атрибуты Кредитная история, Доход, Долг, Поручительство. Листья дерева промаркированы одним из двух классов Риск высокий или Риск низкий. Можно считать, что Риск низкий соответствует классу позитивных экземпляров концепта, а Риск высокий классу негативных. Например, Риск низкий может приводить к действию выдать кредит, а Риск высокий к действию кредит не выдавать.

6.2.3. Алгоритм формирования дерева решения Опишем метод построения деревьев решений, который впервые был предложен Р. Куинленом (R. Quinlan) в 1993. Этот метод используется в одном из лучших алгоритмов построения деревьев решений C4.5.

Прежде чем приступить к описанию алгоритма построения дерева решений, определим обязательные требования к структуре данных и непосредственно к самим данным, при выполнении которых алгоритм C4.5 будет работоспособен.

1. Описание атрибутов. Данные, необходимые для работы алгоритма, должны быть представлены в виде плоской таблицы. Вся информация об объектах (далее примеры) из предметной области должна описываться в виде конечного набора признаков (далее атрибуты). Каждый атрибут должен иметь дискретное или числовое значение. Сами атрибуты не должны меняться от примера к примеру, и количество атрибутов должно быть фиксированным для всех примеров.

2. Определенные классы. Каждый пример должен быть ассоциирован с конкретным классом, то есть один из атрибутов должен быть выбран в качестве метки класса.

3. Дискретные классы. Классы должны быть дискретными, то есть иметь конечное число значений. Каждый пример должен однозначно относиться к конкретному классу. Случаи, когда примеры принадлежат к классу с вероятностными оценками, исключаются. Количество классов должно быть значительно меньше количества примеров.

Алгоритм построения дерева Пусть нам задано множество примеров T, где каждый элемент этого множества описывается m атрибутами. Количество примеров в множестве T будем называть мощностью этого множества и будем обозначать |T |. Пусть метка класса принимает следующие значения C1,..., Ck.

Наша задача будет заключаться в построении иерархической классификационной модели в виде дерева из множества примеров T. Процесс построения дерева будет происходить сверху вниз. Сначала создается корень дерева, затем потомки корня и т.д. На первом шаге мы имеем пустое дерево (имеется только корень) и исходное множество T (ассоциированное с корнем). Требуется разбить исходное множество на подмножества. Это можно сделать, выбрав один из атрибутов в качестве проверки. Тогда в результате разбиения получаются n (по числу значений атрибута) подмножеств и, соответственно, создаются n потомков корня, каждому из которых поставлено в соответствие свое подмножество, полученное при разбиении множества T. Затем эта процедура рекурсивно применяется ко всем подмножествам (потомкам корня) и т.д.

Рассмотрим подробнее критерий выбора атрибута, по которому должно пойти ветвление. Очевидно, что в нашем распоряжении m (по числу атрибутов) возможных вариантов, из которых мы должны выбрать самый подходящий. Некоторые алгоритмы исключают повторное использование атрибута при построении дерева, но в нашем случае мы таких ограничений накладывать не будем. Любой из атрибутов можно использовать неограниченное количество раз при построении дерева.

Пусть мы имеем проверку X (в качестве проверки может быть выбран любой атрибут), которая принимает n значений A1,..., An. Тогда разбиение T по проверке X даст нам подмножества T1,..., Tn при X, равном соответственно A1,..., An. Единственная доступная нам информация то, каким образом классы распределены в множестве T и его подмножествах, получаемых при разбиении по X. Именно этим мы и воспользуемся при определении критерия.

Пусть f req(Cj, S) количество примеров из некоторого множества S, относящихся к одному и тому же классу Cj. Тогда вероятность того, что случайно выбранный пример из множества S будет принадлежать к классу Cj, будет равна Согласно теории информации, количество содержащейся в сообщении информации зависит от ее вероятности следующей зависимостью:

Поскольку мы используем логарифм с двоичным основанием, то выражение (4) дает количественную оценку в битах.

Выражение дает оценку среднего количества информации, необходимого для определения класса примера из множества T. В терминологии теории информации выражение (5) называется энтропией множества T.

Ту же оценку, но только уже после разбиения множества T по X, дает следующее выражение:

Тогда критерием для выбора атрибута будет являться следующая формула:

Критерий (7) считается для всех атрибутов. Выбирается атрибут, максимизирующий данное выражение. Этот атрибут будет являться проверкой в текущем узле дерева, а затем по этому атрибуту производится дальнейшее построение дерева. То есть в узле будет проверяться значение по этому атрибуту и дальнейшее движение по дереву будет производиться в зависимости от полученного ответа.

Такие же рассуждения можно применить к полученным подмножествам T1,..., Tn и продолжить рекурсивно процесс построения дерева, до тех пор, пока в узле не окажутся примеры из одного класса.

Одно важное замечание: если в процессе работы алгоритма получен узел, ассоциированный с пустым множеством (то есть ни один пример не попал в данный узел), то он помечается как лист, и в качестве решения листа выбирается наиболее часто встречающийся класс у непосредственного предка данного листа.

Здесь следует пояснить, почему критерий (7) должен максимизироваться. Из свойств энтропии нам известно, что максимально возможное значение энтропии достигается в том случае, когда все его сообщения равновероятны.

В нашем случае, энтропия (6) достигает своего максимума, когда частота появления классов в примерах множества T равновероятна. Нам же необходимо выбрать такой атрибут, чтобы при разбиении по нему один из классов имел наибольшую вероятность появления. Это возможно в том случае, когда энтропия (6) будет иметь минимальное значение и, соответственно, критерий (7) достигнет своего максимума.

Рассмотрим отдельно как быть в случае с числовыми атрибутами. Понятно, что следует выбрать некий порог, с которым должны сравниваться все значения атрибута. Пусть числовой атрибут имеет конечное число значений.

Обозначим их {v1,..., vn }. Предварительно отсортируем все значения. Тогда любое значение, лежащее между vi и vi+1, делит все примеры на два множества: те, которые лежат слева от этого значения {v1,..., vi }, и те, что справа {vi+1,..., vn }. В качестве порога можно выбрать среднее между значениями vi и vi+1 :

Таким образом, мы существенно упростили задачу нахождения порога, и привели к рассмотрению всего n 1 потенциальных пороговых значений T H1,..., T Hn1. Формулы (5), (6) и (7) последовательно применяются ко всем потенциальным пороговым значениям и среди них выбирается то, которое дает максимальное значение по критерию (7). Далее это значение сравнивается со значениями критерия (7), подсчитанными для остальных атрибутов. Если выяснится, что среди всех атрибутов данный числовой атрибут имеет максимальное значение по критерию (7), то в качестве проверки выбирается именно он.

Следует отметить, что все числовые тесты являются бинарными, т.е. делят узел дерева на две ветви.

Классификация новых примеров Итак, мы имеем дерево решений и хотим использовать его для распознавания нового объекта. Обход дерева решений начинается с корня дерева.

На каждом внутреннем узле проверяется значение объекта Y по атрибуту, который соответствует проверке в данном узле, и, в зависимости от полученного ответа, находится соответствующее ветвление, и по этой дуге двигаемся к узлу, находящему на уровень ниже и т.д. Обход дерева заканчивается как только встретится узел решения, который и дает название класса объекта Y.

6.2.4. Пример построения дерева решения В качестве короткой иллюстрации продемонстрируем, как применяется этот алгоритм для построения дерева решений для выборки, представленной в табл. 9.

Начинаем построения дерева решений с его корня. Выберем один из атрибутов в качестве проверки. По формуле (5) мы получаем Для проверки X1 по атрибуту кредитная история, для проверки X2 по атрибуту доход, для проверки X3 по атрибуту долг, для проверки X4 по атрибуту поручительство по формуле (6) соответственно получаем IX1 (T ) = 0, 729949, IX2 (T ) = 0, 911063, IX3 (T ) = 0, 78845, IX4 (T ) = 0, 892159.

По формуле (7) получаем G(X1 ) = 0, 210337, G(X2 ) = 0, 029222, G(X3 ) = 0, 151835, G(X4 ) = 0, 048127.

Таким образом, наибольший прирост информации дает разбиение по атрибуту кредитная история.

Итак, корень дерева построен и выбран атрибут кредитная история в качестве проверки. Продолжаем построение дерева и вначале пойдем по ветке отсутствует. Для удобства приведем отдельно таблицу примеров, у которых атрибут кредитная история принимает значение отсутствует (см. табл. 10).

Определим атрибут, по которому необходимо разбить эту выборку. Для проверки X1 по атрибуту доход по формуле (6) получаем IX1 (T ) = 0, 4.

Для проверки X2 по атрибуту долг по формуле (6) получаем IX2 (T ) = 0.

Для проверки X3 по атрибуту поручительство по формуле (6) получаем IX3 (T ) = 0, 196777679. По формуле (7) получаем G(X1 ) = 0, 570950594, G(X2 ) = 0, 970950594, G(X3 ) = 0, 774172916.

Таким образом, наибольший прирост информации дает разбиение по атрибуту долг.

Теперь перейдем из корня дерева по ветке хорошая. Приведем отдельно таблицу примеров, у которых атрибут кредитная история принимает значение хорошая (см. табл. 11).

Видно, что дальнейшая проверка по какому-либо атрибуту не нужна все примеры принадлежат одному классу.

Наконец, переходим из корневого узла дерева по ветке плохая. Примеры, у которых атрибут кредитная история принимает значение плохая, приведены в табл. 12.

Обозначим X1, X2, X3 проверки соответственно по атрибутам доход, долг, поручительство. Для выбора атрибута, по которому необходимо произвести проверку, опять воспользуемся формулами (5), (6), (7). Тогда получаем G(X1 ) = 0, 019973094, G(X2 ) = 0, 631315773, G(X3 ) = 0, 970950594.

Таким образом, наибольший прирост информации дает разбиение по атрибуту поручительство.

На этом построение дерева решений заканчивается, так как в получившихся узлах все примеры однозначно идентифицированы (принадлежат определенному классу). Построенное нами дерево приведено на рис. 9.

6.3. Искусственные нейронные сети 6.3.1. Основные проблемы, решаемые искусственными Искусственные нейронные сети (ИНС) строятся по принципам организации и функционирования их биологических аналогов. Они способны решать широкий круг задач распознавания образов, идентификации, прогнозирования, оптимизации, управление сложными объектами. Дальнейшее повышение производительности компьютеров все в большей мере связывают с ИНС, в частности, с нейрокомпьютерами (НК), основу которых составляет искусственная нейронная сеть.

Глубокое изучение ИНС требует знания нейрофизиологии, науки о познании, психологии, физики (статистической механики), теории управления, теории вычислений, проблем искусственного интеллекта, статистики, математики, распознавания образов, компьютерного знания, параллельных вычислений и аппаратных средств (цифровых и аналоговых). С другой стороны, ИНС также стимулируют эти дисциплины, обеспечивая их новыми инструментами и представлениями. Этот симбиоз жизненно необходим для исследования нейронных сетей.

Представим некоторые проблемы, решаемые искусственными нейронными сетями.

1. Классификация образов. Задача классификации состоит в указании принадлежности некоторого входного образа, представленного вектором признаков, одному или нескольким предварительно определенным классам. К известным приложениям относятся распознавание букв, распознавание речи, классификация сигнала электрокардиограммы, классификация клеток крови.

2. Кластеризация/категоризация. При решении задачи кластеризации, которая известна также как классификация образов без учителя, отсутствует обучающая выборка с метками классов. Алгоритм кластеризации основан на подобии образов и размещает близкие образы в один кластер. Известны случаи применения кластеризации для извлечения знаний, сжатия данных и исследования свойств данных.

3. Аппроксимация функции. Предположим, что имеется обучающая выборка, которая генерируется неизвестной функцией, искаженной шумом. Задача аппроксимации состоит в нахождении оценки этой функции.

4. Прогнозирование. Пусть в последовательные моменты времени t1, t2,..., tN заданы N дискретных отсчетов {y(t1 ),..., y(tN )}. Задача состоит в предсказании значения y(tN +1 ) в момент tN +1. Прогноз имеет значительное влияние на принятие решений в бизнесе, науке и технике.

5. Оптимизация. Многочисленные проблемы в математике, статистике, технике, науке, медицине и экономике могут рассматриваться как проблемы оптимизации. Задачей оптимизации является нахождение решения, которое удовлетворяет системе ограничений и максимизирует или минимизирует целевую функцию.

6. Память, адресуемая по содержанию. В модели вычислений фон Неймана обращение к памяти доступно только посредством адреса, который не зависит от содержания памяти. Более того, если допущена ошибка в вычислении адреса, то может быть найдена совершенно иная информация.

Память, адресуемая по содержанию, или ассоциативная память, доступна по указанию заданного содержания. Содержимое памяти может быть вызвано даже по частичному или искаженному содержанию. Ассоциативная память чрезвычайно желательна при создании перспективных информационно-вычислительных систем.

7. Управление. Рассмотрим динамическую систему, заданную {u(t), y(t)}, где u(t) является входным управляющим воздействием, a y(t) выходом системы в момент времени t. В системах управления с эталонной моделью целью управления является расчет такого входного воздействия u(t), при котором система следует по желаемой траектории, диктуемой эталонной моделью.

6.3.2. Классификация ИНС Нейронная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой с помощью связей, определяемых весовыми коэффициентами.

С точки зрения топологии можно выделить три основных типа нейронных сетей.

1. Полносвязные сети, в которых каждый нейрон передает свой выходной сигнал остальным нейронам, в том числе и самому себе.

2. Слабосвязные (с локальными связями) сети, где нейроны располагаются в узлах прямоугольной и гексагональной решетки.

3. Многослойные нейронные сети в данных сетях нейроны объединяют в В свою очередь, среди многослойных нейронных сетей выделяют следующие типы:

сети без обратных связей (прямого распространения) в таких сетях, называемых многослойным персептроном, нейроны входного слоя получают входные сигналы, преобразуют их и передают нейронам первого скрытого слоя, и так далее вплоть до выходного, который выдает сигналы для интерпретатора и пользователя;

сети с обратными связями (рекуррентные), в которых информация с последующих слоев передается на предыдущие.

Мы будем рассматривать и изучать далее многослойные сети прямого распространения.

6.3.3. Нейрон как составная часть ИНС Нейрон является составной частью нейронной сети. Он состоит из элементов трех типов: умножителей (синапсов), сумматора и нелинейного преобразователя. Синапсы осуществляют связь между нейронами, умножают входной сигнал на число, характеризующее силу связи (вес синапса). Сумматор выполняет сложение сигналов, поступающих по синаптическим связям от других нейронов, и внешних входных сигналов. Нелинейный преобразователь реализует нелинейную функцию одного аргумента выхода сумматора. Эта функция называется функцией активации или передаточной функцией. На рис. 10 приведено строение одного нейрона.

Нейрон в целом реализует скалярную функцию векторного аргумента.

Математическая модель нейрона:

где wi вес синапса; i = 1,..., n; b значение смещения; s результат суммирования; xi i-й компонент входного вектора (входной сигнал), i = 1,..., n;

y выходной сигнал нейрона; n число входов нейрона,; f (s) нелинейное преобразование (функция активации).

Рис. 11. Архитектура многослойной сети прямого распространения На каждый нейрон первого слоя подаются все элементы внешнего входного сигнала. Все выходы нейронов i-го слоя подаются на каждый нейрон слоя i + 1.

Нейроны выполняют взвешенное суммирование элементов входных сигналов. К сумме прибавляется смещение нейрона. Над результатом суммирования выполняется нелинейное преобразование функция активации (передаточная функция). Значение функции активации есть выход нейрона. Приведем схему многослойного персептрона. Нейроны представлены кружками, связи между нейронами линиями со стрелками.

Функционирование сети выполняется в соответствии с формулами:

где wji вес связи между j-м нейроном слоя (k 1) и i-м нейроном k-го bj значение смещения j-го нейрона k-го слоя;

На рис. 12 представлена сеть прямого распространения сигнала с пятью входами, тремя нейронами в скрытом слое и двумя нейронами в выходном слое.

для всех x Q.

Определение 2. Пусть Q есть ограниченное замкнутое подмножество пространства Rn. Обозначим CQRm множество всех непрерывных отображений из Q в Rm. Пусть G некоторое множество отображений, определенных в Q, со значениями в Rm. Говорят, что множество G плотно в множестве CQRm, если для любого f CQRm и любого > 0 существует g G, которое аппроксимирует f с заданной точностью на Q.

В качестве G (то есть множества, всюду плотного в CQRm ), желательно брать такое, элементы которого бы имели простую структуру и допускали легкую реализацию на ЭВМ. В качестве G можно взять множество отображений, реализуемых многослойными сетями прямого распространения.

Теорема 2 (теорема о полноте). Пусть Q есть ограниченное замкнутое подмножество пространства Rn. Множество всех отображений, осуществляемых многослойными сетями прямого распространения с n входами, m выходами, является плотным в CQRm тогда и только тогда, когда функция активации является непрерывной и не является многочленом.

Таким образом, нейронные сети являются универсальными структурами, позволяющими реализовать любой вычислительный алгоритм. Для представления многомерных функций многих переменных может быть использована однородная двухслойная нейронная сеть с сигмоидальными передаточными функциями.

Для оценки числа нейронов в скрытых слоях однородных нейронных сетей можно воспользоваться формулой для оценки необходимого числа синаптических весов Lw в многослойной сети с сигмоидальными передаточными функциями:

где n размерность входного сигнала, m размерность выходного сигнала, N число элементов обучающей выборки.

6.3.8. Использование нейронных сетей для решения задач Прогнозирование экономических процессов Задача прогнозирования состоит в вычислении и предсказании некоторых деталей будущего. Затем эта информация используется менеджерами для принятия стратегического решения. Для создания прогноза обычно используются данные исторического тренда, а также статистические методы или модели линейного программирования. Существуют:

качественные методы прогноза, например, мнение экспертов (Delphi method), или отчеты об исследовании потребительских предпочтений;

методы анализа временных рядов (Time Series Analysis Methods), например, метод изменчивого среднего (moving average), метод Бокса-Дженкинса;

причинные методы (causal methods), например, анализ статистических требований (Statistical demand analysis), или экономические модели.

Задача прогнозирования продаж Прогнозирование продаж играет видную роль в системах принятия решений. Эффективное и заблаговременное предсказание продаж может помочь ЛПР вычислить стоимость продукции, материальных затрат, и даже определить цену продаж. Большинство методов, применяемых для предсказания продаж, используют те или иные факторы или данные временных рядов.

Однако зависимость между этими факторами или данными временных рядов (независимые переменные) и величиной продаж (зависимая переменная) всегда слишком сложная. Получение результата посредством вышеуказанного подхода слишком трудоемко. Поэтому многие ЛПР используют свою интуицию, а не подходы, связанные с построением моделей.

Задача прогнозирования курса акций В настоящее время имеется много методов для определения тенденции курса акций. В соответствие со своими специфическими свойствами они могут быть классифицированы следующим образом.

1. Технический анализ проводится анализ тенденции курс акции в соответствие со стоимостью и транзакциями в прошлом. Основой технического анализа является математическая статистика и теория математического прогнозирования. При этом могут быть использованы:

линейная регрессионная модель Y = f (x1,..., xn ) для определения прогноза, где Y прогнозируемая величина, x1,..., xn независимые переменные (факторы), f линейная функция;

нелинейная регрессионная модель, f нелинейная функция, (пример функция Кобба Дугласа Y = K L1 );

авторегрессионная модель (при анализе данных временных рядов);

другие методы прогнозирования случайных процессов.

2. Элементарный анализ анализ внутренней информации, появляющейся на рынке. Например, формы финансовых отчетов, отчеты о прибылях и убытках, экономические статьи и т.д. Примером может служить падение курса акций Microsoft после решения суда о признании компании виновной в нарушении антимонопольного законодательства.

3. Информационный анализ в его основе лежит анализ финансовой и индустриальной политики правительства, выход государства на рынок акций, война и т.п.

Следует отметить, что имеется много примеров как успешного, так и неудачного применения этих трех подходов к прогнозированию тенденции курса акций.

Отметим также, что в основе современного подхода к решению задачи прогнозирования лежит концепция детерминизма. Каждый из трех вышеупомянутых методов основан на этой концепции. Основная ее идея состоит в том, что для фиксированных начальных условий будущее является строго определенным, детерминированным. И даже если начальные условия имеют небольшую ошибку, будущее может быть определено приближенно.

Вместе с тем тенденция движения курса акций связана с потребностью акций со стороны населения. Это как раз та причина, по которой прогнозирование тенденции движения курса акций есть чрезвычайно трудная проблема.

Кроме того, современная экономическая наука утверждает, что прогноз рынка принципиально невозможен.

Действительно, классическая модель Эрроу Дебре утверждает, что экономическая система имеет конечное число точек равновесия, причем в окрестности любого устойчивого равновесия поведение системы слабо зависит от ее истории. Современная модель Эрроу Дебре описывает взаимодействие многих рынков. В модель включены неопределенность и рынок ценных бумаг.

Доказано, что для такой модели число равновесий не просто бесконечно, но и континуально. Динамика такой системы принципиально не прогнозируема и существенно зависит от характера пусть даже небольших внешних воздействий.

Многослойная сеть прямого распространения как возможный инструмент прогноза Отметим причины, по которым многослойная сеть прямого распространения может быть применена для решения задач прогноза.

1. Такая сеть обучается на примерах и добывает необходимую функциональную зависимость между зависимыми и независимыми переменными, даже если эта зависимость неизвестна и трудна для описания. Поэтому некоторые исследователи трактуют FANN как один из многопеременных нелинейных непараметрических статистических методов.

2. Многослойная сеть прямого распространения способна к обобщению. После обучения сеть может делать корректное заключение для примеров, не входящих в обобщающую выборку, даже если данные имеют шум.

3. Многослойная сеть прямого распространения универсальный аппроксиматор.

4. Многослойная сеть прямого распространения нелинейна, в то время как большинство традиционных методов прогноза предполагают, что рассматриваемые временные ряды порождены линейными процессами.

На самом деле процессы реального мира часто нелинейные.

Существует два подхода к применению многослойной сети прямого распространения при решении задач прогнозирования.

1. Предсказание на основе независимых переменных–причин. В этом случае вход сети независимые предикаторные переменные. Функциональная зависимость может быть представлена в виде y = f (x1,..., xp ), где x1,..., xp есть p независимых переменных, а y является зависимой переменной. В этом случае многослойная сеть прямого распространения есть функциональный эквивалент нелинейной регрессионной модели.

2. Экстраполяция, или задача прогнозирования временных рядов. Вход сети есть предыдущие наблюдения рядов данных, а выход будущее (прогнозируемое) значение. Сеть представляет следующую функциональную зависимость:

где yt значение наблюдаемой величины в момент t.

В этом случае многослойная сеть прямого распространения есть эквивалент нелинейной авторегрессионой модели для задач прогнозирования на основе временных рядов.

Обучающий пример состоит из конечного набора предыдущих значений временного ряда. Предположим, мы имеем N значений y1,..., yn в обучающем множестве и мы строим одношаговый прогноз. Тогда, используя FANN с n входами, мы получаем N n обучающих примеров. Первый из них состоит из y1,..., yn и yn+1 требуемый (желаемый) выход. Второй будет содержать y2,..., yn+1 и yn+2 желаемый выход. Наконец, последний обучающий пример: yN n, yN n+1,..., yN 1 на входе и yN цель.

Процесс обучения сети состоит в минимизации функций ошибки где ai действительный выход сети для i-го обучающего примера.

Выводы по использованию нейронных сетей для решения различных задач прогнозирования Оценке возможностей нейронных сетей прямого распространения для решения задач прогнозирования на основе временных рядов посвящено большое количество исследований. Однако их заключения часто противоречат друг другу. Часть из них заключают, что нейронные сетей прямого распространения лучше, чем общепринятые методы, другая часть утверждает обратное.