«ТЕОРЕТИЧЕСКИЕ ОСНОВЫ, МЕТОДЫ И АЛГОРИТМЫ ПРИНЯТИЯ РЕШЕНИЙ ПРИ КАСКАДНОМ УПРАВЛЕНИИ РИСКАМИ ОДНОЙ ИЗ НЕСКОЛЬКИХ ОДНОВРЕМЕННО УПРАВЛЯЮЩИХ ОРГАНИЗАЦИЙ ...»

построена по N наблюдениям и для не были рассчитаны I и I по формулам (2.1.9) и (2.1.10). Далее построим по каждому наблюдению, начиная с (n+2) наблюдения информационное расстояние по формуле (2.1.8) между матрицами динамических коэффициентов модели управления I l, где l n 2, n 3,...,N и получим последовательность информационных расстояний. Если очередное в последовательности информационное расстояние наблюдение будем считать характерным, в противном случае это наблюдение не характерное и оно удаляется из дальнейшего рассмотрения, не учитывается в последующих расчетах. После каждого шага процедуры, когда будет обнаружено не характерное наблюдение (т.е. оно удалено из выборки), будет делаться пересчет информационных расстояний между матрицами (в последовательности их становится меньше на единицу). Следовательно, будет делаться пересчет оценки для математического ожидания и оценки среднего квадратичного отклонения. С новыми оценками математического ожидания и среднего квадратичного отклонения проверятся неравенство Чебышева, где последовательность информационных расстояний исследуется сначала.

Эта процедура продолжается до тех пор, пока в совокупности не останутся только характерные наблюдения.

Пусть осталось k характерных наблюдений. После чего фиксируются Для всех информационных расстояний, оставшихся в последовательности (выборке) справедливо неравенство Как следствие из неравенства Чебышева, вытекает тот факт, что последовательность (выборка) оставшихся характерных наблюдений порождает последовательность матриц динамических коэффициентов, которая в свою очередь порождает последовательность (выборку) информационных расстояний, которая, по сути, является наблюдаемой случайной величиной I с нормальным законом распределения наблюдений являются характерными для выбранной модели управления.

информационное расстояние.

I 30 Il I 30, то наблюдение включается в дальнейший расчет модели, в противном случае наблюдение игнорируется.

Для исключенных наблюдений из рассмотрения в фиксированной модели управления может быть построена другая модель (другие модели) управления (аналог кластеризации наблюдений).

заболеваний крови и патологий беременности (управляемые факторы y1, y2 ) от доли 3-ей («плохой») группы промышленных и коммунальных предприятий (управляющие факторы x1, x2 ). По пяти первым наблюдениям была построена матрица динамических коэффициентов A0. Далее по 100 следующим наблюдениям были построены матрицы A1, A2,…, A100 и информационные расстояния I1, I 2,...,I100. Для информационных расстояний были рассчитаны I 1,84377 и I 5,865496. Неравенству Чебышева не удовлетворяло одно информационное расстояние из ста исследуемых. Соответствующее наблюдение было удалено, как не характерное и сделан пересчет матриц, информационных расстояний и их характеристик. В результате пересчета появилось другое информационное расстояние, которое не удовлетворяло неравенству Чебышева. Процедура удаления наблюдения и пересчета матриц, информационных расстояний и их характеристик повторилась пять раз (т.е. из параметрами I = 0,8167 и 0 = 0,7679. Иными словами, можно предполагать [83, 84], что случайная величина I имеет нормальный закон распределения I ~ Вывод по параграфу. Метод отбора характерных наблюдений позволят для построенной многофакторной модели управления корректировать матрицу динамических коэффициентов, следовательно, повышает уровень прогнозных значений, получаемых с помощью построенной многофакторной модели управления. Кроме того, метод отбора характерных наблюдений позволяет из вновь поступающих наблюдений отбирать наблюдения соответствующие выбранной модели управления.

§2.3. Концепция применения метода нейросетевого моделирования в В настоящее время нейросетевые технологии занимают лидирующие позиции, как в части практических приложений, так и в темпах развития теоретической базы. Вместе с тем, несмотря на фундаментальный характер имеющихся теоретических разработок, несмотря на количество и качество доказательств фундаментальных теорем, специалисты-практики нередко относят нейросетевые технологии к чему-то среднему между наукой и интеллектуальных систем, приступая к решению практически каждой новой задачи, применяют весьма внушительный арсенал различных, только им известных хитростей и ноу-хау, зачастую уповая на интуицию и даже просто на везение.

Имеются полезные рекомендации о том, каким образом лучше обрабатывать информацию (предобрабатывать исходные данные), прежде чем их подавать на вход нейронной сети. Однако универсального, пригодного для всех случаев жизни алгоритма предобработки входных сигналов нейронных сетей, в настоящее время не существует и, по-видимому, никогда существовать не будет. Не существует, и не будет существовать «самой лучшей»

активационной функции нейрона, «лучшего» алгоритма обучения и тестирования нейросетей, «лучшего» способа редуцирования и оптимизации нейросетевых структур, «лучшей» последовательности построения нейросетевых моделей. Дело в том, что практически для каждой плохо формализуемой предметной области требуются свои специфические подходы, свои концепции применения метода нейросетевого математического моделирования. Не является исключением и предметная область, включающая задачи управления рисками здоровью населения.

Прежде чем излагать предлагаемую в диссертационной работе концепцию применения метода нейросетевого моделирования в задачах управления рисками здоровью населения, приведем несколько терминов и определений, принятых в литературе по теории нейронных сетей [106].

Активационная функция нейрона – функция, с помощью которой вырабатывается выходной сигнал нейрона. Аргументом активационной функции является взвешенная сумма входных сигналов.

компонентами которого являются параметры x1, x2,...,xm, подаваемые на нейроны входного слоя персептрона.

Выходной вектор персептрона Y (или D) – вектор, компонентами которого являются величины выходных сигналов нейронов выходного слоя персептрона. Выходной вектор может быть желаемым D, компонентами которого являются параметры d1, d2,...,dn, заданные примерами обучающего, тестирующего или подтверждающего множеств, либо действительным (прогнозным) Y, компоненты которого y1, y2,..., yn являются результатами вычислений персептрона. Разница между желаемыми и действительными векторами (параметрами) формирует погрешность персептрона.

Гиперразмерность (или переобучение) – свойство нейронных сетей терять способность к обобщению при чрезмерном увеличении числа нейронов скрытых слоев.

Значащий параметр – входной параметр математической модели (или нейронной сети), оказывающий существенное влияние на результат моделирования.

Искусственная нейронная сеть (или нейросеть) – компьютерная программа, моделирующая мозг, как на функциональном уровне, так и на структурном уровнях.

Минимум глобальный – точка на графике функции, в которой функция принимает самое наименьшее значение на рассматриваемом интервале.

Минимум локальный – точка на графике функции, в которой значение функции меньше, чем в соседних точках; однако значение функции в точке локального минимума больше, чем в точке глобального минимума функции.

Множество обучающее L – состоит из примеров, на которых нейросеть обучается.

Множество тестирующее T – состоит из примеров, которые не участвовали в процессе обучения.

Множество подтверждающее P – состоит из примеров, которые ни в обучении, ни в тестировании сети не участвовали.

Нейроинформатика – область научных исследований, лежащая на пересечении нейронауки и информатики. Нейроинформатика является разделом искусственного интеллекта, объединяющим нейросетевые и нейрокомпьютерные технологии.

Нейрокибернетика – стратегическое направление исследований в области искусственного интеллекта, в основе которого лежит идея создания ЭВМ из искусственных нейронов. Синонимы: низкоуровневая или восходящая стратегия искусственного интеллекта.

Нейрокомпьютер – устройство, реализующее нейронную сеть на аппаратном уровне.

Нейрон биологический (естественный) – элементарная ячейка (клетка), из множества, которых состоит мозг. Нейроны мозга соединены между собой нервными волокнами, через которые они обмениваются между собой электрическими сигналами.

Нейрон математический (модельный, формальный, искусственный) – узел искусственной нейронной сети, являющийся упрощнной моделью биологического нейрона.

нейросетевого моделирования, т.е. работы с нейронными сетями: создания, обучения, тестирования и оптимизации нейронных сетей с выполнением последующего прогнозирования.

предметной области, в основе которой лежит искусственная нейронная сеть.

преобразование входных векторов примеров обучающего множества – в выходные.

Ошибка обобщения (тестирования) T представляет собой разницу (часто – среднеквадратичную разницу) между прогнозным (действительным) выходным вектором Y и желаемым выходным вектором D, вычисленную на примерах тестирующего множества T.

среднеквадратичную разницу) между прогнозным (действительным) выходным вектором Y и желаемым выходным вектором D, вычисленную на примерах обучающего множества L.

Ошибка прогнозирования P представляет собой разницу (часто – среднеквадратичную разницу) между прогнозным (действительным) выходным вектором Y и желаемым выходным вектором D, вычисленную на примерах подтверждающего множества P.

Персептрон – нейронная сеть слоистой структуры, в которой сигналы от каждого нейрона предыдущего слоя передаются к каждому нейрону последующего слоя.

Скрытые слои нейронов – слои нейронов нейронной сети или нейрокомпьютера, расположенные между входным и выходным слоями нейронов.

m – количество входных параметров математической модели.

n – количество выходных параметров математической модели.

Q – количество примеров обучающего множества.

N x – количество нейронов входного слоя нейронной сети.

N y – количество нейронов выходного слоя нейронной сети.

x1, x2,..., xm – входные параметры нейронной сети, образующие входной вектор Х.

d1, d2,..., dn – желаемые выходные параметры нейронной сети, образующие желаемый выходной вектор D.

y1, y2,..., yn – действительные (или прогнозные) выходные параметры нейронной сети, образующие действительный (или прогнозный) выходной вектор Y.

О – погрешность обучения нейронной сети – оценивающая разность между желаемым выходным вектором D и действительным выходным вектором Y, вычисленная на обучающем множестве примеров.

T – погрешность тестирования (обобщения) нейронной сети – оценивающая разность между желаемым выходным вектором Dи действительным выходным вектором Y, вычисленная на тестирующем множестве примеров.

Рис. 2.3.1. Алгоритм метода нейросетевого моделирования.

Алгоритм применения метода нейросетевого моделирования и приемы его реализации, разработанные и используемые Пермской научной школой искусственного интеллекта, а также программный инструментарий, который использован в настоящей работе для проектирования нейронных сетей, их обучения, тестирования и прогнозирования, изложены в работах: [105 -109].

Типичное нейросетевое математическое моделирование осуществляется в ходе выполнения этапов, отраженных на рис. 2.3.1.

Этап 1. Постановка задачи.

На этом этапе определяются цели моделирования, которые обычно состоят в выявлении зависимостей между конкретными управляющими факторами (они являются входными параметрами разрабатываемой математической модели) и управляемыми факторами (они являются выходными параметрами модели). Входные параметры модели x1, x2,..., xm образуют входной вектор Х, а выходные параметры модели d1, d 2,..., d n (или y1, y2,..., yn ) образуют выходной вектор D (или Y). В дальнейшем под вектором D будем понимать вектор желаемых выходных параметров модели, то есть тех, которые известны из статистических данных, а под Y будем понимать вектор действительных (или – прогнозных) выходных параметров нейронной сети, то есть тех, которые получились в результате вычислений нейронной сети.

Разница между действительным Y и желаемым D выходными векторами составляет погрешность математического моделирования.

Таким образом, на первом этапе устанавливаются входные и выходные параметры модели, устанавливается структура (состав и длина) входного вектора X, и выходного вектора D.

В качестве компонент входного вектора X важно выбрать значимые параметры, то есть те, которые оказывают существенное влияние на результат.

Если есть сомнения в значимости того или иного входного параметра, то его лучше включить во входной вектор, рассчитывая, что в последующем с помощью создаваемой нейронной сети можно будет оценить степень его влияния на результат и, если она окажется слабой, то этот параметр в последующем исключить.

Выходной вектор D формируется таким, чтобы его компоненты давали возможность получить ответы на поставленные вопросы.

Этап 2. Формирование примеров.

На этом этапе формируется содержимое входных и выходных векторов.

В результате создается множество пар X q – Dq ( q 1,...,M ). Каждая такая пара составляет пример, характеризующий предметную область. Это множество формируется в виде EXCEL-таблицы, выстраиваемой на основе статистических данных. Столбцами таблицы являются показатели управляющих факторов ( x1, x2,..., xn ) и показатели управляемых факторов (d1, d 2,..., d m ), а строками – наблюдения.

Далее таблицу 2.3.1 необходимо разбить на две части: таблицу 2.3.2, содержащую наблюдения, на которых нейронная сеть будет обучаться, и таблицу 2.3.3, содержащую наблюдения, на которых нейронная сеть будет тестироваться. Примеры таблицы 2.3.2 составляют обучающее множество, обозначаемое буквой L (см. рис. 2.3.2), а примеры таблицы 2.3.3 составляют тестирующее множество, обозначаемое буквой Т.

(количество строк таблицы 2.3.3) должно составлять 10 – 15% от примеров обучающего множества (т.е. от количества строк таблицы 2.3.2). Какой необходим минимальный объем обучающего множества, зависит от задачи.

Нужно, чтобы количество примеров обучающего множества Q (т.е. количество строк таблицы 2.3.2) было не менее чем (7m+15), где m – число входных параметров модели.

Таблица 2.3.1. Множество примеров моделируемой предметной области Таблица 2.3.2. Обучающее множество примеров Таблица 2.3.3. Тестирующее множество примеров Рис. 2.3.2. Деление примеров (наблюдений) предметной области: обучающее множество L, тестирующее множество T и подтверждающее множество P В особо ответственных случаях рекомендуется помимо обучающего подтверждающее множество P из примеров, принадлежащих той же самой предметной области, но не пересекающееся ни с множеством L, ни с множеством P (рис. 2.3.2). На этом этапе решаются также вопросы нормализации и предобработки данных.

Этап 3. Проектирование сети.

Структура персептрона выбирается из следующих соображений. Число входных нейронов N x должно быть равно количеству входных параметров разрабатываемой нейросетевой модели m, т.е. – размерности входного вектора X. Число выходных нейронов N y должно быть равно количеству выходных параметров разрабатываемой нейросетевой модели n, т.е. – размерности выходного вектора D.

Число скрытых слоев нейронов, т.е. слоев, расположенных между входным и выходным нейронными слоями, согласно теореме Арнольда – Колмогорова – Хехт-Нильсена. [63], должно быть не менее одного. На последующих этапах число скрытых слоев может корректироваться, если это позволит улучшить качество работы сети.

Рис. 2.3.3. Персептрон с m входами, n выходами и скрытым слоем из k нейронов Число нейронов N в скрытых слоях рассчитывается с помощью формул, являющихся следствием теоремы Арнольда – Колмогорова – ХехтНильсена:

где N y – количество нейронов выходного слоя (оно совпадает с количеством входных параметров модели n); Q – количество элементов множества обучающих примеров; N w – необходимое число синаптических связей; N x – количество нейронов входного слоя (оно совпадает с количеством входных параметров модели m ). Оценив с помощью этой формулы необходимое число синаптических связей N w, можно рассчитать необходимое число нейронов скрытого слоя:

На последующих этапах построения нейросетевой математической модели число нейронов в скрытых слоях может корректироваться, если это позволит улучшить качество работы сети. Например, может производиться синаптический прунинг.

сигмоидными, однако в дальнейшем, их вид может быть изменен, если это позволит улучшить качество работы сети.

При корректировке структуры персептрона следует иметь в виду, что увеличение скрытых нейронов обычно позволяет добиться меньшей ошибки гиперразмерности – потере обобщающих свойств сети, выражающемуся в возрастании ошибки тестирования, т.е. разницы между желаемым D и действительным Y выходными векторами, вычисляемой на тестирующем множестве примеров.

Этап 4. Обучение сети. Обучение сети – очень важный, но не окончательный этап создания нейросетевой математической модели. Цель обучения – подобрать синаптические веса wij так, чтобы на каждый входной вектор X q множества обучающих примеров сеть выдавала вектор Yq, минимально отличающийся от заданного (желаемого) выходного вектора Dq, где q 1,2,..,Q. Эта цель достигается путем использования алгоритмов обучения нейронной сети, которые, как правило, являются итерационными и в их основе лежит итерационная формула:

Здесь wij (t 1) – синаптический вес связи между i -м и j -м нейронами на новой итерации t 1 (в искусственном интеллекте вместо термина «итерация» обычно употребляют синонимический термин «эпоха»); wij (t ) – синаптический вес связи между i -м и j -м нейронами на старой итерации t ; – скорость обучения; wij – приращение синаптического веса, вычисляемое с помощью формул, задаваемых конкретным алгоритмом обучения. Как правило, эти алгоритмы (например, метод обратного распространения ошибки) обеспечивают движение итерационного процесса в сторону антиградиента гиперповерхности ошибки обучения нейросети [63]. Таким образом, скоростью обучения задается коэффициент, убыстряющий, или замедляющий итерационный процесс.

Характерная кривая обучения – зависимость ошибки обучения от числа эпох обучения, приведена на рис. 2.3.4, а. Но может случиться так, что сеть «не захочет» обучаться – ошибка обучения с увеличением числа эпох не будет стремиться к нулю, как схематично показано на рис. 2.3.4, б. Причинами этого нежелательного явления могут быть следующие.

Рис. 2.3.4. Характерные кривые зависимости ошибки обучения L от числа эпох (итераций) t в случае, когда сеть обучается успешно (а), и когда процесс 1-я причина. Недостаточное количество скрытых слоев и скрытых нейронов. Рекомендуется увеличить число скрытых слоев и скрытых нейронов.

2-я причина. Наличие в обучающем множестве противоречащих друг другу примеров.

Обнаружить такие примеры в обучающем множестве можно, например, путем его визуального анализа. Либо путем запуска специального алгоритма, если таковой имеется в нейропакете. Затем следует разобраться в причинах возникновения противоречащих примеров. Некоторые из примеров могут просто оказаться ошибочными, и их нужно удалить.

Другая причина возникновения противоречащих примеров, может быть связана с тем, что в самой структуре входного вектора отсутствуют какие-то параметры. В этом случае рекомендуется вернуться на этап 1 и пересмотреть постановку задачи, увеличить размерность входного вектора X, добавив непротиворечивость примеров.

3-я причина. Попадание в локальный минимум. Эта проблема связана с тем, что поверхность функции-ошибки персептрона, схематично изображенная на рис. 2.3.5, имеет достаточно сложный характер с множеством мелких ямочек, называемых локальными минимумами. Процесс же обучения персептрона состоит в движении по этой поверхности небольшими шагами в сторону антиградиента, т.е. в сторону наибольшего наклона поверхности функции-ошибки. Естественно, что, опускаясь, таким образом, по поверхности функции-ошибки, можно застрять в каком-либо мелком локальном минимуме, не достигнув самого глубокого минимума, называемого глобальным.

Рис. 2.3.5. Графическое изображение функции-ошибки обучения персептрона Рекомендуется попробовать заново начать процесс обучения из другой начальной точки, или сменить алгоритм обучения персептрона.

4-я причина. Слишком большая скорость обучения. При увеличении скорости обучения из-за слишком большого шага теряется устойчивость, и итерационный процесс обучения может разойтись.

Рекомендуется уменьшить скорость обучения.

5-я причина. Наличие во множестве примеров поведения предметной области посторонних выбросов – примеров, которые не подчиняются закономерностям предметной области, значительно отличаются по своим параметрам от другой статистической информации, например, вследствие закравшихся ошибок.

статистической информации. Иногда такие данные можно обнаружить визуальным способом.

Для обнаружения посторонних выбросов рекомендуется методика [81], в основе которой лежит следующая идея. Ошибочные данные, присутствующие в статистической информации, как правило, не подчиняются закономерностям предметной области, которые пытается извлечь нейронная сеть. Они затрудняют процесс обучения сети, и если их исключить из обучающего множества, то обучение нейросети пойдет быстрее, т.е. при фиксированном количестве эпох обучения погрешность обучения 0 окажется меньше. На этом основании авторами методики [81] предложен алгоритм поочередного исключения примеров из таблицы 2.3.1 и, соответственно, поочередного обучение сети на таких урезанных множествах с исключенными примерами.

Если при обучении сети на каком-либо урезанном множестве с исключенным примером погрешность обучения окажется меньше, чем в случаях обучения на других урезанных множествах, то этот пример и есть посторонний выброс, который следует удалить.

Этап 5. Проверка и оптимизация сети.

Проверка обобщающих свойств сети (иногда этот этап называют тестированием сети) производится на тестирующем множестве примеров, т.е.

на тех примерах, которые не были использованы при обучении сети – это таблица 2.3.3. Результаты тестирования полезно представить графически в виде гистограммы, на которой значения желаемых выходов персептрона Dq можно сопоставить с действительными (прогнозными) Yq, т.е. теми, которые вычислил персептрон. Пример такой гистограммы приведен на рис. 2.3.6.

Рис. 2.3.6. Пример гистограммы, показывающей соотношение желаемых выходов сети с действительными (прогнозными) выходами компонентами желаемого выходного вектора Dq и действительного выходного вектора Yq окажется незначительной, то можно переходить к следующему этапу 6, не выполняя оптимизацию сети. Однако чтобы лишний раз убедиться в адекватности разрабатываемой нейросетевой математической модели, полезно вернуться на этап 2 и те примеры, которые были тестирующими, (либо часть тестирующих примеров) включить в обучающее множество, а часть примеров, бывших обучающими, сделать тестирующими. После этого снова повторить этапы 3, 4, 5.

Если же погрешность обобщения сети окажется неприемлемо большой, то надо попытаться оптимизировать сеть. Оптимизация сети состоит в подборе наиболее подходящей для данной задачи структуры сети – количества скрытых слоев, количества скрытых нейронов, количества синаптических связей, вида и параметров активационных функций нейронов. В некоторых нейропакетах предусмотрена автоматическая оптимизация сети. Но иногда бывает полезно выполнить оптимизацию вручную, построив график зависимости погрешности обобщения T от числа скрытых нейронов и других параметров персептрона, и выбрав с помощью этих графиков структуру сети, обеспечивающую минимальную погрешность обобщения.

При выборе оптимальной структуры сети следует помнить, что цель оптимизации сети состоит в минимизации погрешности обобщения T, но не погрешности обучения L. Именно по величине погрешности обобщения судят о качестве сети, о ее обобщающих и, следовательно, прогностических свойствах. Погрешность же обучения – это всего лишь промежуточный результат.

многократные возвраты назад – на этапы 4, 3, 2, и даже на этап 1, на котором заново выполняется постановка задачи, включающая переоценку значимости входных параметров с последующим их сокращением, или, наоборот, добавлением.

Заметим, что выявление малозначимых входных параметров, может быть осуществлено с помощью разрабатываемой нейросети путем поочередного исключения входных параметров и наблюдением за погрешностью обобщения: если при исключении какого-либо входного параметра погрешность обобщения нейронной сети возрастет, то этот параметр является значимым для данной математической модели. В противном случае, параметр не является значимым, и его не следует учитывать при постановке задачи.

После оптимизации сети, ее обобщающие свойства рекомендуется проверить на примерах подтверждающего множества P. Дело в том, что в процессе оптимизации сеть могла приспособиться к примерам тестирующего множества. А если эти примеры по каким-либо причинам не характерны для всей предметной области, то на других примерах, которых не было ни в тестирующем множестве, ни в обучающем множестве, она может дать неожиданно большую ошибку прогнозирования. Для исключения такого явления, и чтобы окончательно убедиться, что сеть имеет хорошие обобщающие свойства не только на тестирующем множестве примеров, вычисляют ошибку прогноза сети P на подтверждающем множестве, т.е. на тех примерах, которые ни в обучении, ни в тестировании не участвовали.

Результатом оптимизации и проверки сети является готовая к использованию нейросетевая математическая модель предметной области, впитавшая в себя, ее закономерности, например – зависимости между показателями качества среды обитания и показателями заболеваемости его населения.

Этап 6. Исследование модели, прогнозирование.

Путем проведения вычислительных экспериментов над математической нейросетевой моделью достигаются цели моделирования. Находятся ответы на поставленные вопросы, в частности, выявляются и изображаются графически зависимости между показателями, выясняется характер этих зависимостей, выявляются наиболее значимые показатели (управляющие факторы), оказывающие наибольшее влияние на те, или иные показатели (управляемые факторы).

спроектирована и обучена, впитала в себя закономерности моделируемой предметной области. Она реагирует на изменение входных параметров и ведет себя точно так же, как вела бы себя сама предметная область.

Таким образом, в результате выполнения приведенного на рис. 2.2. алгоритма метода нейросетевого математического моделирования получается два вида продуктов:

- после выполнения этапа 5 создается готовая к использованию интеллектуальная информационная система, являющаяся математической моделью предметной области;

- после выполнения этапа 6 получаются результаты исследования математической модели, представленные в виде графиков, номограмм, гистограмм, полезных рекомендаций и выводов.

Также заметим, что алгоритм создания нейросетевой математической модели (НММ), приведенный на рис. 2.3.1, апробирован при решении многих практических задач и представляется вполне эффективным. Однако в каждом конкретном случае, и в зависимости от опыта, навыков и предпочтений разработчика НММ, от этого алгоритма возможны отклонения. Например, если у разработчика НММ хорошо развита интуиция, или есть свои собственные алгоритмы для определения количества нейронов в скрытых слоях, то совсем не обязательным является использование формулы Арнольда – Колмогорова – Хехт-Нильсена. Например, рекомендуем строить персептрон с двумя скрытыми слоями; на первом скрытом слое поместить количество нейронов равным удвоенному количеству входных нейронов, а на втором скрытом слое число нейронов должно быть задано как среднее между количеством нейронов первого скрытого слоя и количеством нейронов выходного слоя. В случае удачного построения такого персептрона, нужно постепенно снижать до возможного минимума (без существенного увеличения ошибки) количество нейронов на скрытых слоях.

Пример нейросетевого математического моделирования. В этом примере для выполнения нейросетевого моделирования использован нейропакет «Нейросимулятор» [97, Рабочее окно нейропакета представлено на рис. 2.2.7. Алгоритм работы продемонстрируем на примере обучающего множества примеров, представленного в виде excel-таблицы на рис. 2.3.8, и тестирующего множества, представленного на рис. 2.2.9.

Находясь в режиме «Проектирование сети» было задано «Количество нейронов» во «Входном слое» равным количеству входных параметров m создаваемой нейросетевой математической модели. «Количество нейронов» в «Выходном слое» было задано равным количеству выходных параметров n. В нашем случае количество входных параметров модели m 8, а количество выходных параметров модели n 1.

Рис. 2.3.7. Рабочее окно нейропакета «Нейросимулятор»

Рис. 2.3.8. Обучающее множество из 196 примеров, содержащее входных параметров – показателей качества среды обитания, и один выходной Рис. 2.3.9. Тестирующее множество из 20 примеров, содержащее входных параметров – показателей качества среды обитания, и один выходной Количество «скрытых слоев» (т.е. количество слоев нейронов, расположенных между входным и выходным нейронными слоями) на начальном этапе проектирования нейросети, как отмечалось ранее, рекомендуется оставить равным единице, а количество «нейронов скрытых слоев» – рассчитать по формулам Арнольда – Колмогорова – Хехт-Нильсена.

Подставив в эти формулы N x 8, N y 1, Q 196, получим:

Задав количество «нейронов» в «скрытом слое» равным среднему значению из полученного интервала N 16, получим структуру сети, изображенную на рис. 2.3.10.

Рис. 2.3.10. Структура нейронной сети с 8-ю входными нейронами, одним выходным нейроном и с 16-ю нейронами на скрытом слое Впоследствии в процессе последующей настройки и оптимизации нейронной сети ее структура может быть подвергнута многократным изменениям, направленным на улучшение прогностических свойств разрабатываемой математической модели.

Далее нейропакет переводится в режим обучения (рис. 2.3.11) нажатием на закладку «Обучение». Нейропакет готов к вводу примеров обучающего множества. Но прежде чем это делать, обратим внимание на некоторые настройки нейропакета, которые могут быть изменены пользователем в процессе улучшения качества создаваемой нейросетевой математической модели. В окне «Алгоритм обучения» по умолчанию установлен способ обучения нейросети – алгоритм обратного распространения ошибки, который в настоящее время является наиболее распространенным и популярным, однако в некоторых случаях более эффективными могут оказаться другие алгоритмы [63], выбор которых осуществляет пользователь нейропакета, используя данное окно.

Ниже располагаются окна, с помощью которых пользователь может изменить скорость обучения и количество эпох обучения T. Как отмечалось ранее, скоростью обучения задается коэффициент, убыстряющий, или замедляющий итерационный процесс. В рассматриваемом нейропакете скорость обучению по молчанию задана 0,08, и это число на начальных этапах создания интеллектуальной системы изменять не рекомендуется. Ниже на рис.

2.3.11 задано суммарное количество эпох обучения нейросети T 1000. Таким образом, после выполнения 1000 эпох обучения итерационный процесс остановится, и пользователь увидит график – зависимость погрешности обучения нейросети от номера эпохи обучения. При нажатии кнопки «Возобновить» итерационный процесс обучения нейросети будет продолжен еще на 1000 эпох.

На рис. 2.3.11 следует набор окон под названием «Функциональная предобработка», которые пока рассматривать не будем. В окне «Инициализация весов» задано начальное распределение синаптических весов:

«Стандартное», т.к. стандартное распределение начальных значений синаптических весов по кривой Гаусса для задач Роспотребнадзора представляется наиболее эффективным.

В окне «Перемешивание» предусмотрен режим подачи обучающих примеров не последовательно: первый, второй, третий и т.д., а случайным образом. В некоторых случаях такой режим способствует улучшению процесса обучения, однако по молчанию для задач Роспотребнадзора режим перемешивания отключен.

При нажатии кнопки «Загрузить из Excel» множество обучающих примеров считывается из excel-таблицы рис. 2.3.8 и загружаются в нейропакет, как показано на рис. 2.3.12.

Рис. 2.3.12. Нейропакет с загруженным множеством обучающих Нажатие кнопки «Обучить заново» запускает процесс обучения персептрона. Результат обучения интерпретируется графически в виде зависимости ошибки обучения персептрона от номера эпохи. Следует продолжать обучать персептрон пока кривая обучения не выйдет на стационарный режим (рис. 2.3.13), т.е. не станет параллельной оси абсцисс.

Продолжение обучения обеспечивается многократным нажатием на кнопку «Возобновить».

Рис. 2.3.13. Графическая интерпретация процесса обучения персептрона:

ошибка обучения уменьшается с ростом числа эпох обучения Далее следует перевести нейропакет в режим «Проверка» и нажать кнопку «Копировать из обучающего множества» и кнопку «Вычислить». На рис. 2.3.14 можно видеть требуемые (желаемые) выходные значения сети, расположенные в столбце d1 и им соответствующие действительные значения y1. Разница между желаемыми и действительными выходными значениями составляет погрешность обучения персептрона, максимальное и среднеквадратичное значения которой приведено внизу картинки рис. 2.3.14.

О качестве обучения сети удобно судить с помощью графического представления результатов. Для этого нужно нажать кнопку «Отправить в Excel» и с помощью Excel-редактора построить гистограмму, изображенную на рис. 2.3.15.

Как видно из рис. 2.3.14 и рис. 2.3.15, процесс обучения нейронной сети нельзя признать успешным, что можно объяснить наличием в множестве примеров поведения предметной области многочисленных ошибочных данных, для выявления и исключения которых переведем нейросимулятор обратно в режим «Обучение» и воспользуемся кнопкой «Обнаружение выбросов».

Рис. 2.3.14. Среднеквадратичная ошибка обучения персептрона составила Рис. 2.3.15. Результат обучения персептрона: сопоставление желаемых и Результат работы этого алгоритма представлен на рис. 2.3.16 в виде гистограммы, в которой столбики показывают погрешность обучения нейросети после десяти эпох и соответствуют номеру исключенного примера.

Рис. 2.3.16. Результат поиска выбросов, соответствующих ошибочным Расщелины указывают на наблюдения, исключение которых, привело к понижению ошибки обучения, следовательно, эти примеры выпадают из общих закономерностей предметной области, и поэтому есть основания полагать их ошибочными, подлежащими удалению. В результате работы алгоритма обнаружения выбросов, строки таблицы примеров, соответствующие «плохим»

примерам, автоматически выделяются и их можно удалить путем нажатия кнопки «Удалить строку».

После многократного обнаружения и удаления выбросов из множества примеров поведения предметной области и перепроектирования нейросети можно добиться, что нейросеть будет обучаться с приемлемой ошибкой обучения (рис. 2.3.17 – 2.3.19).

Рис. 2.3.17. Окончательная структура нейронной сети Рис. 2.3.18. Обучение персептрона после удаления выбросов Рис. 2.3.19. Результат обучения персептрона после удаления выбросов.

Среднеквадратичная ошибка обучения персептрона составила 0,19%, Рис. 2.3.20. Результат обучения персептрона после удаления выбросов, сопоставление желаемых и действительных выходных сигналов персептрона После успешного обучения в нейросимулятор (в режиме «Проверка») следует загрузить тестирующее множество примеров и, путем нажатия кнопки «Вычислить», определить ошибку тестирования (обобщения), которая, как видно из рис. 2.3.21, составила: среднеквадратичная 1,44%, максимальная относительная 2,25%.

Рис. 2.3.21. Ошибка обобщения (тестирования), вычисленная на тестирующем множестве примеров составила: среднеквадратичная 1,44%, максимальная После того, как убедились в адекватности нейросетевой математической модели, можно приступить к ее исследованиям. Для этого, переведя Нейросимулятор в режим «Прогноз», загрузим в первую строку таблицы параметры среды обитания какой-либо интересующей нас территории. Во вторую, третью, четвертую, пятую и шестую строки загрузим параметры той же территории, но с постепенным уменьшением значений параметра x1 (этот параметр соответствует «Доле проб воды в источниках центрального водоснабжения, не отвечающих гигиеническим нормам по санитарнохимическим показателям») с 50 процентов до нуля процентов, как показано на рис. 2.3.22. Нажимая на кнопку «Вычислить», на этом же рисунке видим, что значение выходного параметра y1 (он соответствует заболеваемости населения исследуемой территории гастритом и дуоденитом) при указанном уменьшении входного первого x1 падает с 30,57 промилле до 29,20 промилле.

Рис. 2.3.22. Результат исследования предметной области методом математического моделирования: при уменьшении входного параметра x1 с 50% до 0% выходной параметр модели y1, кодирующий заболеваемость населения гастритом и дуоденитом, падает с 30,57 промилле до 29,20 промилле Нажав кнопку «Отправить в Excel» средствами Excel-редактора, можно изобразить обнаруженную зависимость графически, как показано на следующем рис. 2.3.23.

Рис. 2.3.23. Результат исследования предметной области методом математического моделирования: зависимость заболеваемости населения территории гастритом и дуоденитом в промилле от санитарно-химических показателей качества воды в источниках централизованного водоснабжения Выполняя аналогичные манипуляции с другими входными параметрами модели, устанавливаем, например, что снижение входного параметра x7 («Доля проб продуктов и продовольственного сырья, не отвечающих гигиеническим нормам по санитарно-химическим показателям) с 4,2% до 0% также приводит к снижению заболеваемости населения гастритом и дуоденитом с 30,57 до 29, промилле, как показано на рис. 2.3.24 и 2.3.25.

Интересно отметить, что аналогичные изменения других входных параметров модели, указанных на рис. 8, не приводят к заметному снижению заболеваемости населения гастритом и дуоденитом. Таким образом, можно сделать вывод, что наиболее значимыми (приоритетными) показателями среды обитания исследуемой территории, оказывающими наибольшее влияние на заболеваемость ее населения гастритом и дуоденитом являются:

x1 – доля проб воды в источниках централизованного водоснабжения, не отвечающих нормам по санитарно-химическим показателям;

x2 – доля продуктов и продовольственного сырья, не отвечающих гигиеническим нормам по санитарно-химическим показателям.

Рис. 2.3.24. Результат исследования предметной области методом математического моделирования: при уменьшении входного параметра x7 с 4,2% до 0% выходной параметр модели y1, кодирующий заболеваемость населения гастритом и дуоденитом, падает с 30,57 промилле до 29,07 промилле Заметим, что для других территорий значимыми для здоровья населения могут оказаться другие показатели качества среды обитания.

Рис. 2.3.25. Результат исследования предметной области методом математического моделирования: зависимость заболеваемости населения исследуемой территории гастритом и дуоденитом от санитарно-химических показателей продуктов и продовольственного сырья Рис. 2.3.26. Результат исследования предметной области методом математического моделирования: при одновременном обнулении двух наиболее значимых входных параметров x1 и x7 выходной параметр модели y1, кодирующий заболеваемость населения исследуемой территории гастритом и дуоденитом, падает с 30,57 промилле до 27,44 промилле На рис. 2.3.26 приведен результат математического моделирования. При одновременном обнулении двух наиболее значимых входных параметров исследуемой территории: x1 и x7 получаем более существенное снижение заболеваемости населения исследуемой территории гастритом и дуоденитом, а именно – с 30,57 до 27,44 промилле.

На рис. 2.3.27 представлены прогнозные зависимости общей смертности населения некоторых городов в зависимости от величины штрафов, наложенных на промышленные предприятия, нарушающих законодательство о природопользовании. Жирной вертикальной чертой указан существующий уровень штрафов в данных городах в 2008 г.

Рис. 2.3.27. Прогнозная зависимость смертности населения крупного промышленного центра с миллионным населением (а) и малого промышленного центра (б) от величины штрафов, наложенных и взысканных с Как видно из рис. 2.3.27, а, нейросетевые прогнозы показывают, что увеличение штрафов промышленных предприятий в крупном промышленном центре с миллионным населением при существующем уровне смертности населения не приведет к заметному ее снижению, тогда как в городе с населением около пятидесяти тысяч человек (рис. 2.3.27, б) это мероприятие может оказаться более эффективным.

На рис. 2.3.28 и рис. 2.3.29 представлены аналогичные зависимости общей смертности населения в этих же городах от двух факторов – величины штрафов наложенных на промышленные и коммунальные предприятия. Как видно из рисунков, совместное увеличение штрафов, наложенных на промышленные и коммунальные предприятия в обоих городах может привести к снижению общей смертности населения.

Рис. 2.3.28. Прогнозная зависимость смертности населения крупного промышленного центра от величины штрафов, наложенных на промышленные Рис. 2.3.29. Прогнозная зависимость смертности населения малого промышленного центра от величины штрафов, наложенных на промышленные На рис. 2.3.30 представлены примеры результатов прогноза смертности населения от новообразований в зависимости от доли пищевых предприятий наиболее неблагоприятной в гигиеническом отношении, т.е. предприятий 3-й группы, в двух городах с населением до ста тысяч человек: город №1 (рис.

2.3.30, а) и город № 2 (рис. 2.3.30, б). Как и ранее, жирной вертикальной чертой отмечено существующее в данный момент состояние в исследуемых городах.

Прогнозные кривые, приведенные на рис. 2.3.30, тоже позволяют сделать интересные в практическом отношении выводы. Так, из рисунка видно, что если попытаться в обоих городах уменьшить долю неблагоприятных в гигиеническом отношении пищевых предприятий 3-й группы, например, на 1% (т.е. отклониться от вертикальной жирной черты влево по шкале абсцисс на 1%), то можно вычислить, что в городе № 1, это мероприятие приведет к снижению смертности населения примерно на 4,6%, тогда как в городе № данное мероприятие не вызовет каких-либо заметных изменений смертности населения.

Делая попытку объяснить причину столь разных прогнозов, отметим, что нейронные сети невербальны по своей природе и, в отличие от других технологий искусственного интеллекта, например – экспертных систем, не прогнозировании явлений и закономерностей. Согласно теории нейронных сетей, они извлекают скрытые знания из статистической информации – примеров предметной области, кодируют их в виде сил синаптических связей, и используют эти знания для прогнозирования. А поскольку адекватность нейросетевой математической модели, как уже отмечалось выше, была проверена на тестовых примерах, то не доверять результатам прогнозов, представленным на рис. 2.3.30, нет оснований. Можно лишь утверждать, что при прогнозировании нейросеть учла множество параметров, характеризующих специфику российских городов и населенных пунктов, а также специфику самого российского населения.

Рис. 2.3.30. Примеры прогноза смертности населения от новообразований в зависимости от доли пищевых предприятий 3-й группы для двух городов Таким образом, разработанная математическая модель может быть использована для выявления городов и населенных пунктов, в которых действия Роспотребнадзора по улучшению качества пищевых предприятий будут эффективны и приведут к снижению смертности населения, а в каких городах эти действия не дадут желаемого эффекта.

Вывод. Метод нейросетевого моделирования позволяет устанавливать причинно-следственные связи между управляющими факторами (входным вектором) и управляемыми факторами (выходным вектором), дает возможность анализировать данные (определять выбросы), выстраивать модель управления, прогнозировать управляемые факторы.

устанавливать причинно-следственные связи между управляющими и управляемыми факторами, дают возможность строить и анализировать модели управления, прогнозировать управляемые факторы. Метод нейросетевого анализировать и обрабатывать информацию (определять и исключать выбросы).

§3.1. Применение непрерывного статистического контроля Задачи непрерывного контроля впервые были рассмотрены Х.Ф.

Доджем и Х.Г. Ромигом в [114 - 115]. В дальнейшем этому вопросу были посвящены работы Я.Б. Шора и А.А.Пахомова [101 - 103], книги Ю.К. Беляева [6], В.С. Мхитаряна [76] и многие другие. Исследования по этой теме отражены в различных ГОСТах [12 -15].

Непрерывный статистический контроль может быть применен для различных целей:

1). Приемки готовых партий изделий (объектов);

2). Своевременного обнаружения разбалансировки производственного оборудования, выпускающего массовую (поточную) продукцию (объекты);

3). Установление повышения уровня заболеваемости на фиксированной территории (объекте) в определенный промежуток времени;

4). Классификации объектов на несколько классов.

Непрерывный контроль может применяться для решения других производственных, коммерческих и исследовательских задач, требующих принятия решения при определенных сложившихся условиях, вытекающих из потребностей заказчика или аналитика.

Пусть на контроль поступает непрерывный поток объектов О1, О2, ….

Необходимо классифицировать каждый объект, то есть отнести его к тому или иному классу. Причем не обязательно каждый объект подвергается контролю, при котором однозначно определяется принадлежность объекта к тому или иному классу.

В общем случае планом непрерывного контроля потока объектов можно считать систему переключения четырех стадий произвольного плана контроля:

1). Сплошной контроль объектов, когда контролю подвергается каждый объект;