«Содержание ВВЕДЕНИЕ 1. ИНТЕЛЛЕКТУАЛЬНЫЕ СРЕДСТВА И МОДЕЛИРОВАНИЕ СИСТЕМ ЗАЩИТЫ ИНФОРМАЦИИ 1.1. Анализ использования интеллектуальных средств в системах защиты информации 1.2. Анализ методов защиты ...»

Умножением матрицы достоверности МЕ и матрицы потенциального ущерба ЕМ получают квадратную матрицу достоверности потенциального ущерба «МЗ-МЗ» ММ i = j = 1,..., m – число МЗ, а умножением матрицы ЕМ и матрицы МЕ получают квадратную матрицу достоверности потенциального ущерба «эшелоныэшелоны» ЕЕ i = j = 1,..., n - число эшелонов СЗИ.

Для матрицы ММ в качестве обобщающего показателя можно рассматривать вектор, образованный диагональными элементами mmij = pi, i = j = 1,…, m, матрицы - вектор достоверности распределения потенциального ущерба по механизмам защиты СЗИ а для матрицы EE – вектор из ее диагональных элементов eeij = di, i = j = 1,…, n, - вектор достоверности распределения ущерба по эшелонам СЗИ 5. В качестве интегральных оценок защищенности системы ИТ в разрезе механизмов защиты можно использовать рейтинговый показатель RM - длину m-мерного вектора P1xm а в разрезе эшелонов СЗИ - рейтинговый показатель RE - длину n-мерного вектора D1xn Предельными значениями RM lim и RE lim рейтинговых показателей являются, соответственно, m m и n n, где m – число известных МЗ, а n - число эшелонов СЗИ, получаемые при достоверной активации во всех эшелонах многоуровневой СЗИ всех МЗ, предотвращающих по каждому из МЗ нанесение ущерба, равного максимально допустимому.

Текущую эффективность СЗИ целесообразно оценивать в относительных величинах, используя в качестве пороговых значений максимальные значения рейтинговых показателей RM max и RE max, учитывающие достоверной активации во всех эшелонах многоуровневой СЗИ только активированных МЗ, предотвращающих по каждому из механизмов защиты нанесение ущерба, равного максимально допустимому 2.4.3. Оценки информационных ресурсов и безопасности глобальных компьютерных систем Для оценки уровня информационно-коммуникационных технологий (ИКТ) глобальных компьютерных систем (ГКС) применима система показателей, аналогичная используемой для оценки защищенности систем ИТ. Группа показателей развития информационного общества (ИО) детализируется за счет введения дополнительных экспертных оценок в разрезе иерархии ГКС для различных групп стран и учета материальных затрат, необходимых для эксплуатации и модернизации инфраструктуры ГКС. Формируется группа показателей информационной безопасности, учитывающих распределение механизмов защиты по иерархии ГКС и величину предотвращенного ущерба на заданном поле угроз. Рейтинговые показатели уровня ИКТ получаются путем объединения двух названных групп показателей.

Разработке количественных показателей и методик анализа движения стран мира к ИО уделяется большое внимание [95]. Известны следующие показатели для оценки информационных ресурсов (ИР) различных стран мира: индекс технологической оснащенности (ИТО) [96], индекс прозрачности коммуникаций (ИПК) [97], и индекс информационного общества (ИИО) [98]. Известны также показатели информационной безопасности (ИБ), исходящие из наличия определенного набора средств и механизмов защиты (МЗ), методик изготовления, эксплуатации и тестирования, позволяющих отнести систему информационно-коммуникационных технологий к одному из дискретных уровней защищенности в соответствии с используемыми стандартами [99, 100].

Названные показатели ИР и ИБ не учитывают иерархию ГКС отдельных стран и материальные затраты, необходимые для поддержания инфраструктуры глобальных информационных и коммуникационных систем. В этой связи необходима разработка комплекса показателей оценки информационных ресурсов и информационной безопасности глобальных компьютерных систем для различных групп стран, отличающихся уровнем развития ИТ. Известные показатели ИТО, ИПК, ИИО можно представить в виде матрицы экспертных оценок распределения ИР по странам мира - «страны-ИР» и дополнить экспертными оценками распределения ИР по иерархии ГКС внутри страны (группы стран с аналогичным уровнем развития ИТ) в виде матриц «ИР-иерархия». Аналогично для ГКС показатели ИБ можно представить в виде матрицы достоверности нейтрализации угроз механизмами защиты «МЗ-угрозы» и матрицы достоверности «угрозы-эшелоны».

Показатели информационных ресурсов Рассмотрим первую группу показателей, связанных с уровнем развития информационного общества. Исходные данные – результаты экспертных оценок распределения ИР по странам (группам стран) представляют в виде матрицы СR «страны-ИР» размерностью mxp i = 1,..., m – число анализируемых стран, j = 1,..., p - число анализируемых показателей ИР. Аналогично формируют матрицу RH «ИР-иерархия» распределения ИР по иерархии ГКС стран, относящихся к одной группе по уровню развития ИКТ размерностью pxn i = 1,..., p - число анализируемых показателей ИР, j = 1,..., n - число уровней иерархии в ГКС страны.

Формируют матрицу материальных затрат на эксплуатацию и модернизацию ГКС страны «иерархия-ИР» HR размерностью nxp i = 1,..., n - число уровней иерархии в ГКС страны, j = 1,..., p - число анализируемых показателей ИР, и матрицу «ИР-страны» RC размерностью pxm i = 1,..., p - число анализируемых показателей ИР, j = 1,..., m – число подлежащих анализу стран.

Интегральные показатели получают в результате операций над матрицами. В частности умножение матриц «страны-ИР» СR и «ИР-иерархия» RH позволяет получить матрицу «страны-иерархия» CH размерностью mxn – матрицу распределения ИР по странам и иерархии ГКС i = 1,..., m – число подлежащих анализу стран, j = 1,..., n - число уровней иерархии в ГКС страны, а умножение матриц материальных затрат HR и RC - матрицу материальных затрат «иерархия-страны» HC размерностью nxm, отражающую распределение затрат на эксплуатацию и модернизацию ГКС i = 1,..., n - число уровней иерархии в ГКС страны, j = 1,..., m – число подлежащих анализу стран.

Промежуточные оценки в виде строки и столбца интегральных показателей значимости [93] характеризуют распределение ИР по иерархии ГКС и по группе стран, а также позволяют оценить материальные затраты на поддержание информационной инфраструктуры в разрезе стран и иерархии ГКС.

Дальнейшие операции над матрицами CH и HC дают возможность обобщить в диагональных элементах итоговой матрицы как показатель распределения ИР, так и материальных затрат на поддержание информационной инфраструктуры стран.

Умножением матрицы распределения ресурсов CH и материальных затрат HC получают квадратную матрицу затрат на поддержание информационной инфраструктуры ГКС при данном распределения ИР – матрицу «страныстраны» СС i = j = 1,..., m – число анализируемых стран, а умножением матрицы HC и матрицы CH получают квадратную матрицу затрат на поддержание информационной инфраструктуры ГКС при данном распределения ИР – матрицу «иерархияиерархия» HH i = j = 1,..., n - число уровней иерархии в ГКС страны.

Для матрицы CC в качестве обобщающего показателя можно рассматривать вектор, образованный диагональными элементами ccij = ci, i = j = 1,…, m, матрицы - вектор затрат на поддержание информационной инфраструктуры ГКС при данном распределения ИР а для матрицы HH – вектор из ее диагональных элементов hhij = hi, i = j = 1,…, n, - вектор затрат на поддержание информационной инфраструктуры ГКС при данном распределения ИР В качестве интегральных показателей информационной оснащенности в разрезе группы стран можно использовать рейтинговый показатель RС - длину m-мерного вектора С1xm а в разрезе иерархии ГКС - рейтинговый показатель RН - длину n-мерного вектора H1xn Выводы по главе Рассмотрены иерархическая модель и метод проектирования адаптивной системы защиты информации, основанные на принципах биологического подобия. Модель адаптивной защиты использует принцип биосистемной аналогии, в частности, иерархию системы защиты информационных процессов и ресурсов в биологической системе, согласно которой на нижних уровнях иерархии задействованы механизмы иммунной системы, а на верхних - механизмы адаптивной памяти и накопления жизненного опыта нервной системы.

1. Показано, что построение безопасных систем ИТ основано на иерархической организации информационной защиты, а также:

• биосистемной аналогии в архитектуре систем ИТ, • известных механизмах информационной защиты биосистем, • наличии иерархии уровней информационной защиты систем ИТ, • свойствах НС, необходимых для реализации функций информационной 2. Предложен метод проектирования адаптивной СЗИ, включающий следующие этапы:

1) формирование матриц адаптируемых экспертных оценок и на их основе создание исходных систем нечетких правил и классификаторов (на нижних уровнях защиты - классификаторов «признаки атаки - угрозы», на верхних уровнях защиты – классификаторов «угрозы - МЗ»);

2) идентификация выявленной угрозы и при расширении поля известных угроз - кластеризация угроз с последующей адаптацией информационных полей путем обучения НС уровней защиты;

3) кластеризация вследствие изменения поля угроз сопровождается коррекцией или расширением системы нечетких правил;

4) изменение поля угроз вызывает модификацию систем нечетких правил и матриц экспертных оценок в результате обучения классификаторов уровней защиты;

5) при расширении системы нечетких правил формируется описание нового (отсутствующего) механизма защиты;

6) «прозрачность» системы нечетких правил позволяет сформулировать спецификацию на создание отсутствующего МЗ;

7) на основании анализа комплекса оценок защищенности ИТ-системы (в случае экономической целесообразности) включают новый МЗ в состав защиты.

3. Отмечено, что при проектировании адаптивной системы защиты информации следует учитывать комплексный характер модели, связующим звеном которой является методика оценки защищенности системы ИТ, которая координирует взаимосвязь классификаторов угроз и механизмов защиты (в виде НС, нечетких НС, систем нечетких предикатных правил), структурной модели системы информационной безопасности, инструментальных средств расчета показателей защищенности и рейтинга системы ИТ.

Вначале выбирается структурная модель СИБ в виде иерархии уровней механизмов защиты, а априорный опыт экспертов представляется массивами экспертных оценок, на базе которых формируются системы нечетких предикатных правил для классификации 1) угроз по признакам атак и 2) МЗ на поле угроз.

Системы нечетких предикатных правил для последующей адаптации и анализа представляются в виде нечетких НС, которые обучают на некотором подмножестве входных векторов признаков атаки. Одновременно обучают классификаторы в виде обычных НС таким образом, чтобы число образуемых кластеров равнялось числу правил в системе нечетких предикатных правил. Аналогично обучают нейросетевые классификаторы механизмов защиты по векторам известных угроз.

Для исходных массивов экспертных оценок производят расчет показателей защищенности и рейтинга системы ИТ, которые используются методикой оценки защищенности системы ИТ для анализа и коррекции, как массивов экспертных оценок, так и функциональных параметров нейросетевых классификаторов и систем нечетких предикатных правил.

4. В качестве основных элементов адаптивной модели СЗИ разработаны методика и комплекс показателей для оценки уровня защищенности системы ИТ, учитывающие достоверность нейтрализации угроз, а также потенциальный ущерб и частоту активации угроз.

Показана возможность применения разработанного комплекса показателей защищенности для оценки уровня развития информационных технологий глобальных компьютерных систем ГКС. Детализирована группа показателей развития информационного общества за счет введения дополнительных экспертных оценок в разрезе иерархии ГКС для различных групп стран и учета материальных затрат, необходимых для эксплуатации и модернизации инфраструктуры ГКС. Сформирована группа показателей информационной безопасности, учитывающих распределение механизмов защиты по иерархии ГКС и величину предотвращенного ущерба на заданном поле угроз. Получены рейтинговые показатели уровня ГКС путем объединения двух названных групп показателей.

Предложено, в качестве основных механизмов реализации адаптивных свойств СЗИ использовать:

способность нечеткого распределенного информационного поля нейронной сети к накоплению знаний в процессе обучения;

нечеткий логический вывод, который позволяет использовать опыт экспертов в области информационной безопасности, овеществленный в виде системы нечетких предикатных правил, для предварительного обучения нейро-нечеткой сети. Возможность отображения системы нечетких предикатных правил на структуру СЗИ и последующее ее обучение на поле известных угроз позволяют проанализировать процесс логического вывода для уточнения существующей или синтеза новой системы нечетких предикатных правил СЗИ;

способность нейронных и нейро-нечетких сетей к классификации и кластеризации.

Показано, каким образом адаптивная модель отражает развитие системы информационной безопасности в процессе жизненного цикла систем ИТ.

3. АСПЕКТЫ ОРГАНИЗАЦИИ АДАПТИВНЫХ СИСТЕМ ЗАЩИТЫ

ИНФОРМАЦИИ

Реализация адаптивных СЗИ базируется на принципах подобия архитектуры и механизмов защиты системы ИТ архитектуре и механизмам защиты биологических систем. Принципы подобия нашли отражение в модели адаптивной СЗИ, рассмотренной в предыдущей главе. В настоящей главе рассматриваются вопросы реализации и инструментальные средства для моделирования адаптивных СЗИ.

В качестве базы для построения адаптивных СЗИ может быть использован технический аналог ткани биологической системы, представленный в виде взаимосвязанных интерфейсом нейросетевых командных пулов, управляемых потоком данных. В соответствии с принципами монолитности исполнения и многофункциональности памяти обработку данных следует проводить непосредственно в локальных пулах команд путем выполнения последовательных операций чтения - модификации – записи.

Определенной альтернативой монолитности исполнения можно считать секционирование, которое позволяет, используя базовые блоки (секции) в качестве элементов структуры, программно формировать нейросетевую СЗИ в соответствии с предъявляемыми требованиями. Секционирование позволяет усложнить операционную зону и использовать параллельную арифметику для реализации основных операций нейросетевого базиса [5, 103]. Секционирование не противоречит принципу монолитности особенно при реализации нейросетевого вычислителя по технологии «нейрокомпьютер на кремневых пластинах» [5]. С другой стороны, секционирование позволяет воплотить архитектурные решения базовых блоков с учетом возможностей отечественной микроэлектронной промышленности в виде наращиваемых СБИС.

Задачи, подлежащие решению в системах защиты информации, можно подразделять на формализуемые и неформализуемые. Первый класс задач как более широкий и исследованный реализуется с помощью программных средств на универсальных машинах. Однако традиционный подход к управлению вычислениями критикуется из-за последовательного характера вычислительного процесса [109, 110].

Заслуживает внимания метод решения формализуемых задач, в котором управление вычислительным процессом осуществляется с помощью потока данных – УПД [104, 111]. УПД отказывается от принудительного задания порядка выполнения машинных операций. Неформализуемые задачи – область применения нейросетевых методов, где иное управление вычислениями не приемлемо из-за невозможности алгоритмического описания хода вычислительного процесса.

Программно настраиваемый нейросетевой командный пул способен решать оба класса задач, представленных в виде пакетных нейросетевых программ [4, 106].

Адаптивность СЗИ обеспечивается использованием элементной базы, способной к обучению, и, прежде всего, нейронных сетей. Нейросетевые СЗИ согласно принципу биосистемной аналогии следует представлять в виде структурированных информационных полей иммунного и рецептороного уровней защиты.

3.1. Разработка алгоритма адаптации нейросетевых СЗИ Для представления процессов адаптации нейросетевых систем защиты информации удобно использовать язык графического описания объектов, подобный предложенному Дж. Деннисом и Д. Мисунасом [112 - 114].

3.1.1. Описание нейросетевых СЗИ Описание нейросетевых СЗИ на графическом языке УПД сведется к воспроизведению одной из стандартных топологий, где в качестве исполнительных элементов могут быть использованы либо ФН, либо слой из формальных нейронов. Программы потоков данных, согласно [114, 115], могут быть представлены в форме последовательности операторов, подчиняющихся определенному синтаксису языка, либо в виде функционально завершенной совокупности КП, размещаемых в командных ячейках пула команд.

Определим основные понятия, которые использованы ниже по тексту.

Пул команд – многофункциональная безадресная память для размещения ПНП; получает пакеты данных; формирует командные пакеты или пакеты данных.

Пакетная нейросетевая программа – функционально завершенная совокупность взаимосвязанных командных пакетов.

Командный пакет - структурный компонент ПНП, образованный совокупностью специализированных полей и задающий, как операцию нейросетевого базиса, так и номера командных пакетов-приемников результата.

Пакет данных (ПД) – средство доставки (контейнер) значений данных от одного КП (источника) к другому КП (приемнику результата).

Командная ячейка – часть пула команд для размещения КП.

Нейросетевой базис включает в себя функции и компоненты, которые рассматривают как язык представления НС [107]. Каждому из компонентов базиса ставят в соответствие КП, из которых формируют функционально полные наборы КП и используют в качестве элементарных программных и структурных единиц [116, 117].

Для иллюстрации на рис. 3.1 представлена межнейронная связь (синапс), выполняющая операцию взвешивания входного сигнала.

Синапсу соответствует КП, состоящий из поля приемника результата (коммуникационное поле) D, поля функциональных параметров W1 (помечено вентильным кодом С - const), поля входного порта Х1 и поля готовности данных R1 (оба с вентильным кодом N - not).

Иногда функцию взвешивания сигнала передают репликатору и получают выходную звезду (рис. 3.2), КП которой содержит поля весов, например, 1,…, n. Выходная звезда соответствует отдельной нечеткой связи, если нечеткое множество {1,…, n} соответствует некоторой семантике СД.

Формальный нейрон (рис. 3.3) получается последовательным соединением адаптивного сумматора, нелинейного преобразователя и нечеткой связи. КП формального нейрона содержит полный набор вышеназванных полей образующих его структурных компонентов. Функциональная универсальность позволяют рассматривать ФН в качестве базового элемента ПНП.

Слой ФН (рис. 3.4) - следующий уровень абстрагирования. Роль элемента структуры НС играет ранг идентичных по функциональным возможностям ФН.

КП слоя ФН в отличие от КП отдельного нейрона содержит матрицу параметров Wij вместо вектора весов и порога срабатывания ФН W0 (0 i r; 0 j n;

где r - число ФН в слое НС, n - число входов отдельного ФН).

Для описания НС с помощью ПНП необходимо, чтобы набор командных пакетов удовлетворял требованиям функциональной полноты. Если в качестве единственного базового элемента выбрать ФН, то ПНП будет представляться ограниченной совокупностью (по числу ФН НС) однотипных КП, различающихся только содержимым коммуникационных (связи) и функциональных (веса) полей. Если же в качестве базового элемента выбрать слой формальных нейронов, то ПНП будет более компактной, а следовательно снизятся затраты времени, связанные с транспортировкой готовых КП из пула команд к PU и ПД в обратном направлении.

Для решения неформализуемых задач может быть использован стандартный нейросетевой подход: в зависимости от типа задачи выбирается одна из известных сетевых конфигураций, соответствующая ей парадигма обучения НС, а в качестве базового элемента – ФН, представленный командным пакетом. Информация о межнейронных связях сети записывается в коммуникационные поля командного пакета, а параметры НС, полученные в результате обучения - в функциональные поля той же совокупности КП.

Формализуемые задачи могут быть описаны на графическом языке, где в качестве исполнительных элементов, информации и связей будут использоваться, соответственно, блоки нейросетевого базиса, токены данных и управляющие токены (в формализуемых задачах появятся условные вершины), а также сигнальные линии для передачи значений данных и управляющей информации в виде пакетов данных [111].

Представление формализуемых задач в виде ПНП потребует использования специальных КП для описания условных вершин реализуемого алгоритма (рис. 3.5). В отличие от фон-неймановских машин, в которых ветвление в алгоритме организуется модификацией содержимого счетчика команд, изменяющего порядок выборки команд из памяти, в подходе УПД, где отсутствует заранее обусловленный порядок выборки и обработки КП, необходимо управляемо перенаправлять потоки данных. С этой целью можно либо отдельным полям КП придать вентильные свойства и управлять этими полями посредством управляющих токенов [111], либо в состав набора КП ввести управляющий КП (рис.

3.5).

Рис. 3.2. Выходная звезда Рис. 3.3. Формальный нейрон Рис. 3.4. Слой формальных нейронов Рис. 3.5. Управляющий командный пакет Управляющий КП будет фиксировать предназначенные ему данные в своих входных портах (Х1, Х2, Х3), устанавливая соответствующие биты готовности в полях (R1, R2, R3).

При поступлении операндов КП обрабатывается таким образом, что часть данных используется для формирования результата отношения Boolean (к примеру, Х1 – Х2 < ), а другая часть поступивших данных (Х3) в качестве значения будет передана либо адресатам DT1, DT2,…, DTn, либо адресатам DF1, DF2,…, DFn в зависимости от результата отношения TRUE или FALSE, соответственно.

При разработке языковых средств для описания нейросетевых СЗИ следует руководствоваться следующими положениями. 1) в командных пулах информация, представленная в виде пакетов, преобразуется и перемещается в соответствии с графом обработки информации. 2) нейросетевая СЗИ представляется в виде размещенной в пуле команд ограниченной функционально завершенной совокупности КП, образующих ПНП. 3) КП - функционально-структурная единица языка описания НС. 4) Система КП должна удовлетворять требованиям функциональной полноты, т.е. набор операций, реализуемых КП системы, должен составлять нейросетевой базис. 5) КП в зависимости от реализуемой функции может соответствовать: a) отдельным элементам ФН или комбинации элементов; b) отдельному ФН; c) части слоя, содержащего ФН; d) отдельному слою ФН; e) НС. 6) КП может быть операционным, т. е. реализующим функцию нейросетевого базиса, или управляющим, переключающим потоки данных в НС. 7) нейросетевая СЗИ формируется путем заполнения командных, коммуникационных и функциональных полей КП либо на этапе обучения, либо, в случае обученной сети, занесением готовой к выполнению ПНП в пул команд.

8) Данные представляют собой контейнер или квант информации, дополненный коммуникационной и служебной информацией. 9) НС самоуправляется механизмом готовности данных и передачей результатов обработки КП-источников в операндные поля (входные порты) КП- приемников с помощью пакетов данных. 10) нейросетевая СЗИ начинает функционировать после занесения данных в операндные поля КП и срабатывания механизма готовности: КП извлекается из пула команд после поступления операндов во входные порты в количестве, достаточном для корректного выполнения операции.

Для обеспечения информационной защищенности и сохранения работоспособности при разрушении части НС целесообразно использовать механизм частичной готовности. КП извлекается из пула команд в случаях: 1) заполнения всех операндных полей; 2) поступления заданной совокупности операндов; 3) поступления определенного количества операндов; 4) истечения допустимого времени нахождения КП в пуле команд.

Использование механизма частичной готовности данных при реализации нейросетевых приложений в виде ПНП позволяет задействовать механизм нейросетевой избыточности и повысить информационную защищенность и функциональную устойчивость НС. В пакетах, играющих роль транспорта для передачи сообщений, в основном содержится коммуникационная информация и значения данных, к искажению которых НС в достаточной мере устойчива.

Для обучения нейросетевых СЗИ, построенных на базе логарифмической структурной модели формального нейрона, предложен алгоритм по методу обратного распространения ошибки [119].

3.1.2. Алгоритм логарифмического обратного распространения ошибки Метод обратного распространения ошибки при вычислении поправок к весам НС многократно использует операцию умножения. В логарифмической модели формального нейрона умножение в процессе взвешивания заменено суммированием.

В данной модели ФН использованы два нелинейных преобразователя (рис.

3.6). Первый из них = a ln bx, а1, x>0 размещен на синаптических входах ФН (соответствующих выходах предыдущего слоя сети) и выполняет функцию масштабирования сигналов в НС. Второй преобразователь реализует функцию ( x ) = p e, p < 1, m > 1, для потенцирования значений логарифма взвешенных сигналов перед их суммированием в теле ФН и реализации дополнительного нелинейного преобразования ( x) = k x, k = p b, ma < 1. То есть роль функции активации в структуре ФН модели B играет степенная функция (x), неявно реализуемая в синапсах при суперпозиции функций 1 (( x )) и соответствующем подборе значений коэффициентов a, m, p. Выходом ФН является выход сумматора, на котором реализуется функция q = s i, где si - i-й синаптический вход тела ФН, 1 i n.

Обратный логарифмический просчет начинается с вычисления значения ошибки = y q, где y – целевое значение одной из координат выходного вектора Yu, заданное на множестве обучающих пар {(Xu,Yu)}, u = 1, 2,..., M, а q – реальное значение сигнала соответствующей координаты выходного вектора на выходе данного ФН при подаче на его входы вектора Xu. Пусть значение ошибки распределено по входам тела ФН пропорционально величинам взвешенsi ных входных сигналов si, то есть i = q, где i - ошибка, приведенная к i-у синаптическому входу. Для исключения ошибки по i-у входу необходимо скорsi y si si ' получается путем умножения исходного значения si на величину y / q.

Значение сигнала i-го синапса si при подаче на вход ФН сигнала xi определяется прямым просчетом распространения сигналов в структуре ФН. Сигнал xi одновременно является выходным сигналом q j нейрона j предыдущего слоя НС, где он подвергается преобразованию = a ln bx. Поэтому на репликатор рассматриваемого ФН поступает значение логарифма входного сигнала X i = a ln b xi. Двухвходовой сумматор i-го синапса выполняет сложение значений X i = a ln b xi и Wi = a ln b wi. Причем значение веса может храниться в локальной памяти ФН в виде логарифма. Результат – значение логарифма взвешенного сигнала S i = X i + Wi подвергается преобразованию 1 ( x) в значение сигнала i-го синапса si : s i = p e i i = p e Корректное значение логарифма взвешенного сигнала i-го синапса равно все значения логарифмов синаптических сигналов данного ФН получают одинаковое приращение i = вне зависимости от значений входных сигналов, где - разность значений логарифмов целевого и реального выходных сигналов Значение логарифма приращения синаптических сигналов ФН i в ma раз (m>1, a0 и i, 1 i m,, таких, что значения их коэффициентов при суперпозиции функций 1 (( x)) позволяют неявно реализовать в синаптических связях функцию активации Отметим следующие этапы в алгоритме обучения НС по процедуре логарифмического обратного распространение ошибки:

1. При начальной инициализации НС весам и смещениям присвоить малые случайные величины из диапазона изменения значений логарифмов.

2. Выбрать очередную обучающую пару из множества обучающих пар {(Xu, Yu)}, u = 1, 2,..., M; подать логарифм значений входного вектора Xu на вход НС.

3. Вычислить логарифм значений выходного вектора Qu нейронной сети.

4. Вычислить разность между логарифмами значений одноименных координат вектора Qu сети и целевого вектора Yu из обучающей пары векторов (Xu, Yu), то есть определить значение логарифма координат вектора ошибки u, u = 1, 2,..., M.

5. Для настройки весов используется процедура логарифмического обратного просчета: логарифмы весов НС корректируются на множестве обучающих пар {(Xu, Yu)}путем прибавления к логарифмам функциональных параметров каждого k-го слоя НС (1 k l, l – число слоев сети) поправок k таких, чтобы для каждой координаты вектора u значение k равнялась значению данной координаты вектора u. Алгоритм циклически выполняется на множестве обучающих пар {(Xu, Yu)}до достижения необходимой степени близости векторов Qu к Yu.

Шаги 2 и 3 соответствуют прямому просчету (распространение сигналов от входов к выходам нейронной сети), а шаги 4 и 5 – обратному просчету: логарифм значения сигнала ошибки передается по НС в обратном направлении и используется для подстройки значений логарифмов функциональных параметров ФН.

Прямой просчет НС выполняется послойно, начиная с входного слоя, куда поступает вектор Хu из множества обучающих пар {(Xu, Yu)}. Входные преобразователи (x) формируют значения логарифмов координат вектора входных сигналов, а двухвходовые сумматоры каждого i-го синапса (1 i r, r – число входов нейрона) – соответствующие суммы значений X i = a ln b x i и W i = a ln b wi. Значения логарифмов взвешенных сигналов S i = X i + Wi подвергаются преобразованию 1 ( x ) в значения сигналов синапсов si, причем функция активации ( x ) = k x ma «сжимает» каждый из сигналов si, а величина q каждого ФН в слое вычисляется как взвешенная сумма его входов. Выходной вектор входного слоя является входным для следующего слоя. Процесс повторяется послойно, пока не будет получен выходной вектор НС - один из векторов Qu.

Подстройка весов выходного слоя. Для каждого из векторов Хu из множества обучающих пар {(Xu, Yu)}, u = 1, 2,..., M заданы значения целевого вектора Yu. Если обеспечена необходимая степень близости целевого вектора и полученного в результате прямого просчета выходного вектора Qu, то НС обучена. В противном случае необходимо обучение НС. На рис. 6 показан фрагмент взаимодействия оперативных данных с информационным полем НС, соответствующей модели В формального нейрона, при обучении межнейронных связей между скрытым j-м и выходным k-м слоями нейронной сети.

Для подстройки весов выходного слоя НС вычисляются значения логарифмов координат выходного вектора Qi,1 i m, соответствующего целевоk го вектора Yi,1 i m и определяются значения координат вектора логарифk мической ошибки ki, k – номер выходного слоя, а m – размерность выходного вектора НС. Для каждой i-й координаты вектора ошибки (выход i-го ФН выyi На рис. 3.7 описанным преобразованиям соответствуют вершины v1 v 4 :

вершины v1, v 2, v 4 сопоставлены с вершинами ОД, содержащими в полях данных значения логарифмов координат выходного, целевого векторов и вектора логарифмической ошибки, а в коммутационных полях – d i - указатель на i-й нейрон k-го слоя в качестве источника ошибки. ОВ v3 задают операцию над вершинами ОД – вычитание. Вершины v 4 v6 описывают процесс выбора минимальной из координат вектора ошибки k-го слоя min (вершина v5 ) и форk мирования вершин ОД (вершины v6 ), содержащих исходные данные для коррекции функциональных параметров выходного слоя НС.

Процесс коррекции синаптической силы межнейронных связей детализирован на рис. 3.7 для i-го ФН выходного слоя (вершины v6 v10 ). В ОВ v формируется значение логарифма приращения для всех весов i-го ФН k-го слоя В остальные поля данных вершины v8 заносятся значения логарифмов функциональных параметров, считанные из локальной памяти весов (Weights Memory) i-го ФН k-го слоя в соответствии с коммутационным полем d i вершины v6. Непосредственно коррекция весов межнейронных связей осуществляется в ОВ v9 путем сложения логарифмов предыдущих значений весов и соkmin ответствующих приращений Wi ' = Wi + Wi = Wi + i весов (информационном поле нейросетевой СЗИ) в соответствии с коммуникаk ционным полем d i вершины ОД v10.

По оговоренному выше порядку распределения значения логарифмической ошибки W i = i коррекции в скрытых слоях НС, в частности следующего, j-го слоя, выбирается НС. Формирование X вует операции масштабирования приращения y = kx, k = 1/2; вершина ОД v12 в поле данных содержит вновь сформированное значение логарифма приращения для очередного, j-го слоя НС, а в коммуникационных полях – указание на приемники логарифма приращения t p,1 p n, где n – число ФН в j-м слое НС.

Подстройка весов скрытого слоя. Так как из слоя k на все ФН скрытого j-го слоя подается одно и то же значение логарифма приращений (ошибки), то упрощается дальнейший обратный просчет.

Рис. 3.6. Структурная модель логарифмического ФН Рис. 3.7. Фрагмент ПНП для обучения логарифмической НС Передаваемое к следующему (j-1)-у скрытому слою значение логарифма приращения будет меньше входного X сети.

Таким образом, в каждом последующем скрытом слое значение логарифма ошибки уменьшается вдвое, а значение логарифма приращения функциональных параметров для всех ФН слоя составляет половину от значения логарифма поступившей в данный слой ошибки. Для (j-v)-го скрытого слоя будет справедливо соотношение:

Подстройка весов входного слоя. Оставшееся после коррекции функциональных параметров первого из скрытых слоев значение логарифма ошибки полностью суммируется с логарифмами весов всех ФН входного слоя обучаемой НС.

Рассмотренная процедура повторяется для всех пар векторов обучающей выборки до тех пор, пока не будет достигнута заданная степень близости всех пар одноименных векторов Q к Y.

3.1.3. Оценки времени обучения по методам логарифмического и обратного распространения ошибки Алгоритм обратного распространения ошибки. Подстройка весов ФН выходного слоя НС. Если входной сигнал i-го входа ФН обозначим хi, формируемый выходной сигнал – q, а целевой выходной сигнал – y, то при использовании дельта-правила приведенная к входу ошибка составит величину = q(1 – q)(y – q). Затем умножается на величину хi и на коэффициент скорости обучения, а результат прибавляется к значению веса связи.

Т. е. вычисляется производная функции активации - в случае сигмоидальной функции выполняются операции вычитания и умножения q(1 – q), определяется ошибка выхода (y – q), и полученные значения умножаются на скорость обучения Данная последовательность операций производится один раз в пересчете на один ФН, т. е. 2 вычитания и 3 умножения, требуя затрат времени 2a+3m.

Для коррекции каждого веса связи дополнительно выполняется одна операция умножения и одно сложение wi(n+1) = wi(n) + хi.

Итого для n k 1 -входового ФН в выходном k-м слое НС суммарные затраты времени на коррекцию всех весов связей составят где a – время выполнения операции сложения/вычитания; m – время выполнения операции умножения.

При подстройке весов ФН скрытого слоя. Веса связей выхода ФН умножается на величину соответствующего ФН в выходном слое. Величина для ФН скрытого слоя, получается суммированием полученных произведений и умножением на производную сжимающей функции = q(1 q) i wi.

То есть полученные значения ошибки i i-го ФН (j+1)-го слоя умножаются на значение веса wi и суммируются по числу nj+1 ФН в (j+1)-м слое НС. Полученная суммарная ошибка умножается на значение производной функции активации текущего j-го слоя НС. Итого для определения ошибки, приведенной к выходу ФН j-го скрытого слоя, необходимо выполнить (nj+1 +2) операций умножения и nj+1 операций сложения для каждого ФН в скрытом слое ni+1 a + (nj+1+2) m.

Затем для коррекции весов ФН j-го скрытого слоя, как и для случая выходного слоя НС, следует выполнить nj-1 операцию умножения хi и столько же операций сложения wi + wi, т.е. затратить время, равное nj-1 (a+m).

Таким образом, для одного цикла коррекции всех весов k-слойной НС с размерностью входного вектора n0 и числом ФН в слоях ni, где i=1,…,k потребуется время Алгоритм логарифмического обратного распространения ошибки Подстройка весов выходного слоя. Для подстройки весов выходного слоя НС вычисляются значения логарифмов координат выходного вектора Qik, 1 i n k, соответствующего целевого вектора Yi, 1 i n k и определяются значения координат вектора логарифмической ошибки i. Здесь k – номер выk ходного слоя НС, а nk – размерность выходного вектора НС. Для каждой i-й няемые операции – табличное логарифмирование и вычитание.

Выбирается отличная от нуля минимальная из координат вектора ошибки k-го слоя min, для чего необходимо выполнить nk -1 операцию сравнения.

В процессе коррекции веса связей для i-го ФН выходного слоя НС формиkmin k-го слоя НС, для чего необходимы 1 операция сдвига и 1 операция вычитания. Коррекция весов осуществляется путем сложения логарифмов предыдущих значений весов и соответствующих приращений Wi k ' = Wi k + Wi k.

Итого для ФН в выходном k-м слое НС затраты времени на коррекцию весов составят tout = nk (2l + a) + (nk 1)a + s + (nk 1 + 1) nk a, где a – время выполнения операции сложения/вычитания/сравнения; l – время выполнения операции логарифмирования; s – время выполнения операции сдвига.

Для коррекции в скрытых слоях НС В качестве логарифма приращений, в частности, j-го слоя, выбирается отличное от нуля значеi ние X i = НС.

Подстройка весов скрытого слоя. Так как из слоя k на все ФН скрытого jkmin редаваемое к следующему (j-1)-у скрытому слою НС значение логарифма приji kmin ращения будет меньше входного X l вдвое. То есть X i = ронов в j-м слое нейронной сети.

Таким образом, в каждом j-м скрытом слое для коррекции весов необходима одна операция сдвига и n j 1 n j операций алгебраического сложения.

Подстройка весов входного слоя. Оставшееся после коррекции весов первого из скрытых слоев значение логарифма ошибки полностью суммируется с логарифмами весов всех ФН входного слоя обучаемой НС, что потребует n0 n операций алгебраического сложения.

Итого для одного цикла обучения логарифмической НС суммарные затраты времени на коррекцию весов связей составят Последнее выражение не содержит операций умножения, операция логарифмирования выполняется табличным преобразованием, а для задания параметра скорости обучения НС используется однотактная операция сдвига.

Для проведения сравнения полученных соотношений (9) и (10) отдельно определим относительный выигрыш во времени обучения выходного слоя НС и соотношение времени обучения внутренних и входного слоев нейронной сети.

Отношение времени обучения выходного слоя НС в случае обратного распространения ошибки к времени обучения выходного слоя логарифмической нейронной сети описывается выражением, независящим от числа ФН в выходном слое НС То есть цикл обучения выходного слоя НС по методу логарифмического обратного распространения ошибки экономичнее примерно во столько раз, во сколько быстрее выполняется операция сложения по отношению к операции умножения в конкретной ИТ-систем.

Аналогично определим отношение времени обучения входного и внутренних слоев НС для случаев классического обратного распространения ошибки к времени обучения входного и внутренних слоев логарифмической нейронной сети:

Из выражения (12) следует, что и при обучении внутренних слоев НС соотношение (11) не ухудшается, а, напротив, эффективность обучения логарифмической сети возрастает с увеличением числа слоев НС. В частности, если предположить постоянство количества ФН в скрытых слоях НС, то зависимость (12) становится близкой к линейной (рис. 3.8.) с тангенсом угла наклона, равным 3.2. Организация безопасного хранения информации Нейросетевой командный пул строится на основе специализированных модулей памяти и ориентирован на управление потоком данных. Логика работы памяти в УПД-машинах обеспечивает защищенность хранимой информации: 1) операция записи данных производится не по конкретному адресу памяти, а по содержанию; 2) отсутствует операция считывания данных из ЗУ и, следовательно, непосредственный доступ к хранимой информации. Готовые к обработке данные, представленные в виде пакетов, извлекаются из памяти автоматически - без управления извне.

Нейросетевые СЗИ в командном пуле представляются конечным множеством КП - пакетной нейросетевой программой.

Командные пакеты содержат следующий набор полей:

1) командное (OP) определяют одну из функций нейросетевого базиса;

2) функциональное (F) содержит значения весов и порогов срабатывания ФН или группы ФН;

3) операндные (Datam... Data1) предназначены для буферизации входной информации, поступающей в КП–приемник результата из КП-источников операндов, m – число операндных полей пакета;

4) коммуникационные (DSTn... DST1) задают топологию связей между ФН, содержат адреса КП–приемников результата, n – число КП-приемников результата;

5) служебные (ACT) – вспомогательные поля, определяющие, как правило, контекст вычислений.

Готовые к обработке командные пакеты (с укомплектованными операндными полями) передаются через коммуникационную среду в процессорный узел, где свободный процессорный элемент (аналог ФН) выполняет преобразование содержимого КП и формирует пакеты данных по числу КП–приемников результата.

Пакет данных – контейнер, переносящий значения с выхода одного ФН на вход другого ФН, - как правило, состоит из следующих полей:

1) результата (RES) содержит значение, сформированное в ФН-источнике, для передачи ФН–приемнику результата;

2) коммуникационного (DSTij) задает связь между двумя ФН, по которой передается результат на j-й вход i-го ФН-приемника, 0 i r; 0 j n; здесь r число ФН в слое НС, n - число входов отдельного ФН;

3) служебного (ACT) – вспомогательное поле.

Работа командного пула может быть описана следующим образом.

Исходное состояние. Многофункциональная память не производит операций, однако содержит конечное множество КП с заполненными командными, коммуникационными и функциональными полями, то есть загруженную в пул обученную НС. На входе командного пула может находиться входная очередь (или входной регистр), предназначенная для буферизации поступающих ПД и формирующая два флага: «Очередь пуста» и «Очередь заполнена». Задача входной очереди – накапливать асинхронно поступающие ПД и инициировать загрузку пакета данных, находящегося в начале очереди, в пул команд, если первый флаг сброшен.

В процессе загрузки ПД из входной очереди в пул команд поле результата Res ПД заносится в одно из операндных полей Dataj, 0 i m, КП–приемника результата, определяемое коммуникационным полем (DSTij) и служебным полем (Act) ПД. В блоке памяти готовности данных устанавливается бит готовности, ассоциированный с операндным полем.

Извлечение КП. Если заполнены данными все операндные поля Datam...

Data1 некоторого КП (установлены все связанные с ним биты готовности), то КП выталкивается из пула команд и производится очистка ассоциированных с ним битов готовности данных в блоке памяти готовности данных.

Пул представляет собой память, не имеющую внешних шин записи/чтения, что исключает возможность записи по определенному адресу и считывания содержимого конкретной ячейки памяти. Доступной для загрузки является входная очередь, а для извлечения – выходная очередь пула. Т.е. командный пул является «непрозрачной» для пользователя памятью, в которую через входную очередь загружаются ПД, а из выходной очереди извлекаются готовые КП.

В качестве известного решения локального пула можно назвать командный пул мультипроцессорной системы DDDP с УПД [104]. Операндная память адресуется по содержанию коммуникационного (DSTi) и служебного (АСТ#) полей ПД посредством механизма хэширования; командная память – только полем DSTi. Служебное поле ACT# необходимо для обеспечения корректной передачи результатов работы при одновременном вызове некоторой процедуры из различных частей программы или повторном прохождении циклических участков программы, при которых формируются КП с различными номерами активации и значениями операндов, но содержащие идентичные командные и коммуникационные поля.

Специфика организации НС требует внесения ряда изменений в командный пул и, прежде всего, введения модулей памяти для хранения функциональных параметров КП (FM) и механизма готовности данных (RCM), увеличения числа как операндных, так и коммуникационных полей (рис. 3.9).

Рис. 3.8. Иллюстрация эффективности обучения логарифмических НС Рис. 3.9. Информационно защищенный пул команд Командное поле в КП может отсутствовать, если все КП будут выполнять одну функцию – к примеру, функцию ФН или слоя ФН.

Информационно защищенный командный пул образован из следующих специализированных модулей памяти:

1) OM – память операндов предназначена для буферизации значений данных, передаваемых по межнейронным связям НС на входы ФН; в адресном сечении OM хранятся значения операндов, поступивших на входы конкретного ФН (или слоя ФН) к некоторому моменту времени;

2) RM – память готовности КП к обработке хранит булеву матрицу, отражающую динамику поступления операндов на входы ФН сети; заполнение единицами некоторого адресного сечения матрицы соответствует моменту поступления всех операндов на входы некоторого ФН сети; данный момент аппаратно отслеживается схемой готовности RS, формирующей сигнал POP извлечения КП из пула и сигнал Clr обнуления данного адресного сечения RM;

3) RCM – память управления готовностью позволяет явным образом указать, поступлением каких из операндов для данного ФН можно пренебречь при формировании сигнала POP схемой готовности RS; булева матрица, хранимая в RCM, маскирует булеву матрицу, формируемую в RM;

4) FM (Functional Memory – память функциональных параметров предназначена для долговременного (на срок функционирования НС) хранения значений весов и порогов срабатывания ФН;

5) IM – память команд хранит топологию НС; командные поля (в случае использования нескольких базовых функций) несут информацию о типе компонента сети, а коммуникационные поля определяют межкомпонентные связи;

если командные пакеты реализуют одну базовую функцию (например, функцию ФН), то IM содержит только коммуникационную информацию;

6) RQ – магазинная память, размещаемая на входе пула с целью буферизации ПД;

7) PQ – магазинная память, размещаемая на выходе пула для буферизации готовых к обработке КП.

Если в командный пул загружены одна или ряд НС (ПНП), то пул будет находиться в состоянии покоя до тех пор, пока во входную очередь RQ не поступит хотя бы один ПД. Занесение ПД в RQ по внешнему сигналу Wr вызовет формирование внутреннего сигнала управления PUSH, который, вызовет запись значения из поля Data ПД в операндное поле КП, адрес размещения которого в модуле ОМ определяется полями: служебным Act, адреса КП AdrCP и адреса операнда в командном пакете AdrOp. По тому же адресу в модуль памяти RM будет записана единица в булеву матрицу готовности. Если в результате последней операции в данном адресном сечении модуля памяти готовности образуется двоичное слово, которое при наложении слова маски, считанного по тому же адресу из модуля RCM, сформирует определенный двоичный код, к примеру, содержащий единицы во всех разрядах, то схема готовности RS аппаратно сформирует сигнал POP извлечения КП из пула. Сигнал POP вызовет считывание из модулей памяти ОМ, FM, IM и размещение в выходной очереди PQ готового к обработке КП, обнуление адресного сечения (по AdrCP) в модуле памяти готовности и извлечение из входной очереди RQ очередного ПД, если флаг «Очередь пуста» сброшен. Выходная магазинная память сбросит сигнал «Очередь PQ пуста», инициирующий извлечение готового КП для обработки процессорным блоком по сигналу Rd, формируемому извне.

Командный пул (рис. 3.9) в большей мере соответствует для размещения и функционирования уже обученной НС. В этом случае достаточно однократного занесения командной, функциональной информации и матрицы управления готовностью с функционально обособленных шин I (Instructions), FP (Functional Parameters) и RC (Readiness Control) по сигналу записи W в соответствующие модули памяти, после чего пул переводится в рабочий режим.

Если же предусматривается размещение в пуле команд НС, подлежащей обучению, то необходимо будет ввести коррективы во входные цепи модулей памяти RCM, FM и IM. Модули памяти функциональных параметров FM могут быть организованы аналогично модулям памяти операндов OM и заполняться пакетами данных через очередь результатов RQ в силу следующих соображений. Процесс настройки функциональных параметров НС будет производиться размещенной в пуле обучающей ПНП, результатом работы которой будет формирование ПД, содержащих в полях Data значения весов или порогов срабатывания ФН для обучаемой НС. То есть одна НС (обучающая) будет использовать поля функциональных параметров другой НС (обучаемой) в качестве своих операндных полей.

Командный пул представляет собой МРВС, размещенную в пределах функционально завершенного кристалла либо секционированного базового блока. МРВС и принципы монолитности исполнения позволяют обеспечить повышенную информационную защищенность пула за счет замыкания потоков данных в пределах устройства и минимизации обмена информацией с внешней средой, а подход УПД – за счет специфики работы пула команд, затрудняющей несанкционированный доступ к. размещенным в пуле данным.

Основным недостатком существующих подходов к организации нейросетевых вычислений является разнесение 1) в пространстве устройств хранения и обработки информации, 2) во времени процессов записи/считывания из памяти, передачи и обработки данных, что приводит к многочисленным непроизводительным затратам времени. МРВС позволяют выполнить пространственное и временное совмещение процесса обработки информации с операциями записи/чтения, проводимыми в многофункциональной памяти. Рассматриваемый подход к технической реализации командного пула базируется на особенностях МРВС, проекте интеллектуальной памяти IRAM и специфике выполнения операций в нейросетевом базисе.

МРВС – это структуры характеризующиеся многофункциональностью и регулярностью и поэтому максимально приспособленные к производству методами интегральной технологии. Многофункциональность определяется возможностью реализации структурой неединичного набора функций. Регулярность – повторяемостью элементов и связей структуры [105]. Интеллектуальная память IRAM дополняет базовые положения МРВС принципом монолитности исполнения вычислителя, что приводит к пространственно-временному замыканию основных потоков преобразуемых данных внутри функционально завершенного кристалла, минимизации обмена информацией с внешней средой [106], и, следовательно, снижает вероятность несанкционированного доступа к информации. Управление вычислительным процессом с помощью потоков данных обеспечивает инициализацию параллельной обработки данных в пределах МРВС в зависимости от порядка поступления значений данных, передаваемых посредством пакетов. НС являются частным случаем МРВС, так как в качестве базового многократно повторяющегося в структуре элемента используется ФН, реализующий набор операций нейросетевого базиса, и имеет место повторяемость связей между ФН в сети. Кроме того, специфика НС позволяет строить надежные сложные системы даже из малонадежных элементов, а функциональная избыточность НС – при разрушении части не вызывать потери системой своей функциональности [107].

Задачу разработки НС можно представить как отражение процесса нейросетевых вычислений в структуре многофункциональной памяти в соответствии с идеологией МРВС, интеллектуальной памяти и УПД. Многообразие реализуемых НС функций, основные достоинства, прежде всего, информационная защищенность зависят от системы связей между ФН. Другим достоинством НС является внутренний параллелизм, который позволяет при относительно скромном быстродействии базового элемента решать достаточно сложные, трудно формализуемые задачи в реальном масштабе времени [107]. Следовательно, при проектировании нейросетевой систем ИТ необходимо ориентироваться на принципы УПД, которые позволяют реализоваться присущему НС самоуправлению вычислениями. Кроме того, логика работы памяти в УПДмашинах обеспечивает защищенность хранимой информации: операция записи может производиться не по конкретному адресу памяти, а «по содержанию», то есть с использованием ассоциативного доступа к информации; отсутствует операция считывания данных из ЗУ и, следовательно, исключен непосредственный доступ к хранимой информации.

Объектом дальнейшего рассмотрения является многофункциональная память с аппаратной реализацией базовых функций ФН для выполнения распределенных вычислений под управлением потоком данных, НС в которой представляется пакетной нейросетевой программой, размещенной в командных ячейках пула команд.

В соответствии с подходом УПД не важен порядок поступления в соответствующие операндные поля КП входных значений Хi, приводящих к установке битов готовности Ri. Однако такие архитектурные особенности как структура пула команд, используемый интерфейс могут влиять на производительность вычислений. Так наличие входной очереди для фиксации асинхронно поступающих в пул команд ПД задает последовательный характер заполнения полей Хi и позволяет совместить занесение входных данных с обработкой информации непосредственно в командном пуле. В частности, умножение аргумента Хi на вес Wi и последующее накопление результата ХiWi в поле аккумулятора А позволяет заменить в формате КП операндные поля Хi одним накопительным полем А (рис. 3.10).

Над полями готовых к обработке КП выполняются преобразования, аналогичные функции ФН, и формируются ПД по числу КП–приемников результата.

Специфика пула команд состоит в построении «непрозрачной» для пользователя памяти, в которую через входную очередь загружаются пакеты данных, а из выходной очереди извлекаются готовые к обработке КП или ПД. Пул команд представляет собой информационно защищенную память, не имеющую внешних шин записи/чтения, что исключает возможность записи информации по определенному адресу и считывания содержимого конкретной ячейки памяти.

Согласно идеологии УПД-машин готовый КП через селекторную сеть должен передаваться к процессорным узлам, а результаты обработки в виде ПД через распределительную сеть – в командные ячейки пула команд. При достаточно большом числе PU, что характерно для НС, возрастает сложность и временные задержки в сетях передачи пакетов. В соответствии с идеологией МРВС следует произвести обработку готовых КП непосредственно в пуле команд.

Для обеспечения распараллеливания вычислений необходимо перейти к множеству локальных пулов команд, что позволяет сочетать последовательный характер обработки отдельных КП в пулах с распределением обработки информации по значительному числу одновременно работающих локальных пулов.

Нейронная сеть формируется путем размещения КП в командных ячейках локальных пулов и заполнения командных, коммуникационных и функциональных полей либо на этапе обучения сети, либо (в случае уже обученной НС) на этапе программирования. В связи с тем, что НС в виде ПНП размещается в командных ячейках локальных пулов, целесообразно при распределении КП отобразить двумерную совокупность ФН слоистой сети на линейную последовательности локальных пулов таким образом, чтобы КП, соответствующие ФН отдельного слоя, размещались в командных ячейках различных локальных пулов.

Топология НС определяется коммуникационными полями Di, которые определяют связи между ФН слоев НС, которые задаются в процессе программирования. Результаты распределенной обработки в виде ПД направляются в ряд локальных пулов, что делает обязательным наличие распределительной сети.

Функциональные поля Wi, отмеченные в командном пакете признаком С (const), не должны изменяться в режиме функционирования НС, но в процессе настройки функциональных параметров (обучения сети) они выполняют роль операндных полей командных ячеек и подлежат модификации.

Нейронная сеть самоуправляется механизмом полной или частичной готовности данных и передачей результатов обработки КП-источников в операндные поля КП-приемников посредством ПД. Нейронные сети начинают функционировать по мере загрузки ПД во входную очередь и далее – в поля командных ячеек.

3.2.1. Оценка эффективности многофункционального пула Эффективность многофункционального командного пула обусловлена совмещением в пространстве и времени процессов передачи, хранения и обработки информации. Рост функциональной устойчивости нейросетевой системы обеспечивается замыканием большей части информационного потока в пределах многофункционального пула, а повышение производительности связано с минимизацией пересылок информации через интерфейсы.

Для иллюстрации оценим временные затраты, связанные с циклом работы НС, размещенной в 1) командных пулах с разнесенными в пространстве зонами хранения и обработки информации и 2) на базе многофункционального командного пула.

Для первого случая свойственна передача по интерфейсам двух разновидностей пакетов: пакетов данных и командных пакетов и послойная реализация функции НС [4, 108]. Для последовательного занесения в пул команд ПД, относящихся к отдельному ФН слоя НС необходимы затраты времени ni 1 t c ( tc время передачи через интерфейс одного ПД, ni-1 - число ФН предыдущего слоя НС), а для слоя в целом - ni 1 ni t c (ni - число ФН текущего слоя НС). По числу ФН текущего слоя формируются КП для передачи по интерфейсу в зону обработки (затраты времени ni t c ). В операционной зоне в для каждого ФН вычисляются взвешенные сигналы ni 1 t m (tm - время выполнения операции умножения) с последующим накоплением результата ni 1 t а (tа - время выполнения операции сложения), а для слоя НС - ni ni 1 (t m + t a ).

Затраты времени для слоя НС - ni (ni 1t c + t c + ni 1 (t m + t a ), а НС из k слоев где первое слагаемой учитывает передачу по интерфейсу ПД с результатами вычислений из выходного слоя НС, содержащего nk ФН.

Для случая многофункционального пула операции передачи ПД по интерфейсу ni 1ni t c совмещены с процессом обработки (по мере поступления операндов) - t m + t a, отсутствует необходимость формирования и передачи КП через интерфейс в зону обработки, поэтому общие затраты времени снижаются Эффективность использования многофункционального пула оценим отношением выражений (13) и (14). Для простоты иллюстрации (рис. 3.11) полагаем, что число ФН в слоях НС одинаково, исключаем первое слагаемое, связанное с выдачей результатов работы НС, в качестве параметра выбрано tс - время передачи пакета по интерфейсу.

3.3. Уровни описания нейросетевых СЗИ При описании нейронных сетей нейросетевыми пакетными программами возможна различная степень детализации: командный пакет может соответствовать одной из функций нейросетевого логического базиса, функции формального нейрона, слоя из формальных нейронов или нейронной сети в целом [116]. Соответственно изменяются требования к проектированию базовых блоков и сложность технической реализации нейронной сети. Представление командными пакетами операций, соответствующих отдельным функциям формального нейрона, не целесообразно ввиду разнородности и малой функциональной сложности операций и возрастания потока пакетов данных с промежуточными результатами вычислений. Поэтому следует рассматривать градации сложности командных пакетов, начиная с уровня формальных нейронов, а именно, учитывая следующие соответствия: КП–ФН, КП–слой ФН, КП–НС.

Рис. 3.11. Эффективность многофункционального пула по сравнению с пулом команд По входам По ФН По слоям Архитектурные особенности среды 1. Послед. Послед. Послед. Последовательная в пуле распределенная 2. Послед. Парал. Послед. Параллельная в пуле распределенная обработка, PU по числу ФН в слое 3. Парал. Послед. Послед. Последовательная в пуле распределенная 4. Парал. Парал. Послед. Параллельная в пуле распределенная обработка, PU по числу ФН в слое 5. Парал. Парал. Парал. Параллельная распределенная обработка, Возможные архитектурные решения нейросетевой вычислительной среды для соответствия КП–ФН в зависимости от характера выполнения операций сведены в табл. 3.1.

Реализация функции формального нейрона на основе последовательной распределенной арифметики (SDA - Serial Distributed Arithmetic) дает наибольший выигрыш по аппаратным ресурсам, однако требует больших временных затрат [5, 103]. При использовании параллельной распределенной арифметики (PDA - Parallel Distributed Arithmetic - варианты 1 и 2 из табл. 3.1) получаем компромиссное решение с точки зрения аппаратных затрат и времени реализации функции формального нейрона. В техническом решении (рис. 3.12) результат работы формального нейрона формируется в локальном пуле путем последовательного суммирования взвешенных значений входов формального нейрона, последовательно или параллельно по ФН отдельного слоя сети и последовательно по слоям НС. Последовательный характер обработки по входам формального нейрона обусловлен использованием в качестве интерфейса для доставки пакетов данных кольцевой шины с последовательной передачей пакетов данных с выходов на входы локальных пулов. Поступление пакетов данных в локальный пул вызывает запуск цепочки операций чтение – модификация - запись с проверкой готовности командных пакетов, что эквивалентно выполнению операций нейросетевого логического базиса по взвешиванию отдельного входа и накопления поступивших взвешенных входов в командном пакете.

Последовательный или параллельный характер обработки данных по отдельным формальным нейронам слоя сети зависит от распределения командных пакетов нейросетевой пакетной программы по локальным пулам. Если все командные пакеты программы фиксированы в одном локальном пуле («вертикальное» размещение командных пакетов), то возможно только последовательное выполнение функций отдельных формальных нейронов сети. Если же командные пакеты, соответствующие формальным нейронам одного слоя, распределены по различным локальным пулам («горизонтальное» размещение КП), то возможны варианты параллельной или параллельно-последовательной обработки. Во всех рассмотренных случаях сохраняется последовательный характер выполнения вычислений по слоям нейронной сети.

При параллельной обработке значений координат входного вектора в пределах локального пула (варианты 3 и 4 табл. 3.1) возрастают аппаратные затраты из-за одновременного выполнения операций взвешивания входного вектора и применения свертывающего дерева сумматоров. При переходе от бинарного представления формального нейрона к формальному нейрону с вещественными значениями обрабатываемых данных потребность в аппаратных ресурсах возрастает пропорционально числу входов в основном из-за увеличения числа блоков умножения.

По оценкам [103] использование восьми конвейерных умножителей 8х бит в дополнительном коде, выполненных по алгоритму Бута, свертывающего дерева сумматоров и компаратора с загружаемым 8-разрядным порогом требует значительного объема логических ресурсов: 44% от ПЛИС XC4036XLA и до 18% от ПЛИС XC4085XLA. Применение восьми параллельнопоследовательных 8-разрядных умножителей, 16-разрядного аккумулятора частичных произведений с временным мультиплексированием приводит к снижению объема аппаратных затрат до 12% от логических ресурсов ПЛИС XC4036XLA и 5% от XC4085XLA на формальный нейрон. То есть на кристалле ХС4085 размещается до двадцати 8-входовых формальных нейронов. Реализация формальных нейронов на основе последовательной распределенной арифметики SDA дает наибольший выигрыш по занимаемым ресурсам - около 3% от общих возможностей ПЛИС XC4085XLA, что эквивалентно размещению на одном кристалле около 30 формальных нейронов (85 Кбайт/нейрон против Кбайт/нейрон для случая параллельной арифметики).

Слоистая структура нейронной сети определяет последовательный характер обработки информации по слоям НС. В этой связи параллелизм вычислений по слоям нейронной сети (5 вариант из табл. 3.1) может быть обеспечен только конвейеризацией вычислений, производимой параллельно в локальных пулах команд над последовательно во времени поступающими входными векторами с фиксацией промежуточных векторов результатов.

Основным достоинством нейросетевой вычислительной среды, описываемой командными пакетами на уровне соответствия КП–ФН, является независимость от топологии реализуемых нейронных сетей, так как коммуникационными полями командных пакетов задаются все связи между отдельными формальными нейронами сети. Обратная сторона подобной детализации – повышенная загрузка цепей коммуникации, так как каждый пакет данных соответствует отдельной связи формального нейрона. Другими словами, PU формируют большое количество малоинформативных пакетов данных, для передачи которых необходимы высокоскоростные интерфейсы. Частично данная проблема может быть решена за счет указания в адресном поле пакетов данных всех связей конкретного формального нейрона-источника с формальными нейронамиприемниками вместо единственной связи с конкретным формальным нейроном-приемником.

Адр.входа ФН–приемника 1... Адр.входа ФН–приемника n Данные от ФН-источника Такое представление ПД - суперпакетом данных позволяет в n раз, где n – число формальных нейронов в слое, уменьшить количество передаваемых пакетов данных, но потребует усложнения цепей адресной селекции формальных нейронов.

Степень детализации КП–слой ФН. Следующим шагом, дающим возможность сократить количество пакетов данных в цепях коммуникации, является переход к степени детализации КП–слой ФН. То есть командный пакет в качестве объекта описывает слой формальных нейронов, который производит обработку входного вектора Х путем умножения на матрицу весовых коэффициентов W с целью формирования выходного вектора OUT = (XW). При этом можно вновь вернуться к простой форме пакетов данных, число которых в пакетной программе определяется количеством слоев представляемой НС.

Адрес входа слоя–приемника Вектор данных от слоя-источника Необходимо обратить внимание на повышенное потребление аппаратных ресурсов нейросетевой вычислительной средой в рассматриваемом случае, так как при реализации нейронной сети с различным числом формальных нейронов в отдельных слоях НС в качестве ориентира для выделения аппаратных средств будет выбран слой с максимальным количеством формальных нейронов.

Для перехода к схеме: параллельно по входам формального нейрона – параллельно по ФН слоя – последовательно по слоям нейронной сети следует ожидать дальнейшего увеличения аппаратных затрат, так как процессы взвешивания элементов входного вектора Х потребуют увеличению числа функциональных блоков пропорционально числу входов формального нейрона. В этом случае базовый блок нейросетевой вычислительной среды будет представлять собой двумерную систолическую матрицу нейропроцессорных блоков - PN, «горизонтальное» измерение которой будет соответствовать числу формальных нейронов слоя нейронной сети, а «вертикальное» – количеству входов формального нейрона.

При выборе архитектуры базового блока нейросетевой вычислительной среды, соответствующей схеме: параллельно по входам формального нейрона – параллельно по ФН слоя – параллельно по слоям нейронной сети следует ориентироваться на послойную передачу с фиксацией промежуточных результатов вычислений в процессе конвейеризации работы нейронной сети.

Степень детализации КП–нейронная сеть. Максимально возможная степень сложности описания нейронной сети – это задание всех функциональных параметров и связей одним командным пакетом. Загрузка подобного командного пакета в базовый блок нейросетевой вычислительной среды может рассматриваться как ее настройка на выполнение функции конкретной нейронной сети.

Поступление входного вектора в виде пакета данных запускает в базовом блоке процесс вычислений, который завершается формированием пакетов данных с вектором результата:

Подобная организация работы нейронной сети не сопровождается передачей промежуточных результатов вычислений – все потоки данных замкнуты внутри базового блока - и практически исключена возможность оказания несанкционированного воздействия на ход процесса формирования результата.

3.3.1. Командные пулы уровня формального нейрона При описании нейронных сетей, детализированных до уровня формальных нейронов, необходима соответствующая аппаратно-программная реализация нейросетевой вычислительной среды. Степень детализации КП–ФН является минимально возможной для представления объектов-данных, передаваемых пакетами данных по межнейронным связям, а именно, между конкретным выходом формального нейрона-источника и определенным входом формального нейрона–приемника результата.

На рис. 3.12 представлена структура локального пула, организованного в соответствии с вышеприведенными положениями и использующего механизм частичной готовности для отслеживания поступления заданной совокупности операндов, представленных бинарными значениями.

Локальный пул образован из следующих специализированных модулей памяти:

- RM (Readiness Memory) – память готовности командных пакетов к обработке хранит булеву матрицу, отражающую динамику поступления операндов на информационные входы формальных нейронов сети и фиксирующая факт поступления операнда в локальный пул установкой единицы в соответствующем бите матрицы; заполнение единицами некоторого адресного сечения матрицы соответствует моменту поступления всех операндов на входы некоторого формального нейрона; данный момент аппаратно отслеживается схемой готовности RS (Readiness Scheme), формирующей сигнал POP извлечения пакета из локального пула и сигнал обнуления данного адресного сечения RM;

- RCM (Readiness Control Memory) – память управления готовностью позволяет явным образом указать, поступлением каких из операндов для данного формального нейрона можно пренебречь при формировании сигнала POP схемой готовности RS; булева матрица, хранимая в RCM, маскирует булеву матрицу, формируемую в RM в процессе загрузки пакетов данных в локальный пул;

- IM (Instructions Memory) – память команд хранит топологию нейронной сети; так как все командные пакеты нейронной сети реализуют одну базовую функцию формального нейрона, то IM содержит только коммуникационную информацию;

- FM (Functional Memory) – память функциональных параметров предназначена для долговременного (на срок функционирования нейронной сети) хранения значений весовых коэффициентов и порогов срабатывания формальных нейронов, которые формируются в процессе обучения нейронной сети;

- АM (Accumulator Memory) – аккумуляторная память предназначена для накопления значений произведений WiXi весовых коэффициентов Wi, ассоциированных со всеми входными значениями Xi, поступившими в локальный пул к некоторому моменту времени;

- DQ (Data Queue) – магазинная память, размещаемая на входе локального пула для буферизации входных пакетов данных;

- RQ (Results Queue) – магазинная память, размещаемая на выходе локального пула команд для буферизации пакетов данных с результатами обработки.

Если в локальном пуле размещены командные пакеты, входящие в состав одной или нескольких нейронных сетей (нейросетевых пакетных программ), то локальный пул будет находиться в состоянии покоя до тех пор, пока во входную очередь DQ не поступит хотя бы один из пакетов данных. Занесение пакета данных в DQ по внешнему сигналу Wr приведет к формированию внутреннего сигнала управления PUSH, который вызовет добавление (если Xi = 1) очередного значения весового коэффициента Wi в аккумуляторную память АМ по адресу, определяемому коммутационным полем входного пакета данных, а именно: адресом командного пакета AdrCP и адреса операнда в командном пакете AdrOp.

Причем в локальном пуле фиксируется не бинарное значение Хi, а выбранное из того же адресного сечения функциональной памяти FM значение весового коэффициента Wi, которое при передаче через блок вентилей GATES преобразуется операцией поразрядной конъюнкции XiWi и складывается на сумматоре SUM с ранее накопленным значением, выбранным из того же адресного сечения аккумуляторной памяти AM. Сформированное на выходе сумматора новое значение суммы фиксируется по прежнему адресу в аккумуляторной памяти. Одновременно выполняется установка бита готовности Ri, соответствующего бинарному значению Xi, в выбранном из памяти RM текущем значении слова готовности. Новое значение слова готовности маскируется выбранным из того же адресного сечения памяти управления готовностью CRM словом маски. Результат фиксируется по прежнему адресу в памяти готовности данных RM в качестве текущего слова готовности данных. Установка всех битов готовности в некотором адресном сечении памяти готовности данных отслеживается схемой готовности RS, которая инициирует выдачу в очередь RQ пакета данных, в коммуникационные поля которого заносится из памяти команд IM коммуникационная информация о командном пакете–приемниках результата Dm, …, D1, а в поле OUT - значение с выхода дискриминатора COMP, который выполняет сравнение накопленной в аккумуляторной памяти суммы всех поступивших к данному моменту произведений XiWi с порогом срабатывания формального нейрона W0, выбранного из функциональной памяти FM, и формирование бинарного результата OUT. После фиксации пакета данных в очереди RQ по сигналу POP командная ячейка переводится в исходное состояние путем обнуления соответствующего адресного сечения аккумуляторной памяти и того же адресного сечения локальной памяти готовности данных. Выходная магазинная память формирует сигнал «Очередь RQ не пуста» для извлечение пакета данных из локального пула.

Вышерассмотренный процесс обработки информации производится непосредственно в командных ячейках локальных пулов и совмещен во времени с фиксацией во входном стеке DQ вновь поступающих пакетов данных. Причем сам процесс обработки информации заключается в циклическом выполнении операций чтения, модификации и записи содержимого памяти готовности данных RM, аккумуляторной памяти AM и памяти функциональных параметров FM, завершение которого контролируется схемой готовности RS, переводящей командную ячейку в исходное состояние и разрешающей формирование пакетов данных с результатом преобразования.

Следует обратить внимание, что организация пула команд в виде многофункциональной памяти, управляемой потоками данных, приводит к децентрализации управления, то есть имеют место не только распределенные вычисления, но и локальное распределенное управление.

Детализация описания нейронной сети уровня соответствия КП–ФН, когда коммуникационными полями командного пакета задаются все связи между отдельными формальными нейронами сети, приводит к повышенной нагрузке на интерфейс, в который практически одновременно поступает количество пакетов данных, равное числу связей между формальными нейронами соседних слоев нейронной сети. Уменьшить число пакетов данных в интерфейсе возможно за счет описания в коммуникационном поле пакета данных всех связей конкретного формального нейрона-источника.

Адр.входа ФН–приемника 1... Адр.входа ФН–приемника n Данные от ФН-источника Представления объекта-данного в виде суперпакета позволяет в n раз, где n – число формальных нейронов в принимающем слое, уменьшить количество передаваемых между двумя слоями пакетов данных.

Для иллюстрации последнего тезиса рассмотрим архитектурное решение нейросетевой вычислительной среды с локальными пулами команд (рис. 3.13), в качестве распределительной сети суперпакетов данных в которой использован механизм кольцевой шины.

При вводе исходные данные в виде пакетов данных поступают из устройства ввода IN на кольцевую шину в формате и далее во входные цепи очередей данных DQ. Адресные селекторы каждой из очередей DQ производят сравнение полей «Адрес пула» - AdrPool в адресах командных пакетов-приемников - Di с номером соответствующего локального пула. В случае совпадения формируются внутренние пакеты данных формата 0 i n, и заносятся в соответствующие очереди DQ.

Внутренние пакеты данных, находящиеся в началах соответствующих очередей DQ, загружаются в командные ячейки локальных пулов команд, вызывая выполнение преобразований поступающих в командные пакеты данных X под управлением механизма готовности данных. В процессе распределенных по локальным пулам вычислений асинхронно формируются пакеты данных с результатами преобразований в формате, аналогичном формату исходных данных.

Пакеты данных загружаются в очереди результатов RQ, откуда поступают на кольцевую шину и далее во входные цепи очередей данных DQ.

Процесс вывода результатов преобразований подобен адресной рассылке исходных данных и отличается тем, что совпадение полей AdrPool в адресах командных пакетов-приемников Di происходит не в адресных селекторах очередей DQ, а в адресных селекторах блоков вывода данных OUT.

«Узким» местом в рассмотренной структуре является адресное распределение пакетов результатов по очередям данных DQ локальных пулов команд с использованием механизма кольцевой шины.

Выходом может являться применение в качестве распределительной сети координатного коммутатора, связывающего выходы очередей результатов с входами локальных пулов. Применение подобного коммутатора в интеллектуальной памяти IRAM [118] решает проблему развязки множества внутренних потоков многоразрядных данных при выполнении суперскалярных и векторных вычислений в монолитном функционально завершенном устройстве.

Рис. 3.13. Нейросетевая среда с уровнем детализации КП-ФН 3.3.2. Командные пулы уровня слоя формальных нейронов Для представления нейронных сетей, детализированных до уровня слоя формальных нейронов, следует иметь в виду, что КП описывает операции умножения входного вектора Х на матрицу весовых коэффициентов W и нелинейного преобразования над координатами выходного вектора NET=XW. При этом объекты-данные передаются в виде пакетов данных, число которых в интерфейсе ограничено и равно количеству слоев в представляемой нейронной сети, в формате:

Адрес входа слоя–приемника Вектор данных от слоя-источника Рис. 3.14 иллюстрирует вариант построения наращиваемой секции базового блока нейросетевой вычислительной среды, соответствующей случаю обработки командных пакетов последовательно по входам формального нейрона – параллельно по ФН слоя – последовательно по слоям нейронной сети. Базовый блок образован рангом нейропроцессорных узлов PN, взаимосвязанных общей магистралью и цепями адресной селекции DC. Наращивание функциональной мощности нейросетевого вычислителя возможно за счет увеличения числа формальных нейронов путем соединения секций базовых блоков «по горизонтали» при помощи системы интерфейсных шин адреса Adr, данных Data и управления Ctrl.

Базовый блок может выполнять функцию локального пула команд в следующих случаях: при параллельном выполнении операции слоя формальных нейронов, если число нейронов в слое нейронной сети не превышает количества нейропроцессорных узлов PN; при параллельно-последовательном вычислении выходного вектора слоя формальных нейронов.

Базовый блок образован из следующих модулей памяти:

- LM (Links Memory) – память связей - хранит топологию нейронной сети;

так как командные пакеты реализуют одну базовую функцию – слоя формальных нейронов, то LM содержит только коммуникационную информацию;

- WM (Weights Memory) – память весов предназначена для долговременного (на срок работы нейронной сети) хранения значений весовых коэффициентов и порогов срабатывания формальных нейронов, которые формируются в процессе обучения нейронной сети;

- DQ (Data Queue) – магазинная память, размещаемая на входе пула команд для буферизации входных пакетов данных;

- RQ (Results Queue) – магазинная память, размещаемая на выходе пула для буферизации пакетов данных с результатами обработки.

Если в базовом блоке размещены командные пакеты, входящие в состав одной или нескольких нейросетевых пакетных программ, то пул команд не будет выполнять преобразований информации до тех пор, пока во входную магазинную память не поступит хотя бы один пакет данных с входной шины данных INBUS в формате Занесение пакета данных в DQ приводит к активации цепей адресной селекции DC. Если поля адреса Adr._Neural_Network, Adr._Layer не соответствуют размещенным в базовом блоке командным пакетам, то формируется внутренний сигнал извлечения ПД из входной очереди. В противном случае запускается цикл обработки пакетов данных во всех PN данного базового блока.

Сигнал адресной селекции вызывает обнуление аккумуляторов Ас, извлечение из модулей WM значений порогов срабатывания (смещений) Wi0, где i – номер PN, и их фиксацию в Ас. Затем поле N пакета данных, которое задает размерность входного вектора Х, загружается в счетчик Cnt, задающий номер входа нейронов слоя нейронной сети. Выходная шина счетчика Cnt управляет мультиплексором MS, который осуществляет последовательную коммутацию полей X1... XN магазинной памяти на шину Data. Процесс реализации функции формального нейрона происходит путем повторения цикла накопления результата.

В соответствии со значением кода адреса, задаваемого на шине Adr полями Adr._Neural_Network, Adr._Layer и N, производится выборка значения очередного весового коэффициента Wij, где j – номер входа формального нейрона, умножение Wij на значение поля Xj в умножителях Mul и добавление значений произведения XjWij в накапливающие сумматоры, образованные из комбинационных сумматоров Sum и аккумуляторов Ас. После добавления значений произведения XjWij в аккумуляторы Ас производится операция декремента счетчика Cnt и повторение цикла накопления результата до тех пор, пока счетчик Cnt не обнулится. Обнуление Cnt разрешает работу модуля памяти связей LM и табличных преобразователей Tab, реализующих функцию активации формального нейрона. В результате модуль выходной магазинной памяти RQ фиксирует пакет данных в вышеприведенном формате, который поступает на выходную шину данных OUTBUS.

Процесс обработки информации в базовом блоке нейросетевой вычислительной среды производится параллельно во всех PN и совмещен во времени с фиксацией во входной очереди DQ вновь поступающих пакетов данных. Причем сам процесс обработки информации заключается в циклическом выполнении вышеописанной последовательности операций и завершается по сигналу счетчика Cnt. Следует обратить внимание на отсутствие в базовом блоке, как модуля памяти, так и логической схемы готовности данных, которые были необходимы для отслеживания поступления необходимого количества операндов на входы формальных нейронов. Эта функция аппаратно реализуется счетчиком Cnt.

Рассмотренное техническое решение оптимально с точки зрения аппаратных затрат в пересчете на формальный нейрон нейронной сети, каждый из которых содержит по одному умножителю, сумматору и аккумулятору; обладает функциональной гибкостью за счет возможности наращивания по «горизонтали» отдельными базовыми блоками, и по «вертикали» - изменяя размерность входного вектора Х; характеризуется последовательной обработкой элементов входного вектора Х.

Дальнейшее снижение аппаратных затрат в нейросетевой вычислительной среде с уровнем детализации КП-слой ФН может быть достигнуто за счет упрощения узла синаптического взвешивания входных значений формальных нейронов, представленных логарифмической моделью [119] (рис. 3.15).

Для взвешивания входных сигналов используется операция сложения логарифмов значений вместо операции умножения самих значений, что эквивалентно замене блока умножения менее ресурсоемкими сумматором и табличным функциональным преобразователем. Согласно логарифмической модели ФН при выполнении операции синаптического взвешивания задействованы два нелинейных преобразователя. Первый из них (x) = a ln bx, а1, x>0 (на рис. 3.15 соответствующий блок обозначен ln x) размещен на выходе нейропроцессорного блока PN (выход аккумулятора Ac) и выполняет в нейронной сети функцию масштабирования выходных значений формальных нейронов.

Второй преобразователь реализует функцию ( x) = p e, p < 1, m >1, (на рис. 3.15 соответствующий блок обозначен ex), с помощью которой в модели B решаются две задачи: потенцирование значений логарифма взвешенных значений перед их суммированием в теле формального нейрона и дополнительное