ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

МОРДОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ ИМ. Н. П. ОГАРЕВА

На правах рукописи

ПЛОТНИКОВА Наталья Павловна

МОДЕЛИ, АЛГОРИТМЫ И РЕАЛИЗАЦИЯ НЕЙРОННЫХ СЕТЕЙ

В МНОГОПРОЦЕССОРНЫХ И РАСПРЕДЕЛЕННЫХ

ВЫЧИСЛИТЕЛЬНЫХ СРЕДАХ

Специальность 05.13.01 – Системный анализ, управление и обработка информации (в технике и технологиях) Диссертация на соискание ученой степени кандидата технических наук

Научный руководитель:

к. т. н., профессор Федосин С. А.

САРАНСК Оглавление Введение Искусственные нейронные сети и массивно-параллельные вычисления 1.1 Современное состояние науки в области исследования искусственных нейронных сетей и массивно-параллельных вычислений……………………………………………………………. 1.2 Анализ имеющихся средств моделирования искусственных нейронных сетей……………………………………………………… 1.3 Модель акторов…………………………………………………. 1.4 Язык программирования Erlang и фреймворк OTP…………… 1.5 Выводы по первой главе………………………………………… Асинхронная распределенная модель многослойной нейронной сети 2.1 Обобщенная многоуровневая модель многослойной нейронной сети………………………………………………………. 2.2 Обоснование выбора алгоритма «упругого» обратного распространения ошибки (RPROP)…………………………………. 2.3 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения RPROP)……………………… 2.4 Асинхронная распределенная модель многослойной нейронной сети с диспетчеризацией (алгоритм обучения RPROP) 2.5 Применение метода гравитационного поиска для обучения многослойного персептрона…………………………………………. 2.6 Асинхронная распределенная модель многослойной нейронной сети (алгоритм обучения на основе метода гравитационного поиска)……………………………………………. 2.7 Архитектура программной системы моделирования искусственных нейронных сетей…………………………………… 2.8 Выводы по второй главе………………………………………… Тестирование разработанной системы моделирования искусственных нейронных сетей 3.1 Условия, средства и критерии тестирования…………………. 3.2 Результаты исследования зависимости среднего времени обучения от объема обучающей выборки………………………… 3.3 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм обучения RPROP)………………………………………………………………… 3.4 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети с диспетчеризацией 3.5 Сравнение результатов тестирования моделей с диспетчеризацией и без диспетчеризации………………………… 3.6 Результаты исследование зависимости среднего времени обучения от количества наборов весовых коэффициентов в алгоритме гравитационного поиска………………………………… 3.7 Результаты тестирования асинхронной распределенной модели многослойной нейронной сети (алгоритм 3.8 Сравнение результатов тестирования моделей без диспетчеризации для алгоритмов RPROP и гравитационного Применение разработанной системы для решения задачи 4.1 Постановка задачи проектирования композиционных 4.2 Архитектура нейронных сетей, используемых для решения задач проектирования композиционных материалов……………… 4.3 Результаты применения разработанной системы для решения задачи проектирования композиционных материалов……………... 4.4 Выводы по четвертой главе………………………………………. A Акт о внедрении результатов исследования на ООО «Завод герметизирующих материалов», г. Дзержинск……………………… Актуальность темы. В индустрии для обеспечения заданных свойств композиционных материалов, зависящих от состава сырья и параметров технологического процесса, в настоящее время широко применяются математические методы на основе нейросетевых технологий, так как для этого случая не существует тривиально программируемого алгоритма принятия решений. Хорошо зарекомендовавшим себя инструментом для решения данной задачи является многослойный персептрон. В процессе проектирования композитов постоянно растет объем данных для обучения многослойного персептрона. Процедура дополнительного обучения с использованием только лишь новых данных без наращивания обучающей выборки приводит к снижению точности результирующих вычислений. Единственный способ поддержания сети в актуальном для решения рассматриваемой задачи состоянии – циклическое обучение, которое приводит к значительному увеличению временных затрат.

Ускорение процессов обучения и функционирования многослойного персептрона осуществляется посредством использования массивно-параллельных вычислительных систем.

многослойного персептрона. Данный вопрос рассматривался в российских и зарубежных исследованиях (В. Г. Царегородцев, М. С. Герасименко, С. Д. Ионов, А. А. Краснощёков, А. В. Калинин, G. Sher) [14, 28-30, 42, 71, 128, 132]. Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения. Основным подходом, используемым в исследованиях, является распараллеливание на уровне обучающей выборки, которая разбивается на несколько блоков. Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. И, наконец, существует подход, который сводится к эффективному распараллеливанию матричных операций в процессе обучения сети.

Реализация описанных подходов в современных системах моделирования имеет ряд недостатков. В частности, отсутствие обобщенной концепции массивно-параллельных вычислений в многопроцессорных и распределенных вычислительных средах, отсутствие эффективных распределенных алгоритмов обучения [129].

Многообещающим направлением исследований в области массивнопараллельных вычислений является применение асинхронной обработки данных.

Данный подход позволяет максимально использовать вычислительные ресурсы, избегая затрат на синхронизацию между независимыми частями алгоритма. Ранее этот подход не применялся в процессе обучения многослойного персептрона из-за отсутствия адекватной асинхронной нейросетевой модели.

В области обучения искусственных нейронных сетей перспективным является применение алгоритмов обучения на базе методов глобальной оптимизации. Подобные алгоритмы содержат меньшее количество синхронных операций [46, 60].

повышенной отказоустойчивости, поскольку постоянный контроль работоспособности сети приводит к увеличению времени работы над задачей, а также требует более высокой квалификации специалистов. Повысить отказоустойчивость можно посредством применения специализированных средств разработки. Однако в настоящее время не существует разработок по искусственным нейронным сетям, использующих подобные возможности и достигающих требуемого уровня отказоустойчивости.

асинхронной модели многослойной нейронной сети и основанной на ней отказоустойчивой системы моделирования искусственных нейронных сетей, позволяющей организовывать обучение и функционирование нейронной сети в любых многопроцессорных и распределенных вычислительных средах без дополнительных затрат на разработку модулей массивно-параллельных вычислений. Кроме того, актуальной является задача разработки асинхронного распределенного алгоритма обучения, позволяющего добиться максимально возможной минимизации ошибки нейронной сети и позволяющего организовать распределенные вычисления для как можно большего числа шагов.

Целью диссертационной работы является разработка отказоустойчивой системы моделирования искусственных нейронных сетей, отличительной особенностью которой является возможность развертывания на любых многопроцессорных и распределенных ресурсах. Алгоритмы обучения и функционирования нейронной сети, реализованные в рамках системы, должны удовлетворять требованиям наискорейшей минимизации ошибки сети и максимизации количества шагов алгоритма, подлежащих выполнению в распределенной среде. Система должна обеспечить решение ряда практических задач в области технологии производства композиционных материалов, в частности, для строительной сферы.

Для достижения поставленных целей были решены следующие задачи:

1. Разработка асинхронной обобщенной модели искусственной нейронной сети, в которой общие и специальные функциональные блоки распределены между различными уровнями модели.

2. Разработка алгоритма взаимодействия уровней обобщенной модели искусственной нейронной сети, включающего частичную синхронизацию асинхронных операций.

многослойной нейронной сети, основанного на методе глобальной оптимизации.

4. Выбор и обоснование специализированного средства разработки, позволяющего реализовать отказоустойчивую систему на базе разработанных обобщенной модели и алгоритмов.

программной системы, в возможности которой входит проектирование произвольной многослойной нейронной сети для любых многопроцессорных и распределенных вычислительных сред.

6. Определение параметров производительности разработанной системы и точности выдаваемых ею результатов вычислений.

7. Апробация системы, применение ее для решения задачи проектирования композиционных материалов.

Объектом исследования диссертационной работы являются системы моделирования многослойных искусственных нейронных сетей.

Предметом исследования являются математические модели, а также технические и архитектурные решения для построения эффективной системы моделирования многослойных нейронных сетей.

Методы исследования. Для решения поставленных задач использовались методы системного анализа, теории оптимизации, математической статистики, теории планирования эксперимента, теории искусственных нейронных сетей, функционального и массивно-параллельного программирования.

Научная новизна диссертационной работы состоит в следующем:

1. Разработана обобщенная многоуровневая модель искусственной нейронной сети, отличающаяся распределением общих и специальных функциональных блоков функционирования нейронной сети между различными уровнями модели и использованием на этих уровнях асинхронных операций.

2. Разработан алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, особенностью которого является использование частичной синхронизации асинхронных операций.

основанный на методе глобальной оптимизации, отличающийся распределением асинхронного взаимодействия между этими блоками.

4. Предложена программная архитектура нейронной сети, отличающаяся максимальным использованием инструментов обеспечения отказоустойчивости платформы Erlang/OTP.

Практическая ценность работы заключается в том, что предложенные модель и алгоритм реализованы в виде программной системы, позволяющей проводить исследования многослойной нейронной сети, а также решать практические задачи, в частности задачу проектирования композиционных материалов.

применения асинхронной распределенной модели и предложенного алгоритма обучения многослойной нейронной сети подтверждается корректностью использования математического аппарата. Достоверность результатов исследования подтверждается хорошим соответствием результатов вычислительных экспериментов, проведенных в процессе исследования, и результатов лабораторных экспериментов на заводе-изготовителе, на основе которых проводилась проверка корректности предложенных решений.

Соответствие паспорту специальности.

Работа соответствует паспорту специальности ВАК 05.13.01 – Системный анализ, управление и обработка информации (в технике и технологиях), пункты 4, 5, 10 и 13.

На защиту выносятся:

1. Асинхронная распределенная обобщенная многоуровневая модель искусственной нейронной сети.

2. Алгоритм взаимодействия уровней обобщенной модели искусственной нейронной сети, включающий использование частичной синхронизации асинхронных операций.

3. Асинхронный распределенный алгоритм обучения многослойной нейронной сети, основанный на методе глобальной оптимизации.

4. Отказоустойчивая распределенная программная система моделирования искусственных нейронных сетей, созданная на базе платформы Erlang/OTP.

Внедрение результатов работы и связь с научными программами.

«Автоматизированные системы обработки информации и управления» ФГБОУ ВПО «Мордовский государственный университет» (МГУ) при выполнении государственного контракта с Министерством образования и науки Российской Федерации от 11 октября 2011 г. №14.527.12.0007, шифр «2011-2.7-527-026-006», по теме «Разработка и организация производства вибро-шумопоглощающих материалов нового поколения для авто-, авиа-, судо-, вагоно-, машиностроения и строительства», при выполнении НИР «Совершенствование методов и алгоритмов резервного копирования и восстановления данных» № 01201277361, а также при выполнении НИОКР «Универсализация, совершенствование и тестирование автоматизированной системы проектирования композиционных материалов» (программа «УМНИК» Фонда содействия развитию малых форм предприятий в научно-технической сфере, проект № 9600).

Результаты работы используются на ООО «Завод герметизирующих материалов», г. Дзержинск, что подтверждено актом о внедрении.

Апробация работы. Основные результаты работы докладывались и обсуждались на следующих конференциях: Ежегодная научная конференция «Огаревские чтения», Саранск, 2010 г., 2011 г., 2012 г., 2013 г.;

III Международная научная конференция «Проблемы управления, обработки и передачи информации (АТМ-2013)», Саратов, 2013 г.; IX Международная научнопрактическая конференция «Наука в информационном пространстве», Киев, 2013 г.; Международная конференция «CISSE», Bridgeport (CT, USA), University of Bridgeport, 2013 г.

Публикации. По теме диссертации опубликовано 13 печатных работ, в том числе 3 в журналах, рекомендованных ВАК, получено 1 свидетельство о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и приложения. Работа изложена на страницах основного текста, включающего 62 рисунка, 11 таблиц, список литературных источников из 136 наименований, 2 страницы приложений.

Краткое содержание работы. Во введении обоснована актуальность темы диссертации, сформулированы цели и задачи исследования, отражены научная новизна работы и практическая значимость, перечислены методы исследования, приведены положения, выносимые на защиту.

В первой главе проводится анализ результатов исследований в области высокопроизводительных вычислений применительно к искусственным существующих систем моделирования многослойных искусственных нейронных сетей, таких как MATLAB Neural Networks Toolbox, Emergent Neural Network Simulation System, NeuroSolutions и другие). Обосновывается применение платформы Erlang/OTP, на базе которой проводятся дальнейшие исследования.

Во второй главе предлагается асинхронная распределенная модель многослойного персептрона и архитектура системы моделирования многослойных искусственных нейронных сетей, построенная на базе концепций модели акторов. Подробно описывается структура предложенных асинхронных распределенных моделей, а также разработанный асинхронный распределенный алгоритм обучения многослойного персептрона, основанный на методе глобальной оптимизации – гравитационном поиске.

Третья глава посвящена анализу результатов тестирования реализованных моделей в многопроцессорных и распределенных средах четырех видов:

вычислительного кластера.

вычислительного кластера.

3. Распределенная система на базе локальной вычислительной сети.

4. Гибридная система на базе локальной вычислительной сети.

В виде графиков приводятся результаты вычислительных экспериментов для указанных систем и разработанных моделей и алгоритмов. Проводится сравнительный анализ производительности программных систем, реализующих предложенные модели и алгоритмы.

В четвертой главе описывается применение разработанной системы проектирования композиционных материалов.

В заключении формулируются основные результаты диссертационной работы.

Приложение содержит акт о внедрении результатов диссертационного исследования на ООО «Завод герметизирующих материалов», г. Дзержинск.

Автор благодарит Федосина С. А. и Теслю В. В. за руководство и помощь в процессе написания диссертационной работы.

Глава 1. Искусственные нейронные сети и массивно-параллельные искусственных нейронных сетей К настоящему времени накопилось достаточно большое количество разнообразных исследований, тем или иным образом касающихся искусственных нейронных сетей. Условно эти исследования можно разделить на две группы:

работы, объектами исследований которых являются сами нейронные сети;

работы, рассматривающие возможность применения нейронных сетей для решения определенных классов задач.

Исследования первой группы включают анализ архитектуры и структуры искусственных нейронных сетей; анализ принципов и алгоритмов обучения;

исследование и разработку математических интерпретаций процессов, протекающих в ИНС во время обучения и функционирования; исследование возможностей применения современных инженерных решений для совершенствования работы ИНС.

Исследования второй группы касаются непосредственно прикладного аспекта ИНС. Математическое моделирование биологических нейронов находит применение в различных сферах деятельности: от прогнозирования финансовых показателей и исследования физических явлений до реализации принятия решений в медицинских экспертных системах.

На современном этапе решение основной части практических задач с помощью искусственных нейронных сетей обеспечивается использованием программного обеспечения на основе методов нейрологики. Это в первую очередь связано с тем, что ИНС – относительно новая область, а создание программного обеспечения – достаточно гибкий процесс, что позволяет тестировать и внедрять с малыми затратами некоторые экспериментальные методы.

представляется как совокупность большого числа сравнительно простых элементов, топология соединений которых зависит от типа сети. Практически все известные подходы к проектированию нейронных сетей связаны в основном с выбором и анализом некоторых частных структур однородных сетей на формальных нейронах с известными свойствами (многослойный персептрон, сети Хопфилда, Хемминга, Гроссберга, Кохоннена) и некоторых описанных математически режимов их работы [11-13, 23, 31, 36, 105].

Остановимся подробнее на сетях типа «Многослойный персептрон». С точки зрения архитектуры эта сеть представляет собой набор групп нейронов – слоев. Слои связаны между собой по принципу «все со всеми». То есть для двух слоев 1 и 2 все нейроны слоя 1 соединены взвешенными связями со всеми нейронами слоя 2. Сети данного вида позволяют решать широкий круг задач:

аппроксимация, кластеризация, распознавание образов, архивирование данных, прогнозирование и другие. В дальнейшем мы будем рассматривать сети именно этого типа[40, 46, 59, 65].

Обучение многослойного персептрона осуществляется на базе обучающего множества – заранее определенного набора пар {Вход, Выход}. Суть обучения сводится к определению весовых коэффициентов связей между нейронами, таких, что ошибка вычислений сети минимальна. Алгоритмы обучения делятся на два больших класса – методы локальной оптимизации и методы глобальной оптимизации. Методы локальной оптимизации охватывают широкий круг градиентных алгоритмов, в основе которых лежит метод обратного распространения ошибки, например, алгоритм градиентного спуска, алгоритм Левенберга-Марквардта. Методы глобальной оптимизации – это в основном стохастические алгоритмы, такие как алгоритм имитации отжига, генетический алгоритм [18, 46, 58, 70].

Для решения некоторых задач проектируются искусственные нейронные сети, достигающие огромных размеров – количество нейронов в них измеряется тысячами, а то и миллионами. Задачи такого рода возникли в середине прошлого века в связи с развитием атомной энергетики, авиастроения, ракетно-космических технологий и ряда других областей науки и техники.

Кроме того, имеется большое количество важнейших практических задач, связанных с вычислительными экспериментами, решение которых требует использования огромных компьютерных мощностей. К таким задачам относятся, например, задачи точных долгосрочных прогнозов климатических изменений, геологических катаклизмов - землетрясений, извержений вулканов, столкновений тектонических плит, прогнозов цунами и разрушительных ураганов [16, 61, 91, 94, 136].

К сожалению, технологические возможности увеличения быстродействия процессоров ограничены по объективным причинам, связанным с физическими основами работы процессоров.

Вследствие указанных выше причин для повышения производительности приходится идти по пути создания параллельных вычислительных систем, то есть систем, в которых предусмотрена одновременная реализация ряда вычислительных процессов, связанных с решением одной задачи, на разных процессорных элементах. На современном этапе развития вычислительной техники такой способ является одним из основных способов ускорения вычислений и достижения требуемой производительности [2, 9, 6, 10].

Существует два основных варианта организации систем параллельных вычислений: с общей памятью и с разделяемой памятью [32].

Первый подход обеспечивает однородный доступ к памяти – UMA (uniform memory access) мультипроцессоров – SMP (symmetric multiprocessor) [4, 27, 122, 130].

Представителями систем второго класса являются мультикомпьютеры – многопроцессорные системы с распределенной памятью NORMA (no-remote memory access). Принципиальная особенность мультикомпьютеров – каждый процессор системы может использовать только свою локальную память. При этом для доступа к данным, располагаемым на других процессорах, необходимо явно выполнить операции передачи сообщений. Данный подход используется при построении двух важных типов многопроцессорных вычислительных систем массивно-параллельных систем MPP (massively parallel processor) и кластеров [39, 45]. Это системы с распределенной памятью и с произвольной коммуникационной системой. При этом, как правило, каждый из процессорных элементов MPP системы является универсальным процессором, действующим по своей собственной программе.

Применительно к многослойному персептрону существует несколько подходов по распараллеливанию работы сети. Все они исходят из того, что наиболее ресурсоемким является не столько процесс функционирования сети, сколько процесс ее обучения.

Основным и наиболее популярным является распараллеливание на уровне обучающей выборки. При использовании данного подхода вычислительные узлы получают «порции» пар обучающей выборки и выполняют операции в соответствии с алгоритмом обучения только для локальной группы данных.

Согласно другому подходу элементарные вычислительные элементы сети (нейроны) организуются в группы. Шаги алгоритма обучения выполняются для каждой группы нейронов на отдельном вычислительном узле. Считается, что такой подход имеет преимущества перед распределением по вычислительным узлам отдельных нейронов, поскольку вычислительная нагрузка элементарного нейрона мала по сравнению с затратами на обмен сообщениями при синхронизации вычислений.

Следующий подход сводится к эффективному распараллеливанию ресурсоемких математических операций в процессе обучения сети. А именно, практически все алгоритмы обучения многослойного персептрона предполагают наличие больших объемов матричных вычислений. При построении чисто математической модели процесса обучения персептрона применяются такие алгоритмы, как алгоритм Фокса и алгоритм Кэннона.

И, наконец, существует вариант распараллеливания, основанный на понятии коллективов нейронных сетей. Данный подход предполагает повышение эффективности процесса непосредственного функционирования нейронной сети.

При этом решаемая задача одновременно запускается на нескольких экземплярах нейронных сетей. Каждый экземпляр запускается на своем вычислительном узле.

После завершения работы всех экземпляров выбирается наилучший полученный результат [38].

распространенных системах моделирования ИНС.

Анализ систем моделирования искусственных нейронных сетей Популярность математического аппарата искусственных нейронных сетей привела к созданию огромного количества нейроимитаторов и программных библиотек для моделирования процессов обучения и функционирования ИНС.

STATISTICA Automated Neural Networks – богатая, современная, мощная и чрезвычайно быстрая среда анализа нейросетевых моделей. STATISTICA Automated Neural Networks поддерживает современные, оптимизированные и мощные алгоритмы обучения сети (включая методы сопряженных градиентов, алгоритм Левенберга-Марквардта, BFGS, алгоритм Кохонена); полный контроль над всеми параметрами, влияющими на качество сети, такими как функции активации и ошибок, сложность сети; выбор наиболее популярных сетевых архитектур, включая многослойные персептроны; опциональную возможность генерации исходного кода на языках C, C++, C#, Java, PMML (Predictive Model Markup Language), который может быть легко интегрирован во внешнюю среду для создания собственных приложений. Однако данная среда моделирования не ориентирована на выполнение вычислений в распределенной среде [43, 55].

Emergent Neural Network Simulation System — это комплексная среда моделирования для создания сложных моделей мозга и познавательных процессов с помощью аппарата нейронных сетей. Emergent включает в себя полноценное графическое окружение для исследования искусственных нейронных сетей, а также различные инструменты, помогающие понять, как протекает процесс работы сети во время моделирования. Данный программный продукт поддерживает алгоритмы обратного распространения ошибки (простейшие самоорганизующиеся карты Кохонена, обобщенный алгоритм Хебба, алгоритм LEABRA (Local, Error-driven and Associative, Biologically Realistic Algorithm) [48].

Система Emergent написана на C++. Разработчики широко используют объектно-ориентированное программирование при реализации основных функциональных сущностей системы. Однако используемые сущности являются результатом анализа и синтеза исходных элементарных функциональных блоков, которые включает математическая модель искусственных нейронных сетей. В частности, выделяются отдельно такие сущности, как слой и система связей, но не рассматривается такая сущность, как нейрон.

В последних версиях системы введена поддержка работы симулятора на кластерах на базе стандарта MPI [118, 119], а также вычислений на многоядерных системах с общей памятью. При этом MPI используется в основном для распределенных вычислений математических величин больших размерностей, например, частных производных функции ошибки в пределах слоя.

Neural Network Toolbox — пакет, входящий в состав комплексной системы MATLAB, разработанной американской компанией The MathWorks. Neural Toolbox позволяет проектировать, обучать, визуализировать и Network моделировать различные виды ИНС (от персептрона до самоорганизующихся карт). Данный пакет может быть применен для предсказания временных рядов, распознавания образов, кластеризации, моделирования и управления динамическими системами [51, 96].

Все функции пакета реализованы на языке MATLAB. При реализации функций, отвечающих за моделирование и обучение ИНС, акцент сделан на математическую составляющую логической модели ИНС. Как результат, все функциональные возможности нейронных сетей реализованы в виде матричных вычислений.

Для ускорения расчетов, сопряженных с моделированием нейронных сетей, может быть применен пакет Parallel Computing Toolbox. Данный пакет позволяет распределять большие объемы данных внутри кластера или осуществлять параллельную обработку в пределах одной многоядерной системы. Указанные возможности реализованы посредством введения аналогов ряда конструкций языка, осуществляющих расчеты в параллельной среде (например, специальная версия цикла for – parfor), а также дополнительная реализация параллельных версий ряда математических функций (например, операция умножения матриц).

Распределенные вычисления в основном осуществляются посредством разделения внешних данных и не затрагивают алгоритмы обучения ИНС.[51] проектирования, визуализации и валидации нейросетевых моделей. Система поддерживает различные виды искусственных нейронных сетей: радиальные базисные сети, сети прямого распространения, сети Хопфилда, персептроны, карты Кохонена и другие. В рамках системы реализованы следующие алгоритмы обучения: алгоритм Левенберга-Марквардта, Ньютоновские алгоритмы, алгоритм наискорейшего спуска. Кроме того, система включает набор инструментов для решения таких задач, как аппроксимация функций, классификация, кластеризация, идентификация нелинейных систем и другие. Реализована данная система на языке программирования C. Возможности параллельной обработки данных не содержит. [57] PCSIM (Parallel neural Circuit SIMulator) – инструмент для моделирования гетерогенных ИНС. Данный симулятор написан на C++ с широким применением объектно-ориентированного подхода, а также включает возможности написания дополнительных скриптов на языке программирования Python. Поддержка параллельных вычислений осуществляется посредством применения технологии MPI для распределения нагрузки между вычислительными узлами, а также посредством использования вычислений в несколько потоков.[54] NeuroSolutions – это простой в использовании инструмент для разработки нейросетевых моделей для операционных систем Microsoft Windows (32- и 64разрядных). Данная система включает возможности модульного и визуального проектирования ИНС, а также обширные возможности их обучения с использованием распространенных алгоритмов, усовершенствованных посредством введения генетической оптимизации. Задачи, решаемые пакетом NeuroSolutions:

прогнозирование исходов спортивных соревнований, решение задачи классификации в медицине и другие. Параллельная обработка в рамках NeuroSolutions осуществляется посредством применения технологии NVIDIA CUDA – организации параллельных вычислений с использованием графической карты персонального компьютера. [52] FANN (Fast Artificial Neural Network Library) – это открытая кроссплатформенная нейросетевая библиотека, реализующая полносвязные, разреженные, а также многослойные ИНС на языке программирования C. В возможности FANN входит: обучение по методу обратного распространения ошибки (алгоритмы RPROP, Quickprop и другие), большое количество настраиваемых параметров, сохранение и загрузка параметров ИНС, управление обучающими выборками, графический интерфейс и другие. Параллельные и распределенные вычисления реализованы на уровне математических операций с большими объемами данных в процессе обучения нейронной сети, а также на уровне ручного распределения данных между несколькими сетями и дальнейшего их запуска на различных вычислительных узлах. [49] В таблице 1 приведена сравнительная характеристика наиболее интересных программных продуктов. Основные рассматриваемые критерии – это языки программирования, используемые при реализации инструментов моделирования ИНС, и средства реализации параллельных вычислений.

Таблица 1 – Сравнительная характеристика программных продуктов для моделирования ИНС STATISTICA Automated Neural MATLAB Neural Networks Toolbox Matlab FANN (Fast Artificial Neural Network Таким образом, применительно ко всем рассмотренным программным продуктам можно указать следующие недостатки:

1. Использование на уровне разработки математической модели ИНС, не учитывающей особенности взаимодействия искусственных нейронов, как отдельных сущностей, в то время как использование нейронов и их взаимосвязей на этапе вычислений параметров самих ИНС может позволить получить прирост производительности.

2. Использование низкоуровневого подхода к организации распределенных вычислений – технологии MPI – или же полное отсутствие возможности организации распределенных вычислений. В этом случае большое количество архитектурных решений должно быть реализовано вручную, что также как и в пункте 1, приводит к росту вероятности ошибки.

3. Организация параллельной обработки ИНС с использованием подходов на базе распределения обучающей выборки или на базе распараллеливания матричных операций, что не позволяет в полной мере использовать возможности параллельной обработки, изначально заложенные в модель ИНС.

синхронных алгоритмов обучения.

Указанные недостатки могут быть устранены посредством построения более подходящей под концепцию параллельной обработки данных модели ИНС и использования соответствующих инструментов разработки.

В следующем параграфе остановимся подробнее на так называемой модели акторов, как на эффективном способе организации параллельных вычислений.

1.3 Модель акторов Модель акторов представляет собой математическую модель параллельных вычислений, которая трактует понятие «актор» как универсальный примитив параллельного численного расчёта: в ответ на сообщения, которые он получает, актор может принимать локальные решения, создавать новые акторы, посылать свои сообщения, а также устанавливать, как следует реагировать на последующие сообщения. Модель акторов возникла в 1973 году. Она использовалась как основа для понимания исчисления процессов и как теоретическая база для ряда практических реализаций параллельных систем [1, 41].

Модель акторов исходит из того, что всё вокруг является акторами. Данный подход похож на концепцию объектно-ориентированного программирования, в которой исходят из того, что всё вокруг является некоторыми объектами. Но в объектно-ориентированном программировании программы, как правило, выполняются последовательно, в то время как в модели акторов вычисления по своей сути совпадают по времени.

Актор является вычислительной сущностью, которая в ответ на полученное сообщение может одновременно:

отправить конечное число сообщений другим акторам;

создать конечное число новых акторов;

выбрать тип поведения, которое будет использоваться для следующего сообщения в свой адрес [85].

Может существовать произвольная последовательность вышеописанных действий, и все они могут выполняться параллельно [86, 104, 114].

Разделение отправителя и посланных сообщений стала фундаментальным достижением модели акторов, обеспечившим асинхронную связь и управление структурами. В результате подобный подход стал основой прототипа передачи сообщений.

Получатели сообщений идентифицируются по адресу, который иногда называют «почтовым адресом». Таким образом, актор может взаимодействовать только с теми акторами, адреса которых он имеет. Он может извлечь адреса из полученных сообщений или знать их заранее, если актор создан им самим [103].

Модель акторов характеризуется внутренне присущим параллелизмом вычислений внутри одного актора и между ними, динамическое создание акторов, включение адресов акторов в сообщения, а также взаимодействие только через прямой асинхронный обмен сообщениями без каких-либо ограничений на порядок прибытия сообщений.

Сообщения в модели акторов не обязательно буферизуются. В этом её резкое отличие от предшествующих подходов к модели одновременных вычислений. Кроме того, сообщения в модели акторов просто посылаются.

Никаких требований синхронизации с получателем не существует.

Модель акторов была разработана как одновременная модель по своей сути.

Последовательность в ней представляет собой особый случай, вытекающий из одновременных вычислений [82, 83].

Другой важной характеристикой модели акторов является локальность.

Локальность означает, что при обработке сообщения актор может отправлять сообщения только по тем адресам, которые он получил из этого сообщения, по адресам, которые он уже имел до получения сообщения, и по адресам, которые он создал при обработке сообщения.

Локальность также означает, что не может одновременно произойти несколько изменений адресов.

Основным новшеством модели акторов было введение понятия поведения, определённое как математическая функция, выражающая действия актора, когда он обрабатывает сообщения, включая определение нового поведения на обработку следующего поступившего сообщения. Поведение обеспечивает функционирование математической модели параллелизма.

В настоящее время модель акторов позволяет решать ряд важных вопросов, связанных с развитием массивно-параллельных вычислений, в числе которых масштабируемость, то есть проблема расширения параллелизма, и прозрачность в смысле преодоления пропасти между многопроцессорными системами с общей памятью и распределенными вычислительными средами [87, 95].

Существуют специализированные языки программирования, позволяющие разрабатывать приложения с архитектурой, базирующейся на модели акторов (Scala, Go, Erlang и другие). Удобные средства для программирования модели акторов в совокупности с возможностью создания высоконагруженных отказоустойчивых приложений предоставляют язык программирования Erlang и написанная на нем платформа Erlang/OTP. В следующем параграфе рассмотрим особенности и преимущества данного инструмента разработки.

1.4 Язык программирования Erlang и фреймворк OTP Erlang – функциональный язык программирования со строгой динамической типизацией, предназначенный для создания распределённых вычислительных систем, разработанный и поддерживаемый компанией Ericsson [97].

Свой синтаксис и некоторые концепции Erlang унаследовал от языка логического программирования Пролог. Язык поддерживает многие типы данных (числа, строки, атомы, списки, кортежи, бинарные данные и другие), условные конструкции, обработку исключений, выражения битовых строк, функции (анонимные функции, функции высшего порядка, рекурсивные определения функций, оптимизацию хвостовой рекурсии), модули, приём и отправку сообщений между процессами. Препроцессор поддерживает работу с макросами и включение заголовочных файлов [8, 88-90, 102].

Популярность Erlang начала расти в связи с расширением его области применения (телекоммуникационные системы) на высокопараллельные распределённые системы, обслуживающие миллионы пользователей, такие как системы управления содержимым, веб-серверы и распределённые, требующие масштабирования базы данных, кластерные операционные системы (Clustrx), системы управления коммутаторами и другим сетевым оборудованием (программный телефонных линий). Erlang применяется в нескольких NoSQL-базах данных высокой доступности (CouchDB, Riak, Hibari) [97-99].

Являясь функциональным языком программирования, Erlang вобрал в себя множество достоинств данной парадигмы программирования, в частности:

краткость и простота; программы на Erlang обычно намного короче и проще, чем те же самые программы на императивных языках; например, функция быстрой сортировки, занимающая на C++ порядка десяти строк, на Erlang занимает две [72]:

qsort([]) -> qsort([H | T]) ->