ИНСТИТУТ ВЫЧИСЛИТЕЛЬНОГО МОДЕЛИРОВАНИЯ СО РАН

КРАСНОЯРСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНИЧЕСКИЙ УНИВЕРСИТЕТ

На правах рукописи

МИРКЕС ЕВГЕНИЙ МОИСЕЕВИЧ

ФУНКЦИОНАЛЬНЫЕ МОДЕЛИ

УНИВЕРСАЛЬНОГО НЕЙРОКОМПЬЮТЕРА

05.13.11 – Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей Диссертация на соискание ученой степени доктора технических наук

Консультант: д.ф.-м.н., профессор А.Н. Горбань Красноярск 2001 4.1.7. Архитектуры сетей Как уже отмечалось ранее, при конструировании сетей из элементов можно построить сеть любой архитектуры. Однако и при произвольном конструировании можно выделить наиболее общие признаки, существенно отличающие одну сеть от другой. Очевидно, что замена простого сумматора на адаптивный или даже на квадратичный не приведут к существенному изменению структуры сети, хотя число обучаемых параметров увеличится. Однако, введение в сеть цикла сильно изменяет как структуру сети, так и ее поведение. Таким образом можно все сети разбить на два сильно отличающихся класса: ациклические сети и сети с циклами. Среди сетей с циклами существует еще одно разделение, сильно влияющее на способ функционирования сети: равновесные сети с циклами и сети с ограниченными циклами. Большинство используемых сетей не x1 x позволяют определить, как повлияет изменение какого-либо внутреннего параметра сети на выходной сигнал. На рис.

Рис. 13. Фрагмент 13 приведен пример сети, в которой немонотонной сети увеличение параметра приводит к неоднозначному влиянию на сигнал x2 : при отрицательных x произойдет уменьшение x2, а при положительных x – 1 увеличение. Таким образом, выходной сигнал такой сети немонотонно зависит от параметра. Монотонные сети понятнее для анализа, а поведение монотонных систем хорошо изучено (см. например, [161]). Для получения монотонной зависимости выходных сигналов сети от параметров внутренних слоев (то есть всех слоев кроме входного) необходимо использовать специальную монотонную архитектуру нейронной сети. Принципиальная схема сетей монотонной архитектуры приведена на рис. 14.

Основная идея построения В монотонных сетей состоит в В ВВ разделении каждого слоя сети на два – ТТ возбуждающий и тормозящий. При О этом все связи в сети устроены так, что ТВ ТТ элементы возбуждающей части слоя возбуждают элементы возбуждающей Рис. 14. Общая схема монотонной части следующего слоя и тормозят сети. Верхний ряд - возбуждающие тормозящие элементы следующего блоки нейронов, нижний ряд слоя. Аналогично, тормозящие тормозящие. Буквой “Т” - помечены элементы возбуждают тормозящие тормозящие связи, буквой “В” элементы и тормозят возбуждающие возбуждающие элементы следующего слоя. Названия «тормозящий» и «возбуждающий»

выходные элементы.

сетей с сигмоидными элементами требование монотонности означает, неотрицательны. Для сетей с Паде элементами отрицательности весов необходимым условием бессбойной работы.

Требование монотонности для сетей с Паде элементами приводит к изменению архитектуры сети, не накладывая никаких новых ограничений на параметры сети. На рис. приведены пример немонотонной сети, а на рис. 16 монотонной сети с Паде элементами.

Особо отметим архитектуру еще сетей без весов связей.

коннекционистским, не параметров связей.

превратить в сеть без умножители. Легко заметить, что Рис. 16. Монотонная сеть с Паде элементами.

получится такая же Жирными линиями обозначены возбуждающие сеть, только вместо связи и элементы возбуждающей части сети весов связей будут использоваться сигналы. Таким образом в сетях без весов связей выходные сигналы одного слоя могут служить для следующего слоя как входными сигналами, так и весами связей. Заметим, что вся память таких сетей содержится в значениях параметров нелинейных преобразователей. Из разделов "Синапс" и "Умножитель" следует, что сети без весов связей способны вычислять градиент функции оценки и затрачивают на это ровно тоже время, что и аналогичная сеть с весами связей.

146. Масалович А.И. От нейрона к нейрокомпьютеру // Журнал доктора Добба.- 1992.- № 1.- С.20-24.

147. Минский М., Пайперт С. Персептроны. - М.: Мир, 1971.- 208с.

148. Миркес Е.М. Глобальные и локальные оценки для сетей двойственного функционирования // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара.- Красноярск, 1995.- С.76- 149. Миркес Е.М. Использование весов примеров при обучении нейронных сетей // Нейроинформатика и ее приложения: Тез. докл. Всероссийского семинара.- Красноярск, 1995.- С. 150. Миркес Е.М. Логически прозрачные нейронные сети и производство явных знаний из данных // Нейроинформатика.- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.- С. 283- 151. Миркес Е.М. Нейроинформатика и другие науки // Вестник КГТУ, 1996.- вып. 6.- С.5-33.

152. Миркес Е.М. Нейрокомпьютер. Проект стандарта.- Новосибирск:

Наука, Сибирская издательская фирма РАН, 1998.- 337 с.

153. Миркес Е.М. Нейронные сети ассоциативной памяти // Нейроинформатика.- Новосибирск: Наука, Сибирская издательская фирма РАН, 1998.- С. 264-282.

154. Миркес Е.М. Обучение сетей с пороговыми нейронами // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара.- Красноярск, 1995.- С. 155. Миркес Е.М. Оценки и интерпретаторы ответа для сетей двойственного функционирования // Нейроинформатика и ее приложения: Тез. докл. 3 Всероссийского семинара.- Красноярск, 1995.- С.73- 156. Миркес Е.М., Свитин А.П. Применение метода ассоциативных сетей для прогнозирования переносов заряда при адсорбции молекул. // Эволюционное моделирование и кинетика.- Новосибирск: Наука, 1992.- С.30-35.

157. Миркес Е.М., Свитин А.П., Фет А.И. Массовые формулы для атомов.

// Математическое моделирование в химии и биологии. Новые подходы.- Новосибирск : Наука, 1992.- С. 199-204.

158. Миркин Б.Г. Анализ качественных признаков и структур.- М.:

Статистика, 1980.- 319 с.

159. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах. - М.: Энергия, 1977.- 482 с.

160. Мостеллер Ф., Тьюки Дж. Анализ данных и регрессия.- М.: Финансы и статистика, 1982.- 239 с.

161. Муллат И.Э. Экстремальные подсистемы монотонных систем. I, II, III // Автоматика и телемеханика.- 1976.- № 5.- С. 130-139; 1976.- № 8.- С. 169-178; 1977.- № 1.- С. 143-152.