«НЕРАВЕНСТВА ГАМИЛЬТОНА-ЯКОБИ В ЗАДАЧАХ ОПТИМАЛЬНОГО УПРАВЛЕНИЯ ДИСКРЕТНО-НЕПРЕРЫВНЫМИ СИСТЕМАМИ ...»

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ

УЧРЕЖДЕНИЕ НАУКИ

ИНСТИТУТ ДИНАМИКИ СИСТЕМ И ТЕОРИИ УПРАВЛЕНИЯ

СИБИРСКОГО ОТДЕЛЕНИЯ РАН

На правах рукописи

СОРОКИН СТЕПАН ПАВЛОВИЧ

НЕРАВЕНСТВА ГАМИЛЬТОНА-ЯКОБИ В ЗАДАЧАХ

ОПТИМАЛЬНОГО УПРАВЛЕНИЯ

ДИСКРЕТНО-НЕПРЕРЫВНЫМИ СИСТЕМАМИ

01.01.02 – Дифференциальные уравнения, динамические системы и оптимальное управление Диссертация на соискание ученой степени кандидата физико-математических наук

Научный руководитель:

доктор физ.-мат. наук, профессор В.А. Дыхта Иркутск – Оглавление Введение 0.1 Монотонные L -функции: определения и критерии в форме неравенств Гамильтона-Якоби................. 1 Бипозиционные решения неравенств Гамильтона-Якоби в классической задаче оптимального управления 1.1 Постановка задачи........................ 1.2 Канонические достаточные условия оптимальности. Сравнение с альтернативными подходами.............. 1.2.1 Базовые K -достаточные условия оптимальности... 1.2.2 Модифицированные достаточные условия Кротова с множеством L-функций................. 1.2.3 Модифицированные достаточные условия Каратеодори 1.3 Бипозиционные L -функции и канонические условия оптимальности............................. 1.3.1 Оценки и точное описание интегральных воронок.. 1.3.2 Оценки множества соединимых точек......... 1.3.3 Необходимые и достаточные условия оптимальности. 1.4 Анализ достаточных условий оптимальности......... 1.5 Условия оптимальности с бипозиционными L -функциями в неклассической линейно-квадратичной задаче оптимального управления............................ 1.6 Производящие функции и нестандартная двойственность.. 1.7 Примеры............................. 2 Канонические условия оптимальности в задачах управления дискретно-непрерывными системами 2.1 Постановка задачи........................ 2.2 Необходимые и достаточные условия оптимальности с бипозиционными L -функциями................... 2.3 Достаточные условия в форме принципа максимума Понтрягина................................ 2.4 Макроэкономическая модель оптимизации перехода к новой технологии............................ 2.5 Связь общих достаточных условий оптимальности с биэкстремалями системы и принципом максимума Понтрягина.. 2.6 Теоретические приложения, обобщения и примеры...... 2.6.1 Задачи с разрывной зависимостью по времени.... 2.6.2 Исследование экстремалей с разрывным управлением 2.6.3 Использование производящих функций........ 3 Монотонность, достижимость и оптимальность в задачах управления дискретными системами 3.1 Монотонные L -функции для дискретных систем....... 3.2 Внешние оценки множества соединимых точек и достаточные условия оптимальности..................... 3.3 Анализ достаточных условий оптимальности и примеры.. 3.4 Достаточные условия оптимальности в форме принципа максимума............................... 3.5 Необходимые условия оптимальности со слабо монотонными и производящими функциями.................. 3.5.1 Применение слабо монотонных L -функций...... 3.5.2 Производящие функции в задаче оптимизации, линейной по состоянию..................... 3.6 Оптимизация дискретно-импульсных систем......... Заключение ЛИТЕРАТУРА Введение Актуальность работы. Дискретно-непрерывные динамические системы различной природы (составные, многоэтапные, импульсные) в последнее время стали объектом пристального внимания специалистов по динамике систем и оптимальному управлению. Объясняется это богатыми приложениями в механике, робототехнике, оптике, экономике, экологии и в других областях науки, которые потребовали применения сложных моделей, объединенных собирательным термином гибридные. Системы этого широкого класса характеризуются наличием двух типов динамики дискретной и непрерывной, и являются интересными с точки зрения математических свойств. Данная работа посвящена качественному исследованию задач оптимального управления дискретно-непрерывными системами.

Необходимые условия оптимальности в форме принципа максимума Понтрягина (ПМ) для различных классов гладких дискретно-непрерывных задач оптимального управления были получены в целой серии работ. Их систематическое изложение дано в монографии Л.Т. Ащепкова [9]. В ней в качестве базовой модели выбрана задача оптимального управления с промежуточными (многоточечными) фазовыми ограничениями. Она оказалась достаточно удобной и универсальной не только для дискретнонепрерывных задач динамической оптимизации, но и для задач оптимизации разрывных систем. На это впервые обратил внимание В.В. Величенко; в указанной монографии этот факт последовательно раскрыт и реализован. Отметим, что в ней (и во многих других работах) доказательство ПМ основано на довольно трудоемкой технике многоточечного игольчатого варьирования управления1. В недавних работах А.В. Дмитрука и А.М. Кагановича [26, 122] детально показано, что намного более короткое и естественное доказательство принципа максимума может быть получено, если свести дискретно-непрерывную задачу оптимального управления к классической с общими (не разделенными) концевыми ограничениями.

Это сведение достигается путем размножения фазовых и управляющих переменных, восходящего к работам Ю.М. Волина и Г.М. Островского [17], в комбинации с заменой времени. Иная техника вывода ПМ использована А.В. Арутюновым и А.И. Околевичем [103] для дискретно-непрерывных задач оптимизации со смешанными ограничениями (в отсутствие включения Большая серия работ Ф. Кларка, Р. Винтера, Г. Зуссмана, М. Гаравелло, Б. Пиколли и др. [118, 119, 132, 147, 148] посвящена гибридному принципу максимума для негладких дискретно-непрерывных задач оптимального управления. Исследуемые в них модели обладают большой общностью и требуют изощренной техники негладкого и вариационного анализа. Однако в гладких вариантах этих моделей полученные принципы максимума сводятся к уже упомянутым выше (и, в конечном счете, к классическому ПМ).

Отметим также задачи оптимального импульсного управления, которые в некоторых постановках имеют дискретно-непрерывный (гибридный) характер, но весьма специфичны как по методам анализа, так и результатам (их достаточно обстоятельное изложение до уровня принципа максимума и обзор литературы см. в [68]).

Обратим внимание, что во всех работах по дискретно-непрерывным задачам оптимального управления вопрос об обращении ПМ в достаточное условие оптимальности рассматривается только для линейно-выпуклых задач и нормальных экстремалей (например, в [9, 68]). Для гораздо более общих задач и экстремалей такое обращение получено в диссертации.

Достаточные условия оптимальности для различных классов задач опПМ для задач управления с промежуточными фазоограничениями из [9] не вполне завершен: не установлено существование универсальных множителей Лагранжа, соответствующих оптимальному процессу задачи (что интерпретировалось как явление распадения ПМ ). В последствии автор естественным образом модифицировал свое доказательство и устранил недостаток.

тимизации дискретно-непрерывных (гибридных) динамических систем получались путем обобщения метода В.Ф. Кротова [60, 136] (в зарубежной литературе аналогичные результаты часто связываются с родственным методом проверочных функций К. Каратеодори [102, 114, 144, 156]) и метода динамического программирования Р. Беллмана [16, 115] через использование квазивариационных неравенств для субрешений одноименного уравнения. Отметим здесь цикл работ, выполненных под руководством В.И. Гурмана [24], А.Б. Куржанского [54] (оптимальный синтез в линейновыпуклых задачах), Ж.-П. Обена [104,105] (примыкающих по технике оперирования функциями типа Ляпунова), М.С. Браникки (M.S. Branicky) [111], а также Р. Винтера с Г. Гелбрайтом [131], Л.Т. Ащепкова [9] и др. [10, 11, 24, 32, 34, 110, 131, 133, 134] (ввиду широты проблематики этот перечень отнюдь не полон).

Значительная часть диссертации выполнена в русле этих исследований, но отличается следующими особенностями:

• в соответствии с канонической теорией оптимальности ГамильтонаЯкоби [3, 29, 33, 35–38, 123, 140, 141], достаточные и необходимые условия формулируются в терминах множеств функций типа Ляпунова ( L -функций) сильно и слабо монотонных решений соответствующих квазивариационных неравенств Гамильтона-Якоби (в общем случае не гладких); эти функции используются для построения внешних и внутренних оценок достижимых состояний управляемой динамической системы2 ;

• используется новый класс решений неравенств Гамильтона-Якоби, параметрически зависящих от начальной (или финальной) позиции.

В первой главе диссертации показано, что введение этого класса функций, названных бипозиционными, естественно уже для классических задач оптимального управления с общими концевыми ограничениями. В этой же главе установлено, что канонические достаточные условия оптимальности эффективнее условий Каратеодори и Кротова даже в модифицированных вариантах с использованием множеств сильно монотонДля классических задач оптимального управления с закрепленным концом траекторий близкий подход развивался в работах М.М. Хрусталева [99,100], а также В.И. Гурмана [24], Г.Н. Константинова [58] (в части достаточных условий), но с единственным решением неравенств Гамильтона-Якоби.

ных L -функций. Естественно, что это свойство должно наследоваться и дискретно-непрерывными задачами. Поэтому развитие канонических условий оптимальности для задач оптимизации дискретно-непрерывных систем является актуальным.

Цель диссертационной работы состоит в получении необходимых и достаточных условий оптимальности дискретно-непрерывных процессов путем обобщения канонической теории оптимальности Гамильтона-Якоби на новые классы задач.

Объектом исследования являются задачи оптимального управления дискретно-непрерывными системами с включением в анализ базовых составляющих: классических и дискретных задач оптимального управления с общими концевыми ограничениями на траекторию.

Поясним, что как гибридный принцип максимума, так и условия оптимальности кротовского типа характеризуют оптимальную непрерывную динамику задач управления гибридной системой, оставляя в тени дискретную (которая не допускает классического вариационного анализа)3. Чтобы нивелировать этот крен, в условиях оптимальности второй главы диссертации акцент сделан на анализе непрерывной динамики, а дискретная снесена во вспомогательную дискретно-концевую экстремальную задачу. В третьей главе (теми же методами) исследуются уже дискретные задачи оптимизации, которые охватывают возможные варианты дискретно-концевых задач4.

Методы исследования базируются на свойствах сильной и слабой монотонности обобщенных решений неравенств Гамильтона-Якоби, оценках множеств соединимых точек управляемых систем, канонической теории оптимальности в оригинальных вариантах, принципе максимума Понтрягина и теории экстремальных задач.

Научная новизна. Для качественного исследования оптимизационных и позиционных задач теории управления дискретно-непрерывными системами введен новый класс бипозиционных решений неравенств (и уравЛишь в нескольких работах перекос сделан в сторону дискретной динамики.

Конечно, не все; например, рассматриваемые в [75] задачи требуют специальных подходов.

нений) Гамильтона-Якоби, параметрически зависящих от начальной или финальной позиции управляемой системы. Доказано, что этот класс L функций (типа Ляпунова) необходим для обоснования канонической теории оптимальности уже в классических задачах оптимального управления с не разделенными концевыми ограничениями. Полученные условия локальной и глобальной оптимальности дискретно-непрерывных процессов с множествами бипозиционных L -функций существенно усиливают известные аналоги. В частности, из них выводятся наиболее общие достаточные условия оптимальности в форме принципа максимума Понтрягина для дискретно-непрерывных задач оптимизации без априорных предположений выпуклости, нормальности исследуемой экстремали, единственности соответствующих ей наборов множителей Лагранжа. Представляют интерес необходимые и достаточные условия оптимальности, усиливающие принцип максимума для дискретных задач оптимального управления в линейных системах с управляемыми коэффициентами. Переход к бипозиционным решениям неравенств Гамильтона-Якоби позволил получить способ построения субоптимальных бипозиционных управлений по нижней огибающей разрешающего множества L -функций, что невозможно в традиционном классе решений.

Теоретическая и практическая значимость работы. Развитые в работе методы могут применяться для качественного анализа и решения различных классов задач оптимального управления и для оценки достижимых состояний управляемых систем при общих концевых ограничениях. Исследованные многомерные модели оптимизации перехода экономики к новой технологии и распределения ресурсов иллюстрируют эффективность предлагаемых методов и условий оптимальности. Конструкция позиционного управления, экстремального к разрешающему множеству бипозиционных решений неравенств Гамильтона-Якоби, близка к традиционной и вполне реализуема в численных методах решения задач управления.

Это относится и к необходимым условиям оптимальности с позиционными контруправлениями для задач оптимизации дискретных систем, линейных по состоянию.

Исследования по теме диссертации проводились в рамках проекта по программе СО РАН Нелокальные методы в теории управления динамическими системами (№ гос. регистрации 01201001345), интеграционного проекта СО-УрО РАН № 85 Качественный и численный анализ эволюционных уравнений и управляемых систем и грантов РФФИ (проекты 07-01-00741-а, 11-01-00672-а, 09-01-16002-моб_з_рос, 10-01-09370-моб_з).

Основные результаты диссертации, выносимые на защиту.

1. Доказаны достаточные условия сильного и глобального экстремума с бипозиционными решениями неравенств Гамильтона-Якоби для классических, дискретных и дискретно-непрерывных задач оптимального управления с общими концевыми ограничениями и целевыми функционалами.

2. Получены достаточные условия оптимальности в форме принципа максимума Понтрягина для невыпуклых задач оптимального управления дискретными и дискретно-непрерывными системами.

3. Доказаны необходимые условия глобальной оптимальности с бипозиционными и производящими функциями для классических, дискретных и дискретно-непрерывных задач оптимального управления.

Структура и объем диссертации.

Работа состоит из введения, трех глав, заключения и списка литературы, содержащего 155 наименования.

Общий объем диссертации составляет 153 страницы.

Апробация работы. Результаты диссертации представлялись на следующих конференциях:

1) Школа-семинар Нелинейный анализ и экстремальные задачи, Иркутск, 24 – 30 июня 2008 г.;

2) Конференция ИДСТУ СО РАН Ляпуновские чтения, Иркутск, 19 – 23 декабря 2008 г.;

3) Воронежская зимняя математическая школа Современные методы теории функций и смежные проблемы, Воронеж, 27 января – 2 февраля 2009 г.;

4) Конференция аспирантов факультета экономической кибернетики БГУЭП, Иркутск, 8 апреля 2009 г.;

5) Всероссийская конференция Математическое моделирование и вычислительно-информационные технологии в междисциплинарных научных исследованиях, Иркутск, 6 – 7 июня 2009 г.;

6) Международная конференция Актуальные проблемы теории устойчивости и управления, Екатеринбург, 21 – 26 сентября 2009 г.;

7) Международная конференция Колмогоровские чтения. Общие проблемы управления и их приложения, Тамбов, 5 – 9 октября 2009 г.;

8) Конференция ИДСТУ СО РАН Ляпуновские чтения, Иркутск, 21 – 23 декабря 2009 г.;

9) XI Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям, Иркутск пос.

Старая Ангасолка, 15 – 21 марта 2010 г.;

10) XI Международная конференция Устойчивость и колебания нелинейных систем управления (конференция Е.С. Пятницкого), Москва, 1 – 4 июня 2010 г.;

11) II Международная школа-семинар Нелинейный анализ и экстремальные задачи, Иркутск, 28 июня – 4 июля 2010 г.;

12) V Международный симпозиум Обобщенные постановки и решения задач управления, Улан-Батор, Монголия, 13 – 17 сентября 2010 г.;

13) Конференция ИДСТУ СО РАН Ляпуновские чтения, Иркутск, 20 – 23 декабря 2010 г.;

14) 42-ая Всероссийская Молодежная школа-конференция Современные проблемы математики, Екатеринбург, 30 января – 6 февраля 2011 г.;

15) Международная конференция Дифференциальные уравнения и смежные вопросы, посвященная памяти И.Г. Петровского, Москва, 29 мая – 4 июня 2011 г.;

16) Российско-монгольская конференция молодых ученых по математическому моделированию, вычислительно-информационным технологиям и управлению, Иркутск – Ханх (Монголия), 17 – 21 июня 2011 г.;

17) XV Байкальская международная школа-семинар Методы оптимизации и их приложения, Иркутск – пос. Листвянка, 23 – 29 июня 2011 г.;

18) VIII Международный конгресс ISAAC 2011, Москва, 22 – 27 августа 19) V Международная научная конференция PhysCon 2011, Леон (Испания), 5 – 8 сентября 2011 г.;

20) V Международная конференция Колмогоровские чтения. Общие проблемы управления и их приложения (ОПУ-2011), Тамбов, 10 – 14 октября 2011 г.;

21) Конференция ИДСТУ СО РАН Ляпуновские чтения, Иркутск, 28 – 30 ноября 2011 г.;

22) XII Прибайкальская школа-семинар молодых ученых Моделирование, оптимизация и информационные технологии, Иркутск пос.

Старая Ангасолка, 19 – 24 марта 2012 г.

Результаты работы неоднократно обсуждались на семинарах в Институте динамики систем и теории управления СО РАН.

Публикации и личный вклад автора. По теме диссертации опубликована 31 работа [41–50, 74, 76–91, 126–128, 146]. Наиболее значимые результаты представлены в работах [44, 46–48, 50, 76, 77, 79, 85, 88, 90], 6 из которых входят в Перечень ведущих рецензируемых журналов и изданий ВАК РФ, 3 статьи в других научных журналах, 2 полных текста докладов в трудах международных конференций.

Из совместных публикаций с В.А. Дыхтой и Г.Н. Яковенко в диссертацию вошли личные результаты автора. В совместных публикациях с научным руководителем [44, 46–48, 50] автору принадлежат все результаты, связанные с реализацией канонической теории оптимальности с бипозиционными решениями неравенств Гамильтона-Якоби для классических и дискретно-непрерывных задач оптимального управления; кроме того им построены примеры, стимулирующие развитие этого направления теории и иллюстрирующие ее сравнительную эффективность с аналогами. Проблематика исследований Г.Н. Яковенко не связана с темой диссертации.

Структура и объем диссертации. Работа состоит из введения, трех глав, заключения и списка литературы, содержащего 156 наименований.

Общий объем диссертации составляет 154 страницы. Основные результаты главы 1 опубликованы в работах [44, 46, 48, 50, 79], главы 2 в работах [48, 76, 77, 85], главы 3 в работах [47, 88, 90].

Автор выражает глубокую признательность профессору В.А. Дыхте за научное руководство данной работой.

0.1 Монотонные L -функции: определения и критерии в форме неравенств Гамильтона-Якоби Приведем необходимые нам понятия монотонности L -функций, подходящим образом адаптируя определения и критерии в форме неравенств Гамильтона-Якоби из [130,144,152] к рассматриваемым далее задачам. Тем самым мы избежим постоянного выписывания этих неравенств в дальнейшем.

Рассмотрим управляемую систему где множество U Rm замкнуто, а вектор-функция f (t, x, u) : R Rn U Rn непрерывна; эти предположения на систему назовем предварительными.

Для части излагаемых далее критериев предварительных предположений недостаточно, поэтому введем следующие стандартные предположения:

(H1) функция f (t, x, u) непрерывна по совокупности переменных и локально липшицева по x равномерно по (t, u) R U ;

(H2) существует действительное число c > 0, такое что |f (t, x, u)| c(1 + (H3) множество f (t, x, U ) выпукло (t, x) Rn+1 ;

(H4) множество U компактно.

Через обозначим любой процесс управляемой системы (S), состоящий из пары функций x(t), u(t) | t, определенных на некотором отрезке времени = [t0, t1 ] (зависящем от ), и таких, что траектория x(·) абсолютно непрерывна, а управление u(·) измеримо и ограничено на, причем соотношения (S) выполнены почти всюду на. Считаем, что dim x = n, dim u = m. Таким образом, любой процесс системы (S) записывается в виде = x(t), u(t) | t (отрезок не фиксирован и зависит от ).

Обозначим через T (x0 ) множество траекторий системы (S) на с начальным условием x(t0 ) = x0, а через T (t1, x1 ) множество траекторий системы (S) на с граничным условием x(t1 ) = x1 (левосторонние решения (S) в обратном времени).

Введем функцию Понтрягина (запись a · b обозначает скалярное произведение векторов a и b ), нижний гамильтониан и расширенный нижний гамильтониан Для произвольной гладкой функции (t, x) : R Rn R через обозначим её полную производную в силу системы (S). Заметим, что для локально липшицевых функций полная производная определена почти всюду, а запись классического оператора Гамильтона-Якоби. Зачастую используются верхний гамильтониан и операция max вместе min, что несущественно; как правило, мы будем использовать нижний гамильтониан.

Некоторые производные негладких функций Напомним некоторые понятия негладкого анализа [56, 130, 144, 152].

Пусть даны функция g : Rn R, точка y Rn, в которой g конечна, и вектор w Rn. Предел называется верхней производной Дини функции g в точке y по направлению w. Нижнюю производную Дини можно определить формулой Заметим, что если g удовлетворяет условию Липшица в окрестности точки y, то Вектор Rn называется проксимальным субградиентом функции g в точке y, если существует окрестность точки y и константа c 0, такие что Множество всех проксимальных субградиентов в точке y обозначается P g(y) и называется проксимальным субдифференциалом. Это множество может оказаться пустым (например, для функции g(y) = |y| множество P g(0) = ). Если функция g дифференцируема в точке y, то P g(y) {g (y)} ; равенство выполняется, если функция g дважды непрерывно дифференцируема в y. Существование проксимального градиента в точке y означает возможность локальной аппроксимации снизу функции g квадратичной функцией: точка y, g(y) есть точка касания графика функции g и минорирующей параболы крутизны.

Проксимальный супердифференциал P g(y) функции g в точке y может быть определен следующим образом:

Свойство P g(y) = означает, что в точке y функция g может быть локально аппроксимирована сверху квадратичной с касанием графиков в точке y, g(y).

Сильно и слабо монотонные L -функции Определение 1. Непрерывную функцию : GI R назовем:

а) сильно возрастающей на GI (в прямом времени), если б) слабо возрастающей на GI (в прямом времени), если Как видно из определения, сильно и слабо возрастающие L -функции отличаются друг от друга тем, что первые возрастают вдоль всех траекторий системы (S), проходящих по GI, а слабо монотонные лишь вдоль некоторых (хотя бы одной). Свойства сильной и слабой монотонности очевидным образом распространяются на убывающие L -функции, а также могут рассматриваться в обратном времени (относительно системы (S) ).

Дополним определение 1 некоторыми типами монотонных L -функций, используемыми в дальнейшем.

Определение 2. Непрерывную функцию : GI R назовем:

в) слабо убывающей на GI (в прямом времени), если г) сильно убывающей на GI в обратном времени, если Неубывающие функции мы называем возрастающими, а невозрастающие убывающими, т.е. возрастание (убывание) трактуется в нестрогом смысле.

д) слабо возрастающей на GI в обратном времени, если t, x(t) возрастает в обратном времени на [t0, t1 ].

Множества всех функций, удовлетворяющих условиям а), в), г), д), последовательно обозначим через Ls (GI ), Lw (GI ), L (GI ) и L (GI ), где верхний индекс указывает на обратную направленность времени. Если множество GI совпадает с расширенным фазовым пространством R Rn системы (S), то будем опускать указание области в этих обозначениях.

Критерии сильной и слабой монотонности Для конструктивной проверки свойств монотонности и разработки методов нахождения L -функций с этими свойствами используются соответствующие инфинитезимальные (дифференциальные) критерии типа неравенств Гамильтона-Якоби [130, 144, 152]. Мы приведем их краткий обзор для различных классов L -функций и предположений относительно свойств управляемой системы.

Пусть выполнены стандартные предположения (H1)–(H4). Тогда включение Ls (GI ) эквивалентно выполнению любого из следующих неравенств:

когда локально липшицева; и когда непрерывна.

Заметим, что множества Ls (GI ) и L (GI ) совпадают даже в классе непрерывных L -функций.

Примечательно, что неравенства (1), (2) гарантируют сильную монотонность локально липшицевой функции даже при предварительных предположениях на систему (S) (неравенство (2) должно быть дополнено условием достижимости функцией H(t, x, x (t, x), ·) своей точной нижней грани на U при почти всех (t, x) GI ).

Теперь укажем инфинитезимальные критерии для слабо монотонных функций в предположениях (H1)–(H4).

Включение Lw (GI ) эквивалентно выполнению любого из следующих неравенств:

когда гладкая; и когда непрерывна.

Заметим, что в стандартных предположениях подмножества гладких функций из Lw (GI ) и L (GI ) совпадают; однако уже для класса липw шицевых функций это не так (см. ниже пример 1).

Для непрерывной функции включение L (GI ) эквивалентно выполнению любого из следующих неравенств:

Наконец, отметим, что критерии с обобщенными производными справедливы и для полунепрерывной снизу 6.

Для полунепрерывной снизу функции сильное возрастание на GI означает, что (t0, x0 ) GI, t1 I, t1 t0, x(·) T[t0,t1 ] (x0 ) неравенство t, x(t) (t0, x0 ) выполняется при всех t [t0, t1 ].

Остальные свойства монотонности определяются подобным образом.

Пример 1. Рассмотрим систему для которой расширенный нижний гамильтониан имеет вид Возьмем вогнутую липшицевую функцию (t, x) = t |x| и воспользуемся проксимальными критериями. Выпишем для проксимальные суб- и супердифференциалы:

Очевидно, что удовлетворяет уравнению Гамильтона-Якоби в субдифференциальной форме и поэтому является слабо убывающей в прямом времени в силу (6) (и, одновременно, сильно возрастающей в силу (4)). Но она не удовлетворяет супердифференциальному условию слабого возрастания в обратном времени (7). Действительно, для (1, 0) P (t, 0) выполняется неравенство В данном примере наличие свойства слабого убывания в прямом времени и отсутствие слабого возрастания в обратном времени можно установить без использования инфинитизимальных критериев следующим образом. Возьмем произвольную точку (t0, x0 ), x0 0. Выберем процесс управляемой системы с траекторией x(t) = t t0 + x0.

Если x0 < 0, то выбирать следует процесс с траекторией x(t) = t+t0 +x0.

Значит слабо убывает на R R в прямом времени.

Теперь покажем, что не является слабо возрастающей на R R в обратном времени, т.е.

В качестве (t1, x1 ) возьмем (0, 0). Очевидно, что достигается при x(t) 0, но функция t, x(t) = t строго убывает в обратном времени, и при t < t1 = 0 имеем t, x(t ) < 0.

Обратную ситуацию иллюстрирует функция (t, x) = t + |x|, слабо возрастающая в обратном времени, но не обладающая свойством слабого убывания в прямом времени.

Отметим, что обе функции и удовлетворяют п. в. классическому уравнению Гамильтона-Якоби, соответствующему равенству в (5), но при этом не обладают ожидаемыми свойствами слабой монотонности.

Свойства монотонности могут быть установлены и другими критериями, использующими, например, суб- и супердифференциалы, обобщенный дифференциал Кларка, конусы касательных направлений и другие конструкции негладкого анализа [56, 93, 105–108, 152], а также специальные предположения полувогнутости функции [4,99,100,109,113,130], однако, мы ограничимся представленными.

Отметим, что неравенства Гамильтона-Якоби для L -функций приведены без каких-либо краевых условий. Однако в дальнейшем будет показано, что они носят квазивариационный характер: краевые условия неявно задаются через конечномерную концевую задачу.

Замечание 1. В дальнейшем выполнение свойств монотонности будет требоваться не только на цилиндрических множествах вида GI, но и на некоторых произвольных связных множествах G R Rn (необязательно открытых). В качестве таких множеств будут выступать области, на которых рассматриваются задачи, оценки интегральных воронок управляемых систем или окрестности траекторий исследуемых на оптимальность процессов. Критерии монотонности в этих случаях должны выполняться в точках множеств G.

Управления, экстремальные относительно L -функций В методе неравенств Гамильтона-Якоби и динамическом программировании приходится иметь дело с разрывными позиционными управлениями (стратегиями), соответствующими им решениями управляемой системы и стратегиями, экстремальными по отношению к решению неравенства Гамильтона-Якоби того или иного типа. Опишем кратко подход к этим задачам, принятый в диссертации.

а) Пусть G = [t0, t1 ] Rn и v(t, x) : G U некоторое позиционное управление, определенное всюду на указанном множестве, а в остальном произвольная (как правило разрывная) функция. Рассмотрим задачу Коши для системы (S), замкнутой позиционным (синтезирующим) управлением v. Поскольку (8) система с разрывной правой частью, то необходимо указать, что понимается под её решением.

Мы примем концепцию Красовского–Субботина [59, 135] (см. также [97, 98]) как конструктивную и весьма универсальную.

Рассмотрим произвольное разбиение отрезка времени = [t0, t1 ] :

Этому разбиению и заданному начальному условию поставим в соответствие ломаную Эйлера x (·) как решение системы с кусочно постоянным управлением. Тогда решение Эйлера разрывной системы (8) определяется как любой равномерный предел некоторой последовательности ломаных {xk } при |k | 0, где Таким образом, системе (8) сопоставляется множество решений Эйлера.

б) Пусть классическое (гладкое) решение неравенства ГамильтонаЯкоби (2) на G = Rn. Определим -экстремальное многозначное отображение При стандартных предположениях оно имеет непустые, замкнутые образы и полунепрерывно сверху. Любой селектор этого отображения функцию : G U назовем -экстремальным позиционным управлением.

Соответствующие ему решения описаны в п. а).

Пусть теперь локально липшицевое решение соответствующего неравенства (3) или (4). Теперь -экстремальное отображение (9) надлежит переопределить, т.к. производные t, x не существуют на множестве нулевой меры Лебега из G. В этом случае используется регуляризация гладкая аппроксимация функции [57, 59, 92, 93, 116, 144], или K -стратегия [97, 98]. Мы не будем останавливаться на деталях, поскольку в диссертации они не используются.

Конструктивные методы поиска L -функций Для нахождения монотонных L -функций могут применяться естественные модификации всех конструктивных методов, разработанных в ходе развития подхода В.Ф. Кротова [24, 60, 136], а также теории обобщенных решений уравнений и неравенств Гамильтона-Якоби [92, 93, 109, 113]. Напомним некоторые из них.

1) Прием нормировки, применимый в случае, если для некоторой функции (t, x), локально липшицевой на G, функция ( Gt означает сечение множества G по t ) оказалась интегрируемой на (a, b) = prt G. Тогда, как легко проверяется, функция удовлетворяет неравенству Гамильтона-Якоби (2) на G, т.е. сильно возрастает на этом множестве.

2) Поиск в классе линейно-квадратичных функций Оперирование такими функциями тесно связано с достаточными условиями оптимальности в форме принципа максимума Понтрягина и локальными квадратичными условиями оптимальности.

3) Метод кратных максимумов [24] и нелинейного преобразования Гоха [33,40] (совсем не обязательно только для нерегулярных задач с неограниченным линейным управлением в случае ограниченности последнего после преобразований этими методами подсистемы, зависящие от управления, не отбрасываются). Второй из методов проиллюстрирован ниже на примерах 1.3 и 1.4, а в параграфе 3.6 он обобщается на задачу оптимального управления дискретно-импульсной системой (системой с толчками ).

4) Метод Беллмана, точнее, поиск L -функций среди решений уравнения Гамильтона-Якоби-Беллмана.

Заметим, однако, что в диссертации не исследуются задачи построения оптимального синтеза оптимизация идет в классе программных управлений. В таких задачах оперирования решениями нелинейного уравнения Гамильтона-Якоби рассматриваются как исключительные ( идеальные ) в силу известных трудностей.

Здесь и далее в матричных операциях штрих означает транспонирование.

Глава Бипозиционные решения неравенств Гамильтона-Якоби в классической задаче оптимального управления 1.1 Постановка задачи В этой главе рассматривается следующая задача оптимального управления (задача (P ) ):

Здесь через обозначается любой процесс управляемой системы (S), состоящий из пары функций x(t), u(t) | t, определенных на некотором отрезке времени = [t0, t1 ] (зависящем от ), и таких, что траектория x(·) абсолютно непрерывна, а управление u(·) измеримо и ограничено на, причем соотношения (S) выполнены почти всюду на. Считаем, что dim x = n, dim u = m. Таким образом, любой процесс описывается равенством = x(t), u(t) | t. Далее, через q обозначается концевой вектор, соответствующий любому процессу, т.е. q = q() = t0, x(t0 ); t1, x(t1 ).

Функции f, l и множества U, Q заданы.

Процесс назовем допустимым, если его компоненты удовлетворяют ограничению (1.1). Пусть непустое множество всех допустимых процессов задачи (P ). Ставится задача поиска оптимального процесса на множестве, т.е. пары функций для которой Заметим, что здесь и далее J[ ] = l(), где q = q( ) = t0, x(t0 ); t1, x(t1 ).

Сформулированная задача является общей задачей оптимального управления в форме Майера без поточечных фазовых и смешанных ограничений. Её общность состоит в не разделенной зависимости концевого ограничения (1.1) и целевого функционала (1.2) от начальной и конечной позиции t0, x(t0 ), t1, x(t1 ). Как известно, другие типы задач оптимального управления без поточечных фазовых и смешанных ограничений приводятся к данной стандартной форме путем элементарных приемов. В частности, задача (P ) с фиксированным отрезком времени = [t0, t1 ] получается из (P ) исключением моментов t0, t1 из концевых векторов q ( q = x(t0 ), x(t1 ) ), из аргументов функции l и включением концевого множества Q в пространство R2n = Rn Rn. А задача (P0 ) с фиксированным левым концом x(t0 ) = x0 исключением подвектора начальных позиций q0 = t0, x(t0 ) из q, фиксацией соответствующих аргументов функции l и рассмотрением вместо множества Q его сечения Для ясности мы ограничиваемся задачей на минимум (а не на инфимум) целевого функционала J, хотя многие результаты без труда переносятся и на случай минимизирующих последовательностей { k }. Часть таких ситуаций охватывается соответствующими замечаниями.

Далее, помимо условий глобальной оптимальности исследуемого процесса нас будут интересовать и условия сильного минимума на этом процессе. Для задачи (P ) это понятие формализуется следующим образом [33, 140].

Пусть G открытое множество в пространстве переменных t, x, содержащее график исследуемой траектории x(·). Обозначим через (P (G)) сужение задачи (P ) на множество G, т.е. задачу (P ), дополненную ограничением Тогда процесс доставляет сильный минимум в задаче (P ), если найдется такое открытое множество G R Rn, t, x(t) G t, что глобально оптимальный процесс в задаче (P (G)).

Для задач с фиксированным временем это определение сводится к традиционному понятию сильного минимума в смысле полунормы |||| = ||x(·)||C() = max |x(t)|.

Описанное сужение задачи (P ) и переход к локальной оптимальности оказываются полезными с точки зрения развиваемых методов, поскольку расширяют сферу их применимости. Например, к ним естественно обращаться, если подходящие решения неравенств типа Гамильтона-Якоби не существуют глобально.

Всюду в дальнейшем предполагается, что функции f, l непрерывны, а множества U, Q замкнуты. Эти предварительные предположения будут уточняться по ходу изложения.

1.2 Канонические достаточные условия оптимальности. Сравнение с альтернативными подходами Приведем базовую, прединфинитезимальную версию достаточных условий канонической теории с семейством негладких традиционных L -функций [4, 29, 33, 123, 140, 141]. На этом же уровне общности рассмотрим методологически близкие модификации достаточных условий оптимальности Кротова [37, 136, 136], Каратеодори [114, 117, 144, 150, 152, 153] и проведем их сравнение с K -достаточными условиями. Эти результаты отражены в совместных публикациях [44,46], в которых автор построил и проанализировал соответствующие примеры и контрпримеры.

1.2.1 Базовые K -достаточные условия оптимальности Определение 1.2.1. Множество назовем множеством соединимых точек системы (S).

Очевидно, что имеет место равенство где для краткости принято обозначение min (P ) := min{J[] | } 1.

Пусть = { (t, x) | A} Ls произвольное семейство сильно возрастающих L -функций. Введем множество Ясно, что R E() ; поэтому назовем E() внешней оценкой множества Рассмотрим следующую конечномерную задачу (EP ()), которую будем называть концевой:

Очевидно, что имеет место оценка откуда вытекают достаточные условия глобальной оптимальности канонической теории для задачи (P ).

Теорема 1.2.1. Пусть для процесса существует такое семейство = { (t, x) | A} Ls, что концевой вектор q является точкой глобального минимума в задаче (EP ()). Тогда процесс доставляет глобальный минимум в задаче (P ).

Любое множество функций, удовлетворяющее условиям теоремы 1.2.1 вместе с процессом, будем называть разрешающим для задачи (P ) и процесса (в смысле канонической теории оптимальности) или, кратко, K -разрешающим. Очевидно, что множество является разрешающим для задачи (P ) и тогда и только тогда, когда В дальнейшем используются подобные обозначения для значений других рассматриваемых оптимизационных задач.

Ясно, что множество, разрешающее для некоторого, позволяет установить оптимальность всех глобально оптимальных процессов задачи (P ), и поэтому называется разрешающим ( K -разрешающим) для задачи (P ).

Замечание 1.1. Требование сильного возрастания функций в теореме 1.2.1 можно ослабить, если априори известно некоторое множество W Rn+1, сильно инвариантное для системы (S) [25, 144], или априорно оценивающее траектории системы в расширенном фазовом пространстве.

Это свойство в данном контексте означает выполнение включения В этом случае можно требовать сильной монотонности функций только вдоль траекторий, график которых проходит по W, а в экстремальной задаче (EP ()) добавить ограничения Подобным образом следует поступать и в случае зависимости W от начальной позиции (t0, x0 ). Попутно отметим, что нарушение свойств управляемости системы, как правило, доставляет серьезные трудности для методов кротовского типа.

Для внешних оценок множеств достижимости и соединимых точек управляемых систем могут использоваться дифференциальные неравенства, отличные от Гамильтона-Якоби, например, типа Чаплыгина или Важевского [64, 66]. По отношению к K -достаточным условиям оптимальности они рассматриваются как вспомогательные (экзогенные) для формирования априорных оценок фазовых состояний динамической системы. Их более целенаправленное и систематическое применение к задачам теории управления естественно реализовать в рамках общего метода сравнения (метода вектор-функций Ляпунова) в динамике систем [14, 15, 65, 137]. Ясно, что этот комментарий связан с замечанием 1.1.

Обратим внимание, что неравенства Гамильтона-Якоби для L -функций разрешающего множества носят квазивариационный характер: через концевую задачу (EP ()) неявно задается краевое условие в форме неравенств, обращающихся в равенство в точке. Действительно, мы имеем неравенства на множестве Q, причем в невырожденном случае (см. параграф 1.4) для существенных () = 0. Поэтому точность аппроксимации множества R оценкой E() играет не столь определяющую роль, как может показаться с первого взгляда.

Ключевым моментом канонических условий оптимальности является оперирование семейством = { (t, x) | A} сильно возрастающих L функций, зависящим от некоторого произвольного параметра. Поскольку условие сильной монотонности функций является неявным дифференциальным неравенством в частных производных, то множество A может быть бесконечномерным и состоять из функций, например, задающих начальное (граничное) условие для дифференциального неравенства. Иначе говоря, множество может иметь функциональный произвол. Показательные примеры с таким свойством рассмотрел А. А. Милютин [140, 141] (см. также [4]).

Для дальнейшего анализа задачи (P ) нам важен частный случай, когда в роли параметров выступает начальная позиция (t0, x0 ) или финальная (t1, x1 ), так что множество можно описать равенством вида в котором функция обладает нужным свойством монотонности по основным аргументам (t, x) при фиксированных (t0, x0 ) Q0. Именно эта интерпретация параметра приводит к понятию бипозиционных L -функций, на важность и естественность которых для задачи (P ) было обращено внимание в работах [4, 37]. Однако в данном разделе мы не будем развивать эту тему, оставаясь в рамках традиционных L -функций и их семейств (множеств).

1.2.2 Модифицированные достаточные условия Кротова с множеством L-функций Приведем модификацию условий Кротова [37, 38, 125], использующую произвольное множество L -функций K Ls, и основанную на конструкции укороченного обобщенного лагранжиана задачи (P ).

Рассмотрим семейство (по K ) конечномерных задач (EPK ()) :

где выступает в качестве лагранжиана, а множество E() = E({}) строится по одноэлементному семейству {}. Очевидно, что для любой откуда следует оценка и достаточные условия глобальной оптимальности типа Кротова с множеством L -функций.

Теорема 1.2.2. Пусть для процесса существует такое множество K Ls, что Тогда процесс глобально оптимален в задаче (P ).

Любое множество K, удовлетворяющее теореме, будем называть разрешающим по Кротову.

Поясним, что достаточные условия Кротова в стандартном и наиболее распространенном в приложениях варианте оперируют одной сильно возрастающей функцией, причем следствие монотонности включение q E() не входит в ограничения концевой задачи (EPK ()), и дополнительно требуется постоянство вдоль траектории x(·). Последнее условие автоматически следует из равенства J[ ] = v({}). Следствие монотонности было включено в концевую задачу в работе [29], а впоследствии В.Ф. Кротовым в один из вариантов достаточных условий Кротова (см. [136, теорема 2.7], а также [24]). В обобщенных достаточных условиях Кротова используются также последовательности функций {k } Ls, переход к которым инспирирован стремлением приблизить достаточные условия к необходимым (см. работы Р. Винтера с коллегами [149–151, 153, 154] и обзор в [136]). Отметим, что наиболее общие необходимые условия оптимальности обсуждаемого типа [117, 151] оперируют всем множеством липшицевых (и даже гладких) сильно монотонных L функций (решений соответствующего неравенства Гамильтона-Якоби). Однако они установлены только для задачи (P0 ) с фиксированной начальной позицией (t0, x0 ), причем рассматриваются как обоснование метода проверочных функций Каратеодори (см. следующий раздел). Для задачи (P ) необходимость условий Кротова не установлена2.

Вернемся к связи K -условий с кротовскими.

Предложение 1.2.1. Если множество K разрешающее по Кротову, то оно является разрешающим и в смысле канонической теории.

Доказательство. Из неравенства справедливого в силу включения K Ls, и совпадения допустимых множеств в задачах (EPK ()) и (EP ()), получаем Нетрудно привести примеры, в которых для некоторого множества Ls реализуется строгое неравенство причем множество оказывается разрешающим в смысле K -достаточности. Следовательно, канонические достаточные условия оптимальности являются более тонкими, нежели условия кротовского типа.

Все доказательства этих необходимых условий базируются на построении разрешающей последовательности L -функций как функций Беллмана последовательности задач с оштрафованными терминальными ограничениями задачи (P0 ). Ясно, что этот подход динамического программирования не применим к задаче (P ) без радикальных изменений.

Пример 1.1 ( [29]). x = 0 · u, |u| 1, J[] = x(0)x(1) min. Линейные функции (x) = ±x, очевидно, сильно возрастают (удовлетворяют неравенству h = t 0 и являются первыми интегралами системы). Положим = {1, 2 }. Тогда E() = {(x0, x1 ) | x0 = x1 } и совпадает с множеством точек, соединимых траекториями системы. Из концевой задачи (EP ()) получаем её решение x0 = x1 = 0 и, следовательно,оптимальными оказываются все процессы вида = ( 0, u(·) допустимо) (заметим, что проx извольное допустимое управление экстремально относительно 1 и 2, т.е. любое u(t) arg min{1,2 · 0 · u | |u| 1} ). Таким образом, разрешающее множество в смысле канонической теории (причем для всех модификаций данного примера).

В то же время гладкой функции Кротова в этом примере не существует [29], а если взять K =, то это множество оказывается не разрешающим по Кротову. Действительно, рассмотрим сначала задачу (EPK (1 )) :

Зафиксируем произвольное x0 < 0 и рассмотрим последовательность точек q k = (x0, xk ), где xk = kx0, k > 0. Очевидно, что эти точки допустимы в задаче (EPK (1 )) и Следовательно, inf(EPK (1 )) =. Аналогично обстоит дело с задачей (EPK (2 )), откуда заключаем, что v() = < J[ ] и теорема 1.2.2 не работает.

Для перехода в дальнейшем к бипозиционным L -функциям отметим следующее обстоятельство: если взять нижнюю огибающую K разрешающего множества, т.е. (x) = min{1 (x), 2 (x)} = |x|, то множество E( ) оказывается гораздо шире E(), а не разрешающей. Таким образом, стандартный для задач типа (P0 ) переход от множества разрешающих функций к одной L -функции не работает. Однако если заменить 1, 2 на бипозиционные 1 (x; x0 ) = x x0, 2 (x; x0 ) = x + x (также из Ls ), то множество = {1, 2 } и его нижняя огибающая липшицевая (x; x0 ) = |x x0 |, причем E( ) = E().

Мы видим, что в классе бипозиционных L -функций оказался возможным переход к разрешающей нижней огибающей. Этот факт будет установлен далее в целом для задач типа (P ).

Пример 1.2 ( [38]). x = xu, u [0, 1], x(0), x(1) свободны, J[] = x4 (0) + x4 (1) min. Очевидно, что процесс = ( 0, u 0) являетx ся глобально оптимальным. Неравенство Гамильтона-Якоби для гладких сильно возрастающих L -функций имеет следующий вид:

Таким образом, для L -функций, не зависящих времени, сильное возрастание гарантируется неравенством x x 0. Из функций простой структуры ему удовлетворяет = x2, и мы положим = { = x2 }. Тогда -экстремальное позиционное управление u (x) 0, а в концевой задаче (EP ()) = (EP ()) :

решением является вектор q = (0 = 0, x1 = 0). Тем самым формально с помощью K -достаточных условий установлена глобальная оптимальность = 0.

Рассмотрим теперь кротовскую концевую задачу (EPK ()) :

Покажем, что q не является её решением и, следовательно, = x функция Кротова. Действительно, при достаточно малом > 0 имеются допустимые точки q = (x0 = 2, x1 = ) q = 0, для которых Следовательно, условия теоремы 1.2.2 не выполнены с K = { = x2 }, т.е.

это множество не является разрешающим по Кротову.

Заметим, что эта задача абсолютно вырождена в смысле [4,38] дифференциальная связь в ней не играет роли, и 0 разрешающая функция Кротова и для K -условий. Этот пример показывает, во-первых, что запас возможных K -разрешающих L -функций шире множества разрешающих по Кротову. Во-вторых, минимум в точке здесь пологий порядка = l(q), а не типичного = |q| (порядок минимума здесь понимается в смысле [36,125]), а в таких случаях не тривиальные L -функции простой структуры (квадратичные) не могут быть разрешающими по Кротову.

Пример 1.3 получается из предыдущего заменой функционала на J[] = x(0)x(1). Тогда оценка, порождаемая функцией = x2, оказывается слушком грубой, но пример можно решить K -достаточными условиями, если учесть, что множества W1 = {x 0}, W2 = {x 0} сильно инвариантны, причем функции 1 (x; x0 ) = x x0, 2 (x; x0 ) = x0 x сильно возрастают на W1, W2 соответственно. Поскольку задача рассматривается на W1 W2, то она распадается на две, скажем, (P (W1 )) и (P (W2 )).

Легко убедиться, что бипозиционные функции 1, 2 разрешающие для этих задач. Например, для (P (W1 )) соответствующая концевая задача имеет решение q = (0 = 0, x1 = 0), а 1 -экстремальное управление порождает траекторию x 0 с произвольным допустимым u(·). Тот же результат дает задача (P (W2 )), так что оптимальные процессы исходной задачи получены.

Если этот прием декомпозиции задачи использовать в методе Кротова с функциями 1, 2 в качестве пробных, то мы не достигнем цели концевые вспомогательные задачи не имеют решения (инфимумы в них равны ). Например, для (P (W1 )) задача (EPK (1 )) такова:

Если взять любое x0 (0, 1), а x1 = k > 0, то получим допустимую последовательность, на которой при k +.

Таким образом, с данными 1, 2 метод Кротова не работает, и причина здесь, в общем-то, та же, что и в примере 1.2: на оптимальных процессах задачи реализуется минимум более тонкий ( пологий ), нежели линейные порядки 1,2 = 1,2 0 в задачах (P (W1 )), (P (W2 )) соответственно;

поэтому обобщенный лагранжиан оказывается грубым.

Использованный прием учета инвариантных множеств достаточно специфичен, и гораздо более предпочтительнее другой, более универсальный способ решения этой и других задач с линейным управлением использование нелинейного преобразования Гоха3 [28, 31, 33]. Если ориентироваться на его комбинацию с методом неравенств Гамильтона-Якоби, то необходимо, во-первых, дополнить управляемую систему гоховской фазовой переменной w с элементарной динамикой и, во-вторых, искать далее подходящие L -функции (в данном контексте разрешающие) из условия независимости полной производной в силу дополненной системы от управления. В нашем примере имеем:

и условие независимости дает линейное уравнение в частных производных Его общее решение имеет вид (t, x, w) = S t, (x, w), где первый интеграл характеристического уравнения dx/dw = x, а S(t, y) произвольная гладкая функция.

Заметим, во-первых, что дальнейший ход решения равносилен применению K -условий к преобразованной задаче, которая получается из исходной заменой (x, u) y = (x, w), w, u, и, во-вторых, если S не зависит от t, Обычно это преобразование применяется для расширения задачи путем введения импульсных режимов. Но в задачах с ограниченным множеством U такое расширение не возможно, хотя само преобразование оказывается эффективным, поскольку приводит к новой задаче с элементарной зависимостью от управления.

то указанные тривиально удовлетворяют уравнению Гамильтона-Якоби дополненной системы (являются её первыми интегралами) и, следовательно, сильно возрастают. Из этого множества L -функций, как обычно, сначала попробуем простейшую S(y) = y, т.е. полагаем (x, w) = (x, w).

Соответствующая концевая задача (EP ()) такова:

(последнее ограничение следует из очевидной оценки w(t) [0, t] ). Её решение ( x0 = x1 = w1 = 0 ), как и ранее, задает оптимальные процессы задачи с траекторией x 0, а функция = Пример 1.4. x = 0, y = xu, |u| 1, y(0) = 0, x2 (0) + y 2 (1) 1, J[] = y(1) min.

Расширенный нижний гамильтониан управляемой системы имеет вид Так как фаза y не существенна (не входит в правую часть системы, а целевой функционал линеен по y ), то решения неравенства h 0 естественно искать в виде где функция S подлежит нахождению. Для нее получается дифференциальное неравенство которое является обыкновенным, так как не содержит Sx. Поэтому выгодно перейти к равенству, т.е. к уравнению Гамильтона-Якоби. Интегрируя, получим липшицевую S(t, x) = t|x| и, следовательно, (t, x, y) = t|x| + y, а -экстремальное позиционное управление Положим = {, = x}, где очевидный первый интеграл системы.

Тогда в концевой задаче (EP ()) оптимальны две точки Соответствующие им программные управления находятся с помощью u :

Таким образом, K -условия дают два оптимальных процесса.

Тот же результат можно получить, если вместо рассмотреть множество 1 Ls из двух гладких функций где w гоховская переменная (см. пример 1.3). Введение гоховских переменных часто оказывается эффективным в линейных по управлению системах, обладающих плохими свойствами управляемости [33].

Заметим, что ни одно из семейств, 1 не удовлетворяют модификации достаточных условий оптимальности Кротова даже с учетом замечания 1.1.

1.2.3 Модифицированные достаточные условия Каратеодори Метод проверочных функций Каратеодори [114, 117, 144, 150, 152, 153], как и метод Беллмана, непосредственно не применим к задаче (P ) с общим концевым ограничением. Поэтому рассмотрим более простую задачу (P0 ) с фиксированной начальной позицией (t0, x0 ) :

где целевая функция l непрерывна, а множество Q, задающее терминальное ограничение, замкнуто.

Приведем формулировку модифицированных условий Каратеодори, которая оперирует семейством сильно возрастающих L -функций. Сразу отметим, что на проверочные функции Каратеордори накладывается дополнительное граничное условие Теорема 1.2.3. Пусть для процесса существует такое множество функций C Ls, удовлетворяющих граничному условию (1.3), что Тогда процесс глобально оптимален в задаче (P0 ).

Множество C, удовлетворяющее вместе с процессом условиям теоремы 1.2.3, назовем разрешающим по Каратеодори.

Предложение 1.2.2. Если для допустимого процесса множество C является разрешающим по Каратеодори, то = C является разрешающим множеством в смысле канонического подхода.

Доказательство. При = C из (1.3) и ограничений задачи (EP ()) следует цепочка неравенств откуда Но строгое неравенство здесь невозможно, поскольку q допустимая точка в задаче (EP ()). Следовательно, q доставляет глобальный минимум в задаче (EP ()), и процесс глобально оптимален в соответствии с теоремой 1.2.1.

Таким образом, любое разрешающее по Каратеодори множество является разрешающим в смысле K -достаточных условий оптимальности. Теорема 1.2.1 оставляет больше свободы в выборе подходящих L -функций, поскольку они не обязаны удовлетворять граничному условию (1.3).

Пример 1.5 ( [38]). x = xu + b(t)u, x(0) = 0, u [0, 1], J[] = x3 (1) min, где функция b(t) 0 на [0, 1]. Очевидно, что система имеет сильно инвариантное множество W = {(t, x) | x 0} ; с учетом замечания 1. можно ограничиться рассмотрением функций, сильно возрастающих лишь на W. Тогда для = x имеем и, следовательно, сильно возрастает на W. Положим = { = x}.

Соответствующая задача (EP ()) имеет глобальный минимум в точке x = 0. Следуя канонической теории, заключаем, что = глобально оптимальный процесс. Однако функция = x не удовлетворяет граничному условию (1.3), поэтому она не является проверочной по Каратеодори. Более того, не является и функцией Кротова, потому что точка x = x(1) = 0 не доставляет глобального минимума в задаче (EPK ()) :

В этом примере вырожденная экстремаль, т.е. удовлетворяет принципу максимума Понтрягина в нестрогой форме ( Hu ( ) 0 ). Однако даже наиболее полные квадратичные достаточные условия локальной оптимальности для вырожденных экстремалей [121] не позволяют установить и локальной оптимальности процесса (так как lq () = 0, lqq () = 0, то первая и вторая вариации целевого функционала на равны нулю).

Отметим, что для K -разрешающей функции = x не выполняется традиционная связь x (t, x(t)) = (t) между градиентом разрешающей L -функции и коэкстремалью, т.е. решением сопряженного уравнения из принципа максимума. Это соотношение появляется, если заменить функцию l = x3 на L = x, а целевой функционал J[] на I[] = L(x(1)).

Заметим, что после такой замены процесс становится невырожденной экстремалью Понтрягина.

Примененный здесь прием замены целевого функционала называется переходом к функционалу сравнения. Он эффективно применим к вырожденным задачам управления и предоставляет свободу в задании граничного условия для L -функций. Применительно к задаче (P ) и процессу переход к функционалу сравнения может быть формализован следующим образом.

Функционал I[] = L(q) назовем функционалом сравнения для процесса, если функция L : R2n+2 R удовлетворяет неравенству В этом случае назовем L функцией сравнения для q на множестве Q.

Ясно, что свойство глобальной оптимальности процесса инвариантно по отношению к замене J[] на функционал сравнения для. Однако это не означает эквивалентности задач оптимизации с целевыми функционалами J и I.

1.3 Бипозиционные L -функции и канонические условия оптимальности 1.3.1 Оценки и точное описание интегральных воронок Сначала приведем результаты по оценкам и точному описанию интегральных воронок управляемой системы (S) с использованием произвольных множеств традиционных L -функций, обладающих определенным свойством монотонности. Эти результаты лежат в основе оценок множества соединимых точек системы (S) и условий оптимальности в задаче (P ), речь о которых пойдет далее.

Интегральной воронкой системы (S), выходящей из замкнутого множества X0 в момент времени t0, называют множество Нас будут интересовать внешние, внутренние и точные оценки этого множества.

Пусть G = G[t0,+) = [t0, +) Rn. Для любой L -функции (t, x) и произвольного множества таких функций определим следующие множества в Rn+1 :

Для любого множества E Rn+1 обозначим через E t его сечение по t ; в частности, примем обозначение Справедливы следующие утверждения об оценках и точном описании интегральной воронки.

Лемма 1.3.1. а) Если Ls (G ) и то R(t0, X0 ) E+ ().

то R(t0, X0 ) E ().

Доказательство. Утверждение а) леммы очевидно.

б) Возьмем некоторую функцию и произвольную точку (t, x ) G, для которой (t, x ) 0 (т.е. (t, x ) E() E () ). Тогда из свойства слабого возрастания в обратном времени функции получаем, что Из условия (1.4) заключаем, что существует траектория системы (S), исходящая из множества X0 и достигающая в момент t точки x. Из произвольности выбора (t, x ) следует, что каждая порождает внутреннюю оценку интегральной воронки. Очевидно, что объединение внутренних оценок также является таковой, а значит выполнено включение E () R(t0, X0 ).

в) Точное описание множества R(t0, X0 ) является очевидным следствием первых двух утверждений.

Теоретически идеальное утверждение в) представляется мало эффективным с точки зрения приложений: единственная функция, точно описывающая столь геометрически сложный объект как множество достижимости нелинейной системы, должна обладать существенными особенностями, да и само её нахождение из уравнения Гамильтона-Якоби является проблематичным. Поэтому на первый план выходят внешние и внутренние оценки множества R(t0, X0 ) и оперирование множествами L -функций, предпочтительно гладких.

Из леммы 1.3.1 очевидным образом вытекают оценки множества достижимости системы (S) в заданный момент t1, которое является сечением интегральной воронки R(t0, X0 ) при t = t1 :

Кроме того, на этом пути получаются оценки множества достижимости к заданному моменту времени t1 из (t0, X0 ) а также оценки множества точек x фазового пространства, достижимых к некоторому моменту времени траекториями системы (S), исходящими в момент времени t0 из множества X (это множество совпадает с проекцией интегральной воронки R(t0, X0 ) на фазовое пространство).

Обратимся к аппроксимации интегральной воронки системы (S) в обратном времени и множеств управляемости на заданное замкнутое целевое множество X1 в момент t1 множества и его сечений. Эти оценки получаются аналогично сформулированным путем обращения времени.

Пусть G = G(,t1 ] = (, t1 ] Rn. Для любой L -функции (t, x) и произвольного множества таких функций введем множества Лемма 1.3.2. а) Если L (G ) и то C(t1, X1 ) Z+ ().

1.3.2 Оценки множества соединимых точек Рассмотрим задачу построения оценок множества соединимых точек Покажем, что аппроксимации этого множества могут быть получены из оценок интегральной воронки другой управляемой системы, полученной из (S) несложными преобразованиями.

Через f обозначим множество всех процессов = x(t), u(t) | t = [t0, t1 ] системы (S) (необязательно допустимых в задаче (P ) ). Разобьем изложение на микропункты.

1) Наряду с (S) рассмотрим следующую систему (S ), получающуюся заменой времени (переходом к новому времени ):

В (S ) будем рассматривать процессы со свободным 1 и соответствующие им концевые наборы где t0 = t(0), t1 = t(1 ), y0 = y(0), y1 = y(1 ). Множество всех процессов системы (S ) обозначим через f.

Пусть f. Определим отображение F : f f формулами:

Оно определено однозначно, причем для = F() имеем Легко проверяется, что отображение F обратимо, и причем (t) = t t0, t0 = t(0), t1 = t(1 ).

При отображении F 1 концевые наборы связаны соотношениями если = F 1 ( ), т.е. q фактически совпадает с q без последней компоненты.

Таким образом, на первом шаге система (S) сведена к автономной системе (S ) с фиксированным начальным временем.

2) Пусть R и R множества соединимых точек систем (S) и (S ).

Из предыдущего следует, что они находятся во взаимно однозначном соответствии. Более того, т.е. множество R совпадает с объединением всех сечений множества R при 1 > 0 :

3) Изучение R в исходной системе можно свести к случаю изучения интегральной воронки некоторой системы со специальным начальным множеством C0. Для этого можно рассмотреть систему с начальным условием z(t0 ), x(t0 ) C0 := (z0, x0 ) | z0 = x0. Очевидно, что множество f всех процессов системы (S) и множество допустимых процессов системы (1.5) находятся во взаимно однозначном соответствии, а множество A = t0, z(t1 ); t1, x(t1 ) | z(·), x(·) траектория системы (1.5), совпадает с R (с точностью до обозначений). Однако здесь момент времени t0 нефиксирован.

Аналогичный прием применм и к системе (S ).

4) На этом шаге сведем задачу описания множества соединимых точек R системы (S) к описанию интегральной воронки из начального множества новой системы (S ).

Применяя преобразование из 3), перейдем от системы (S ) к системе (S ) путем введения дополнительных фазовых переменных = t0, z = y уравнениями с начальными условиями Получим систему (S ) :

с фиксированным начальным моментом времени 0 = 0, начальным множеством X0 = (0, z0, t0, y0 ) | 0 = t0, z0 = y0 и свободными 1, t(1 ), (1 ), z(1 ), y(1 ).

Для процессов этой системы вектор подвижных концов траекторий есть где для краткости введен фазовый вектор = (, z, t, y) системы (S ).

Ясно, что вектор q содержит все компоненты q, а также подвектор концевых значений, z.

Рассмотрим сечение при = 1 интегральной воронки системы (S ), выпущенной в момент = 0 из множества X0 :

Из сказанного выше следует, что где справа стоит множество всех точек, достижимых к некоторому моменту времени траекториями системы (S ).

Таким образом, применением леммы 1.3.1 для построения оценок множеств достижимости системы (S ) можно получить оценки множества соединимых точек R системы (S).

Указанная связь множества соединимых точек системы (S) с интегральной воронкой системы (S ) из начального множества X0 = {(t0, x0 ; t0, x0 ) | (t0, x0 ) Rn+1 } вновь приводит к необходимости оперирования бипозиционными L -функциями, зависящими от дополнительных аргументов-параметров (t0, x0 ), роль которых выше играли фазовые переменные, z. Определения бипозиционных L -функций и их применение для оценок множества соединимых точек и в канонических условиях оптимальности даются в следующем пункте Заметим, что аналогичные рассуждения относительно системы (S), рассматриваемой в обратном времени (т.е. относительно системы (S) ), приводят к естественному введению бипозиционных L -функций, зависящих не от начальной позиции (t0, x0 ) системы (S), а от конечной (t1, x1 ).

1.3.3 Необходимые и достаточные условия оптимальности Определение 1.3.1. Непрерывную функцию V (t, x; t0, x0 ) : R2n+2 R назовем б) слабо возрастающей в обратном времени, если (t0, x0 ) Rn+ Подобным образом определяются сильно и слабо убывающие бипозиционные L -функции и бипозиционные L -функции, монотонные в обратном времени. Указанные определения имеют аналоги для функций, дополнительно зависящих не от начальной, а от конечной позиции (t1, x1 ) системы (S). Дальнейшее изложение в основном идет с использованием бипозиционных L -функций V (t, x; t0, x0 ).

Чтобы отличать бипозиционные L -функции от традиционных функций (t, x), для соответствующих семейств бипозиционных L -функций примем следующие понятные обозначения: Vs, Vw, Vs и Vw.

Условия (1.6), (1.7) назовем краевыми условиями наведения. Отметим, что традиционные сильно монотонные L -функции вкладываются в класс бипозиционных по формуле с сохранением типа монотонности. Однако для слабо монотонных функций условие наведения (1.7) довольно жестко, и для построения по традиционной слабо монотонной функции бипозиционной V c таким же свойством монотонности формула (1.8) в общем случае не подходит (один из возможных способов построения бипозиционных слабо монотонных функций по традиционным указан в примере 1.7).

Из определения 1.3.1 очевидным образом следуют инфинитезимальные критерии для бипозиционных функций типа Ляпунова, аналогичные критериям, приведенным во введении.

Представим оценки множества соединимых точек R управляемой системы (S) с использование бипозиционных L -функций. Для этого введем следующие множества:

где V некоторое множество бипозиционных L -функций.

Теорема 1.3.1. а) Если V Vs, то R E+ (V).

Доказательство аналогично лемме 1.3.1.

Дадим некоторые комментарии.

1) Для решения некоторых задач управления достаточно оценивать не всё множество R, а только некоторые его подмножества, например, множество точек, соединимых допустимыми по ограничению q = (t0, x(t0 ); t1, x(t1 )) Q траекториями системы (S), т.е. множество R Q.

Достигается это следующим образом.

Пусть Q0 = prt0 x0 Q проекция множества Q на подпространство переменных t0, x0, т.е.

Тогда в определении 1.3.1 (и соответствующих критериях монотонности) можно ограничиться только точками (t0, x0 ) Q0.

Другое очевидное ослабление связано с учетом возможных сильно инвариантных множеств (см. замечание 1.1): если априори известно множество W Rn+1, по которому проходят все рассматриваемые (например, допустимые по некоторому ограничению) траектории системы, то сильного возрастания функций V V можно требовать только на W, а в оценивающее множество E(V ) добавить ограничения (t0, x0 ) W, (t1, x1 ) W.

2) Отправляясь от описаний множества управляемости системы (S ) (т.е. исходя из теоремы 1.3.2), можно получить аналогичный результат, использующий бипозиционные L -функции, параметрически зависящие от терминального вектора (t1, x1 ). Очевидно, что ответ в такой форме эквивалентен теореме 1.3.1.

3) В первых формулировках достаточных условий канонической теории [29, 33] использовались семейства сильно монотонных L -функций, параметризованные некоторым, вообще говоря, произвольным параметром. Введение в L -функции дополнительных аргументов-параметров можно трактовать как возможную конкретизацию смысла параметра, а бипозиционные функции V (t, x; t0, x0 ) и V (t, x; t1, x1 ) рассматривать как специальный подкласс L -функций, применяемых в каноническом подходе.

Сформулируем один из основных результатов диссертации канонические условия оптимальности с бипозиционными L -функциями для стандартной задачи оптимального управления (P ) с общим ограничением на концы траекторий и целевым функционалом типа Майера:

Напомним, что исследуемый на оптимальность процесс обозначен через Рассмотрим вспомогательную конечномерную задачу (EP (E)) :

где E R2n+2 пока произвольное множество.

Теорема 1.3.2. а) Пусть для процесса существует такое множество V Vs, что Тогда процесс глобально оптимален в задаче (P ).

б) Пусть процесс глобально оптимален в задаче (P ). Тогда для любого множества V Vw выполнено неравенство в) Пусть существует функция V Vs Vw. Тогда для оптимальности процесса необходимо и достаточно выполнение равенства Ясно, что при выполнении достаточного условия оптимальности концевой вектор q = q( ) является решением задачи (EP (E+ (V))), так как он принадлежит допустимому множеству этой задачи. Подобная ситуация имеет место в третьей части теоремы. В случае, если вектор q допустим в задаче (EP (E (V))) из второго утверждения теоремы, то неравенство (1.9) выполняется как равенство и вектор q является решением задачи (EP (E (V))). Таким образом, приведенные условия оптимальности могут формулироваться в терминах оптимальности вектора q в соответствующих концевых задачах.

Утверждение б) теоремы представляет интерес в контрпозитивной форме как достаточное условие неоптимальности.

Следствие 1.3.1. Пусть для процесса найдется такое множество V Vw, что Тогда процесс не оптимален в задаче (P ).

Как и ранее, множество V назовем разрешающим ( K -разрешающим) для процесса и задачи (P ), если оно удовлетворяет утверждению а) теоремы 1.3.2.

1.4 Анализ достаточных условий оптимальности Рассмотрим некоторые свойства разрешающего множества функций.

Следуя [141, с. 117], дадим Определение 1.4.1. Назовем точкой почти глобального минимума в задаче (P ), если J[ ] является изолированной слева точкой множества J[].

Это нестандартный тип минимума, более глубокий, чем сильный, поскольку он не использует какой-либо топологии на множестве допустимых процессов (и лишь частично связан со сходимостью концевых векторов допустимых процессов).

Задачу (P ) назовем вырожденной (в смысле почти глобального минимума в точке ), если вектор q доставляет локальный минимум в следующей задаче:

Ясно, что вырожденные задачи (в данном смысле) не представляют интереса, так как в них дифференциальная связь не играет роли и тривиальная V 0 позволяет установить почти глобальную оптимальность.

А. Пусть V разрешающее множество для, равномерно полунепрерывное снизу в точке q. Если задача (P ) не вырождена, то для любого > 0 множество и, следовательно, выполняется равенство Это утверждение легко доказывается от противного. Оно означает, что для невырожденных задач множество -активных индексов V по ограничению q E+ (V) в концевой задаче (EP (E+ (V))) канонического подхода не пусто для всех достаточно малых > 0. Именно эти почти активные V важны для достаточных условий. Заметим, что Условие (1.10), пожалуй, наиболее полно характеризует возможных кандидатов в элементы разрешающего множества L -функций и порождает следующую серию следствий. Например, справедливо свойство Б. Для любой V V ( ) процесс -оптимален в следующей задаче оптимального управления без концевых ограничений:

т.е. выполняется неравенство Для функций V V0 ( ) (в точности активных) процесс оптимален в задаче (1.12).

В. Пусть {V j } V – последовательность, на которой достигается инфимум в (1.11), и V j суперпозиционно абсолютно непрерывны (например, локально липшицевы). Тогда выполняется предельное соотношение Это означает, что > 0 найдется такая окрестность O() точки q, что неравенство V (q) непосредственно вытекающее из оценки При дифференцируемых и липшицевых V V свойства Б, В позволяют установить связь квазиградиентов функций V V ( ) с решениями сопряженной системы, соответствующими, которые оказываются компонентами экстремалей (точнее, субэкстремалей) управляемой системы [33,141], т.е. части условий из возмущенного принципа максимума Понтрягина для субоптимальных процессов [129, 143].

Г. Нижняя огибающая разрешающего множества V функция сильно возрастает и является разрешающей для задачи (P ) (так как концевые задачи (EP (E+ (V))) и (EP (E(V ))) эквивалентны), причем Эта возможность перехода от разрешающего множества бипозиционных L -функций к одной разрешающей (т.е. к одноэлементному разрешающему множеству) вытекает из свойств А, В. Примечательно, что в классе традиционных L -функций такой переход, вообще говоря, невозможен [4]: нижней огибающей может соответствовать более широкое множество допустимых точек в концевой задаче (EP (E(V ))) (т.е. соответствующая внешняя оценка множества R оказывается более грубой).

Поиск разрешающего множества L -функций может интерпретироваться как конструктивный способ нахождения одной разрешающей V, аналитические свойства которой ухудшаются в сравнении с функциями из разрешающего множества, и её непосредственное нахождение из неравенства (уравнения) Гамильтона-Якоби может оказаться весьма проблематичным. Отметим попутно, что если все функции V V являются гладкими по основным переменных (t, x), то при довольно общих предположениях нижняя огибающая V оказывается локально полувогнутой по этим переменным [113, гл. 3]. Этот класс решений, введенный С.Н. Кружковым, оказался естественным для теории уравнений и неравенств Гамильтона-Якоби (см. также [55, 92]).

Свойства Б, Г позволяют дать ответ на естественный вопрос: как по заданному множеству V Vs и найденному множеству Q = {q } глобальных решений концевой задачи (EP (E+ (V))) построить управления, траектории которых соединяют хотя бы некоторые точки из Q, или же убедиться, что таких управлений нет, т.е. V не разрешающее множество.

Этот вопрос не возникает, если достаточные условия оптимальности теоремы 1.3.2 используется как проверочное при априори известном, но он выходит на передний план, если каноническую теорию рассматривать как метод решения задачи. (Дополнительная неопределенность и сложность здесь возникают, поскольку в силу свойства Б каждая -активная V порождает своё синтезирующее управление и конструкция результирующего неочевидна.) В сущности, построение оптимальных процессов по V (точнее, по V ) следует схеме, приведенной во введении.

1.5 Условия оптимальности с бипозиционными L -функциями в неклассической линейноквадратичной задаче оптимального управления Рассмотрим следующую линейно-квадратичную задачу оптимального управления (LQP ) :

где, линейно-квадратичные функции вида (t, x, u) = x P (t)x + 2u Q(t)x + u R(t)u + 2p (t)x + 2r (t)u, все матричные функции непрерывны на отрезке = [t0, t1 ], причем P, R, D симметричны и R(t) положительно определена От классической линейно-квадратичной задачи построения оптимального регулятора [62, 120] задача (LQP ) отличается общей зависимостью формы от x0, x1 и присутствием линейных слагаемых в,. Эти особенности делают не применимым метод динамического программирования в традиционном варианте и порождают новые свойства оптимальных решений. Например, в [145] рассматривалась автономная задача оптимального синтеза с формой, не зависящей от x0 при P 0, Q 0, D 0, и оптимальное позиционное управления в действительности оказалось программным (не зависящим от t0, x0 ), а функция Беллмана линейной по x0 (по текущему x ). В рассматриваемой задаче со свободными x0, x1 сама постановка вопроса об оптимальном синтезе нуждается в уточнении.

Перепишем задачу (LQP ) в форме Майера (далее речь будет идти именно о ней):

Здесь = (x, y, u) процесс системы (1.13), (1.14), а концевой вектор, отвечающий.

В этой задаче отсутствуют какие-либо ограничения (за исключением несущественного начального условия для y ), поэтому все процессы системы (1.13), (1.14) допустимы.

Покажем, как задачу (LQP ) можно исследовать с применением одной бипозиционной линейно-квадратичной сильно возрастающей L -функции Для краткости будем опускать аргумент (t) у функций, характеризующих задачу (LQP ).

вида Здесь S(t) = Sij (t) 2n2n симметричная матричная функция с nn блоками Sij, i, j = 1, 2, n -мерные вектор-функции w1, w0 и функция c непрерывно дифференцируемы, функция v(x0 ) включена для учета краевого условия наведения из определения 1.3.1 бипозиционных L -функций.

Для конкретизации функций S, w1, w0, c, подставим функцию V в неравенство Гамильтона-Якоби (2) для гладких сильно возрастающих L функций. Для этого вычислим нижний гамильтониан h, откуда определится V -экстремальное управление Неравенство Гамильтона-Якоби (2) принимает следующий вид:

Будем выбирать искомые функции так, чтобы занулить каждое из шести слагаемых в левой части неравенства (1.17), т.е. потребуем, чтобы V удовлетворяла уравнению Гамильтона-Якоби (равенству в (1.17)). Придем к следующей системе дифференциальных уравнений на отрезке :

с граничными условиями Отметим, что уравнение (1.18) является матричным уравнением Риккати, решение которого может не существовать на всем отрезке, но мы предположим, что оно существует на ; тогда остальные линейные уравнения имеют решения на, а функция V удовлетворяет уравнению Гамильтона-Якоби и начальному условию V (t0, x0, y0 ; x0 ) = 0. Следовательно, она является бипозиционной сильно возрастающей L -функцией.

Установим свойства функции V.

Предложение 1.5.1. а) Если процесс = (x, y, u) порожден V -экстремальным управлением (1.16), т.е. удовлетворяет равенству то V t, x(t), y(t); x(t0 ) 0 на.

б) Если процесс не порожден V -экстремальным управлением, т.е.

не удовлетворяет условию (1.19), то V t, x(t), y(t); x(t0 ) 0 на и V t1, x(t1 ), y(t1 ); x(t0 ) > 0.

Доказательство. а) Утверждение следует из равенства справедливого в силу того, что функция V удовлетворяет уравнению Гамильтона-Якоби, а V -экстремальное управление доставляет строгий глобальный минимум по u функции H t, x, Vx (t, x; x0 ), u во всех точках (t, x, x0 ).

б) Если процесс не порожден V -экстремальным управлением, то найдется интервал (a, b), на котором равенство (1.19) нарушается, а тогда dt V t, x(t), y(t); x(t0 ) > 0 на (a, b).

Из предложения 1.5.1 и вида функции V (см. граничные условия в (1.15) и определение функции v(x0 ) ) следует, что для любого процесса выполняется неравенство J[] = l(q) = V t1, x(t1 ), y(t1 ); x(t0 ) + v x(t0 ) v x(t0 ) inf v(x0 ).

Отсюда вытекает, что если функция v достигает своего минимума в некоторой точке x0 Rn, а процесс порожден V -экстремальным управлением (1.16) и удовлетворяет начальному условию x(t0 ) = x0, то т.е.

глобально оптимальный процесс. Таким образом, вопрос отыскания оптимальных процессов в задаче (LQP ) сводится к нахождению точек минимума функции Лемма 1.5.1. а) Функция v(x0 ) имеет единственную точку минимума жительно определена.

б) Функция v(x0 ) имеет множество точек минимума жительно полуопределена и Из рассуждений, приведенных выше, и леммы 1.5.1 вытекают следующие достаточные условия оптимальности в задаче (LQP ).

Теорема 1.5.1. Пусть выполнены следующие условия:

а) существует гладкая симметричная матричная функция S11 (t), удовлетворяющая на матричному уравнению Риккати (1.18) с граничным условием S11 (t1 ) = D11 ;

б) квадратичная форма x0 ( Sij (t0 ))x0 положительно определена.

Тогда существует единственный оптимальный процесс, порожденный V -экстремальным управлением (1.16) и начальным условием x(t0 ) = x0, где вектор x0 определен формулой (1.20), а значение задачи (LQP ) удовлетворяет равенству Теорема 1.5.2. Пусть выполнены следующие условия:

а) существует гладкая симметричная матричная функция S11 (t), удовлетворяющая на матричному уравнению Риккати (1.18) с граничным условием S11 (t1 ) = D11 ;

б) квадратичная форма x0 ( Sij (t0 ))x0 положительно полуопределена и выполнено условие (1.22).

Тогда существует множество оптимальных процессов, порожденных V -экстремальным управлением (1.16) и начальным условием x(t0 ) = x0, где вектор x0 определяется формулой (1.21), а значение задачи (LQP ) удовлетворяет равенству Приведенные достаточные условия оптимальности теорем 1.5.1, 1.5. могут показаться жесткими, однако дальнейший анализ показывает, что в предположении полной управляемости системы (1.13) они становятся и необходимыми. Для обоснования этого факта используются результаты из [62, 120, 145].

1.6 Производящие функции и нестандартная двойственность Расширение множества функций типа Ляпунова до бипозиционных не является единственно возможным из потенциально эффективных и заслуживающих исследования. В работах [47, 50] В.А. Дыхта предложил использовать так называемые производящие функции типа S(t, x, ), зависящие от траекторий сопряженной системы6, как для развития канонического подхода, так и построения обобщенных лагранжианов задачи с последующим переходом к соответствующей задаче сравнения (аналога двойственной).

Применительно к стандартной задаче (P ) модифицированный лагранжиан с производящей гладкой функцией S определяется (по аналогии с кротовским и Каратеодори [114]) равенством а задача сравнения формируется следующим образом:

Здесь S означает полную производную по времени в силу канонической системы с функцией Понтрягина тройку функций x(t), (t), u(t) | t, связанных на отрезке системой (1.24) и ограничением u(t) U, множество всех таких троек с соответствующими краевыми условиями.

Термин производящие заимствован из классической механики [5, 20], в которой такие функции применялись для интегрирования методом Якоби канонических (гамильтоновых) систем и уравнений Гамильтона-Якоби. В [47, 50] они назывались потенциалами.

В идеале при выполнении условия максимума переход к задаче (1.23) соответствовал бы поиску решения задачи (P ) среди экстремалей Понтрягина, но его достижение проблематично в силу известных трудностей (они тесно связаны с реализацией метода характеристик для негладкого управления Гамильтона-Якоби-Беллмана). Поэтому при выбранной функции S в задаче сравнения используется S экстремальное бипозиционое управление u (t, x, ), которое находится из условия Что касается принципиального вопроса выбора S, то пока накопленный опыт позволяет выделить следующие варианты7 :

а) билинейный S(t, x, ) = · x, при котором функционал K оказывается стандартным лагранжианом [1, 55], но с варьируемой (·) ;

б) линейно-квадратичный по (x, ) ;

в) выбор S из условия независимости L = S от x или от ;

г) суперпозицию с групповыми инвариантами системы (1.24) (например, в случае так называемых L -систем [101], или линейных по управления систем с условиями Фробениуса как в условиях применимости нелинейного преобразования Гоха).

Ниже мы иллюстрируем метод производящих функций на примере автора из [50] (в пункте 2.6.3 будет рассмотрена в общем плане двухэтапная задача оптимального управления в билинейной системе, а в пункте 3.5. задача дискретного оптимального управления).

Пример 1.6. x = (x 1)u, u [0, 1], x(0) = 0, J = x3 (1) min.

Помимо работы [47] используется пленарный доклад В.А. Дыхты Нестандартная двойственность в оптимальном управлении, сделанный на XV Байкальской международной школе-семинаре Методы оптимизации и их приложения, пос. Листвянка, оз. Байкал, 23–29 июня 2011 г.

Условия принципа максимума Понтрягина таковы: H = (x 1)u, (последнее эквивалентно условию Hu (x, )u max; u [0, 1] ).

Во-первых, заметим, что Hu 0, то есть S 1 (x, ) = (1 x) первый интеграл канонической системы, линейный по (это признак принадлежности уравнения динамики к L -системам [101]). Он удовлетворяет условию сильного возрастания Однако это неравенство имеет еще два решения: S 2 (x) = x, S 3 () =.

Далее, естественное использование S 1 для упрощения принципа максимума Понтрягина, описанное в [101], предписывает заменить условие максимума из (1.25) на следующее: cu max ; u [0, 1], т.е. u sign c, где константа c зависит от искомой траектории (x, ) через равенство S 1 = c.

Возникает необходимость перебора вариантов значений c при выполнении условий (неравенство дает функция S 2 ). Отсюда c 0 и возможны два случая:

биэкстремаль задачи;

Поскольку задача невыпуклая, то это все, что дает принцип максимума.

Так как оптимальное управление в задаче существует, то очевидно, что u решение задачи. Однако интересно, что дают формальные методы без привлечения теоремы существования.

Покажем, что особое управление u не оптимально (заметим, что все локальные условия оптимальности оказываются не эффективными в силу глубокого вырождения этой экстремали). Воспользуемся конструкцией улучшения управления из [36, 38]: так как S 2 слабо (и сильно) возрастает, то для любой траектории x(·) с u / 0 выполняется неравенство x(1) J(u ) = x(1) < 0 и, следовательно, x3 (1) J(u ) < 0, что и требовалось.

Установим теперь оптимальность u 1, пользуясь K -достаточными условиями. Потенциал S порождает (из равенства Sx = = c/(x 1) ) функцию где (t) > 0 произвольная гладкая функция. Для нее уравнение Гамильтона-Якоби имеет вид если выбрать (t) = (0)et, (0) > 0. При этой функция S сильно возрастает. Положим = {S} и рассмотрим соответствующую концевую задачу (EP ()) из K -достаточных условий:

Очевдно, что x(1) = 1 e управления u.

1.7 Примеры Сначала вернемся к примеру 1.4 из п. 1.2.2.

Пример 1.7. x = 0, y = xu, |u| 1, y(0) = 0, x2 (0) + y 2 (1) 1, J[] = y(1) min. Посмотрим, что дают в этом примере необходимые условия оптимальности канонической теории.

Напомним, что расширенный нижний гамильтониан управляемой системы имеет вид Очевидно, что и, следовательно, все решения линейного уравнения слабо убывают в обратном времени. Данное уравнение имеет два независимых инварианта 1 = x, 2 = tx + y, с помощью которых построим функцию удовлетворяющую краевому условию наведения.

Соответствующая V концевая задача (EP (E (V ))) сводится к следующей:

Её решением является вектор q = x = 2/2, y0 = 0, x = 2/2, y1 = 2/2, откуда можно сделать вывод, что Следовательно, не оптимальны все процессы со значением целевого функционала больше 2/2. Как мы знаем (см. пример 1.4), эта оценка является точной, так как min(P ) = 2/2, а q концевой вектор одного из оптимальных процессов задачи. Заметим, что V -экстремальное управление uV (t, y; x0 ) = sign {2x0 (x0 t + y)} порождает соответствующее программное управление u 1.

Отметим, что из оценки оператора Гамильтона-Якоби можно найти функцию применение которой также приводит к точной оценке значения задачи (P ), а решение соответствующей концевой задачи и V -экстремальное управление ко второму из оптимальных процессов.

Пример 1.8. Рассмотрим следующую линейно-квадратичную задачу оптимального управления со свободными концами траекторий:

сначала без ограничений на управление (классический вариант). Заметим, что концевая форма здесь знакопеременная, так что нулевой процесс не обязательно оптимален. Перепишем задачу в форме Майера:

Будем искать разрешающую функцию в виде где 2 2 симметричная матричная функция S(t) = Sij (t) непрерывно дифференцируема и функция v(x0 ) непрерывна.

Во-первых, V -экстремальное бипозиционное управление (1.16) определяется равенством а дифференциальная система типа Риккати из параграфа 1.5 имеет вид Её решение приводит к бипозиционной L -функции Ясно, что эта функция не сводится к традиционной.

Применение теорем 1.5.1 и 1.5.2 приводит к следующим выводам:

1. Если T < 2, то min(EP (E+ (V ))) = 0 и глобально оптимальным является единственный процесс = 0.

2. Если T = 2, то min(EP (E+ (V ))) = 0 и существует бесконечное множество оптимальных процессов (x0 ) : u(t, x0 ) x0, x(t, x0 ) = x0 (1 t), y (t, x0 ) = x2 t, x0 R, полученных с помощью V экстремального управления (1.26).

3. При T > 2 inf(EP (E+ (V ))) =, и оптимального процесса не существует. Для этого достаточно рассмотреть минимизирующую последовательность процессов { k } : uk (t) = k, xk (t) = kt kT /2, y k (t) = Очевидно, что нулевой экстремали соответствует сопряженная точка T = 2 [21, 52, 56, 138, 142], на которую (по аналогии со случаем фиксированного x0 ) указывает неограниченность значения исходной задачи при T > 2. Мы получили этот вывод автоматически в процессе решения задачи, без специальных критериев проверки условия Якоби отсутствия сопряженных точек для фиксированной экстремали. (Впрочем, для задач со свободным x0 такие критерии нам не известны.) Модифицируем пример, введя ограничение на управление |u(t)| 1.

Ясно, что при T < 2 процесс = 0 останется глобально оптимальным, а при T = 2 оптимальными будут процессы (x0 ) с x0 [1, 1] (остальные процессы серии (x0 ) не допустимы).

Пусть теперь T > 2. Отметим, что теперь а минимизирующее H управление имеет вид Во-первых, возьмем четыре линейные сильно возрастающие L -функции дающие точное априорное описание множества достижимых точек каждого из уравнений управляемой системы. Далее, возьмем семейство (по ) сильно возрастающих L -функций, линейных по фазам:

Поскольку все L -функции линейны, то применяются достаточные условия, близкие к принципу максимума Понтрягина. Отметим, что конструкция функций V использует прием нормировки L -функций (см. введение, а также [38, 136]).

Чтобы не иметь в концевой задаче бесконечного числа ограничений, от семейства L -функций {V | || 2} перейдем к его нижней огибающей к функции Множество функций V i, i = 1, 5, обозначим через V и рассмотрим соответствующую концевую задачу (EP (E+ (V))) :

Эта задача имеет два решения, через которые с помощью V -экстремального бипозиционного управления определяются глобально оптимальные процессы Заметим, что функции V представимы в виде разности (t, x, y) (t0, x0, y0 ), т.е. порождены традиционными, однако, их нижняя огибающая V этим свойством не обладает.

При исследовании случая T > 2 можно использовать и другое семейство L -функций (вместо V ):

дополненное априорными оценками.

Глава Канонические условия оптимальности в задачах управления дискретнонепрерывными системами В этой главе канонические условия оптимальности с бипозиционными L функциями обобщаются на задачи управления дискретно-непрерывными системами и устанавливается их связь с гибридной версией принципа максимума Понтрягина.

Результаты главы опубликованы в работах [45, 48, 76–78, 82–85, 89].

2.1 Постановка задачи Будем рассматривать следующую задачу (Ph ) оптимального управления дискретно-непрерывной (гибридной) системой с общим концевым ограничением на траектории подсистем:

Здесь моменты времени a b, = 1,..., N не фиксированы, отрезки времени расположены произвольно на числовой прямой R, размерности x, u равны n, m соответственно, q = {q 1,..., q N } концевой мультивектор, составленный из концевых векторов подсистем произвольны, скалярная функция l и вектор-функции f непрерывны.

Определение 2.1.1. Процессом -ой управляемой подсистемы из (2.1) назовем любую пару функций = (x (t), u (t) | t ), состоящую из измеримого ограниченного управления u (·) и абсолютно непрерывной траектории x (·), определенных на отрезке времени (зависящем от ) и удовлетворяющих почти всюду на нем системе (2.1). Множество всех процессов -ой подсистемы обозначим через.

Определение 2.1.2. Набор процессов подсистем назовем мультипроцессом гибридной системы (2.1), а наборы функций x(·) = x1 (·),..., xN (·) и u(·) = u1 (·),..., uN (·) мультитраекторией и мультиуправлением, или траекторией и управлением гибридной системы соответственно.

Определение 2.1.3. Мультипроцесс назовем допустимым в задаче (Ph ), если для него выполнено общее концевое ограничение (2.2). Совокупность допустимых мультипроцессов задачи (Ph ) обозначим через.

Фиксированный мультипроцесс будет исследоваться как на глобальный, так и на сильный минимум. Сильный минимум определим следующим образом.

Определение 2.1.4. Мультипроцесс доставляет сильный минимум в задаче (Ph ), если для каждого найдется такое открытое множество G R Rn, содержащее график траектории x (·), что мультипроцесс глобально оптимален в задаче (Ph ), дополненной ограничениями Условия (2.3) задают сужение (Ph (G)) задачи (Ph ) на множество G := G · · · GN. Сужение допустимого множества на G обозначим через (G).