2300
УДК 517.977.5
РАЗРЫВНЫЕ РЕШЕНИЯ ЗАДАЧ
ОПТИМАЛЬНОГО УПРАВЛЕНИЯ.
ИТЕРАЦИОННЫЙ МЕТОД ОПТИМИЗАЦИИ
В.Ф. Кротов
Институт проблем управления им. В.А. Трапезникова РАН
Россия, 117997, Москва, Профсоюзная ул., 65
E-mail: [email protected] О.В. Моржин Институт проблем управления им. В.А. Трапезникова РАН Россия, 117997, Москва, Профсоюзная ул., 65 E-mail: [email protected] Е.А. Трушкова Институт проблем управления им. В.А. Трапезникова РАН Россия, 117997, Москва, Профсоюзная ул., E-mail: [email protected] Ключевые слова: динамические системы, оптимальное управление, обобщенные решения, итерационный метод Аннотация: Доклад посвящен итеративному методу построения обобщенных решений задач оптимального управления дифференциальными системами с линейным неограниченным управлением, в частности, для билинейных систем. Такие задачи характеризуются отсутствием минимума (максимума) на ординарном классе допустимых процессов (непрерывные траектории, кусочно-непрерывные управления) и достижением его на некотором замыкании этого класса, включающем процессы с разрывными траекториями.
1. Введение Рассматриваются задачи оптимального управления динамическими системами, описываемыми обыкновенными дифференциальными уравнениями, вообще нелинейными, но линейными по управлению, при отсутствии ограничений на последние. В таких задачах, важных для практики, характерно отсутствие минимума (максимума) на традиционном классе допустимых процессов (непрерывные траектории, кусочно– непрерывные управления) и достижение его на некотором замыкании этого класса, включающем процессы с разрывными траекториями, которым соответствуют бесконечные управления на бесконечно малых отрезках времени (импульсы, быстрое движение ). Имеются и другие особые свойства подобных оптимальных процессов:
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ- Москва 16-19 июня 2014 г непрерывные участки траекторий суть так называемые особые решения уравнений принципа максимума Понтрягина; имеют место скрытые управления и пониженный порядок уравнений динамической системы, вырожденность задачи. Все эти особенности выявились уже в соответствующей задаче Эйлера вариационного исчисления и сводящихся к ней прикладных задачах [1]. В монографиях [2–5] был предложен аппарат исследования подобных задач, адекватный указанным особенностям, а в книгах [6,7] описаны необходимые условия оптимальности типа принципа максимума Понтрягина для таких систем. В монографии [8] подобные системы рассматриваются в контексте дискретно–непрерывных систем, описываемых дифференциальными уравнениями с мерами. При исследовании сложных задач оптимального управления достаточно высокого порядка непосредственное решение уравнений принципа максимума затруднительно, и используются прямые итеративные методы оптимизации путем последовательного улучшения управляемого процесса. Такой метод разработан в статье [9] и представляет собой соответствующее обобщение нелокального (глобального) метода последовательного улучшения управления [10, 11]. Метод описывается применительно к общей постановке задачи, затем детализируется применительно к билинейной задаче и иллюстрируется сравнительными численными экспериментами на простейшей задаче управления спином квантовой частицы. Такие эксперименты, в частности, позволяют оценить конечные значения ограничений на управления, при которых они могут не учитываться в итерациях, а полученное разрывное решение (последняя итерация) аппроксимироваться граничными значениями управления согласно указанной в статье простой процедуре. Дело в том, что каждая итерация разрывного решения нагляднее, существенно проще, чем в задаче с ограничениями, дает больший сдвиг значения минимизируемого функционала, и, соответственно, общее число итераций оказывается меньше.2. Постановка задачи Рассматривается нелинейная задача оптимального управления:
I(m) = F (x(T )) inf, (1) x(t) = g(t, x(t)) + h(t, x(t))u(t), x(0) = x0, x Rn, u R, t [0, T ], (2) где x(t) непрерывная кусочно–дифференцируемая функция; управление u(t) скалярная кусочно–непрерывная функция. Заданы непрерывно–дифференцируемые функции F (x), g(t, x), h(t, x), начальное состояние x0 и момент T. Обозначим через D множество допустимых процессов m = (x(t), u(t)). Будем полагать: inf I(m) >.
D В рамках оптимизационной задачи (1), (2) вводится в рассмотрение задача улучшения [2, 3]: задан процесс m0 = (x0 (t), u0 (t)) D; требуется найти процесс m D, на котором I(m) < I(m0 ). Последовательное повторение операции улучшения представляет собой итерационный метод решения задачи (1), (2) в виде соответствующей последовательности процессов ms = (xs (·), us (·)), I(ms ) min I(m).
D Для задачи (1), (2) характерно отсутствие минимума функционала I, поэтому обобщим ее, введя в рассмотрение, подобно [1, 2], разрывы траектории x(t). Рассмотрим решения (, t, x) системы d = h(t, ), (0, t, x) = x, R, (3) d
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
с параметрами t, x, а также соответствующую линию (t, x) = {(, t, x) | R} в пространстве Rn и при заданных значениях (t) R ее куски ( (t), t, x) = {(, t, x) | [0, (t)]}, если (t) 0, и ( (t), t, x) = {(, t, x) | [ (t), 0]}, если (t) < 0. Пусть пара функций (x(t), u(t)) удовлетворяет условиям класса D, кроме непрерывности траектории x(t) в точке t =, где допускается разрыв 1-го рода. Такие разрывы будем считать допустимыми, если x(+) (, x()), т. е. существует = (): ( (),, x()) = x(+). Расширим класс D допустимых процессов до класса E пар m = (x(·), u(·)) с конечным числом допустимых разрывов на отрезке [0, T ].Отметим, что в силу граничных условий разрывы при t = 0 и t = T имеют место как правило, тогда как разрывы на интервале (0, T ) всего лишь возможны. Далее будем рассматривать процессы, допускающие разрывы лишь в граничных точках t = 0 и t = T. Разрывная траектория процесса m E строится следующим образом. Задаем значение (0) и, интегрируя (3) при t = 0, x = x0, находим траекторию ( (0), 0, x0 ) мгновенного скачка из состояния x0 в состояние x(0+) = ( (0), 0, x0 ).
Далее движение реализуется заданной программой u(t) в силу уравнения (2). При t = T задаем значение (T ) и строим траекторию ( (T ), T, x(T )) мгновенного скачка из состояния x(T ) в состояние x(T ) = ( (T ), T, x(T )). Для последующего получения допустимого процесса исходной задачи (1), (2) эти траектории аппроксимируются достаточно большими значениями управления u(t) в малой окрестности значений t = 0 и t = T соответственно (см. ниже). Величины (0) и (T ) играют роль управляющих параметров. Обобщенное управление – набор такое управление будем называть импульсным.
Таким образом, каждому обобщенному управлению соответствует обобщенная траектория x(t), разрывная по t в точках t = 0 и t = T и представляющая собой
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
непрерывную кривую в Rn, склеенную из кусков линий (0, x0 ), (T, x(T )) и x(t), t (0, T ) (рис. 1,а):Уточним схему построения кривой (t, x). Система (3) интегрируется дважды:
сначала на промежутке < 0. В результате получаем две ветви кривой (t, x), как показано на рис. 1. Причем кривая (t, x) может получиться незамкнутой (рис. 1,б) и замкнутой (рис. 1,в). При этом ( (0), 0, x(0+)) и ( (T ), T, x(T )) это точки на кривых (0, x0 ) и (T, x(T )). Задав значение (0), получаем участок кривой (0, x0 ) от точки x0 до ( (0), 0, x(0+)), т. е. линию ( (0), 0, x(0)). Аналогично, определив (T ), получаем ( (T ), T, x(T )). При этом значения sign( (0)) и sign( (T )) определяют направления движения по кривым (0, x0 ) и (T, x(T )) соответственно. В случае замкнутой кривой (0, x), проиллюстрированной на рис. 1,в, в заданную точку можно прийти двояко, выбрав то или иное направление.
Далее под E будем понимать множество обобщенных процессов удовлетворяющих описанным выше условиям. На введенном множестве E рассмотрим задачу минимизации: J(m) = F (x(T )) min.
Суммируя вышеизложенное, обобщенную задачу оптимального управления для случая разрывов в точках t = 0 и t = T можно записать в следующем виде:
(4) (5) (6) (7) Теорема 1. Класс процессов E, допускающих разрывы в точках t = 0 и t = T, есть замыкание класса D в следующем смысле: для любого процесса существует последовательность {ms = (xs (t), us (t))} D такая, что Доказательство теоремы 1 представлено в статье [9].
Обозначенные выше понятия проиллюстрируем на простом примере.
Пример 1. Рассматривается задача Если a = 0, то, очевидно, при любом управлении получаем траекторию x = 0, а значение функционала I равно нулю.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
При a > 0 получаем улучшение начального приближения u0 (t) 0, t [0, T ], дающего значение I(x0, u0 ) = 0:
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
Учитывая, что lim t() = 0, полагаем |u| =, = signu, > 0 и делим оба дифференциальных уравнения на u = 0. В результате получаем предельную систему где и – новые переменные; параметр (0) > 0. Решаем предельную систему:Здесь считаем, что [0, /2]. Предельная система позволяет обобщить исходную задача оптимального управления: рассматриваем импульсное управление, разрывную траекторию x(t), где x(0) = x(0) = (a, 0)T, но x(0+) = (0, a)T.
Рис. 3 иллюстрирует получение непрерывной обобщенной траектории.
По аналогии с достаточными условиями оптимальности [2, 3] далее формилируется теорема об условиях оптимальности для обобщенной постановки (4)–(7), допускающей импульсные управления.
Введем в рассмотрение функционал где функция (t, x) непрерывно-дифференцируемая, причем класс таких функций обозначим через. Обозначив через перепишем функционал L в виде Функционал L является обобщенным лагранжианом для обобщенной задачи (4)–(7).
Теорема 2 (достаточные условия оптимальности). Пусть существуют функция (t, x) и процесс m = ((t), u(t), (0), (T )) E, удовлетворяющие следуюx щим условиям:
1) G((T ), x(T )) = min G(, x);
3) R(t, x(t), u(t)) = max R(t, x, u).
Тогда m есть минималь функционала J на E: J(m) = min J(m).
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
Доказательство. Для рассматриваемого класса функций справедливо равенство L(m) = J(m) для всех m E. Действительно, пусть m = (x(t), u(t), (0), (T )) E; тогда в силу (6) имеем Подставляя эту функцию в выражение для обобщенного лагранжиана и интегрируя, получим = F (x(T )) + (T, x(T )) (T, x(T )) + (0, x(0+)) (0, x(0+)) = J(m).Далее, для любого допустимого процесса m E и процесса m, удовлетворяющего всем условиям теоремы, можем записать что влечет за собой справедливость равенства J(m) = min J(m). Теорема доказана.
Замечание 1. Необходимые условия для выполнения соотношений пп. 1) – 3) теоремы 2 имеют вид: x (t, x(t)) = (t), где (t) есть решение задачи Коши (8) Здесь через W (, x) обозначена n n–матрица частных производных решения систеn По аналогии с задачей улучшения для (1), (2) формулируется задача улучшения для обобщенной постановки (4)–(7): задан процесс m0 E; требуется получить процесс m E такой, что J(m) < J(m0 ). На эту задачу здесь доопределяется метод глобального улучшения, предложенный и исследованный в [10, 11].
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
Процедура улучшения.0. Задаем обобщенное управление (u0 (t), 0 (0), 0 (T )), т. е. пару чисел 0 (0), 0 (T ) и кусочно-непрерывную функцию u0 (t). Находим соответствующую траекторию x0 (t), как описано выше, с помощью последовательного интегрирования слева направо : задачи Коши (3) при t = 0, x = x0, [0, 0 (0)], если 0 (0) > 0, и [ 0 (0), 0] в противном случае; системы (6) при x(0+) = ( 0 (0), 0, x0 ); задачи Коши (3) при t = T, x = x0 (T ), [0, 0 (T )], если 0 (T ) > 0, и [ 0 (T ), 0] в противном случае. Вычисляем значение функционала F (x0 (T )) = F (( 0 (T ), T, x0 (T ))).
1. Находим функцию (t, x), (9) Последние соотношения можно переписать в виде При любых заданных (t, x) 0 и (x) 0 эта задача Коши для линейного уравнения в частных производных, интегрируемая справа налево (в направлении от T к 0), дает искомую функцию (t, x). В то же время необходимые условия для (9) совпадают с соотношениями (8), если в последних заменить процесс m на m0, и представляют собой уже задачу Коши для обыкновенного дифференциального уравнения для поиска (t, x).
2. Построение улучшенного режима проводим слева-направо последовательно для t = 0, t (0, T ) и t = T. А именно, разрывная трактория допустимого процесса строится следующим образом:
1) интегрируем уравнение (3) при t = 0, x = x0 и находим значение (0) из условия (10) 2) находим решение x(t) задачи Коши x(t) = g (t, x(t)) + h (t, x(t)) u(t, x(t)), где (11) в предположении, что знаменатель не обращается в нуль (вопрос об отличии от нуля знаменателя требует дополнительного исследования);
3) интегрируем уравнение (3) при t = T, x = x(T ) и находим значение (T ) из условия (12) 4) вычисляем новое значение функционала F (x(T )) = F (( (T ), T, x(T ))).
Справедлива следующая
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
Теорема 3. Описанная выше процедура гарантирует выполнение неравенства J(m) J(m0 ). При этом если выполняется хотя бы одно из следующих неравенств:то справедливо строгое неравенство J(m) < J(m0 ).
Доказательство теоремы 3 приведено в статье [9].
Замечание 2. В (10) и (12) имеются в виду множества глобальных минимумов функций G0 ( ) и G(, x(T )) соответственно.
Замечание 3. Возможна ситуация, когда предельная система имеет периодическое решение (циклические режимы), что позволяет ограничить значения соответствующим периодом. Тем самым существенно упрощается минимизация по в (10) и (12).
Замечание 3. Для исходной задачи (1),(2) в классе D было показано [10], что процесс, удовлетворяющий принципу максимума Понтрягина, не улучшаем представленным алгоритмом. В данном случае для обобщенной задачи это не всегда так, потому что строгое выполнение первого или третьего из неравенств теоремы 3 также соответствует улучшению процесса.
Рассмотрим процесс, полученный на последней итерации реализации описанной выше процедуры улучшения, который обозначим через Для установления связи между обобщенным процессом m и исходной задачей (1), (2) приведем схему его аппроксимации элементами из D. Для этого зафиксируем малое > 0 и построим с его помощью управление Большое по модулю управление u (t) на малых интервалах времени [0, | (0)|) и [T | (T )|, T ) можно называть быстрым по аналогии с [14]. Уменьшая, с помощью управлений u (t) получим последовательность m = (x (t), u (t)) D допустимых процессов задачи (1), (2) такую, что I(m ) J(m). Дополнительные рассуждения по аппроксимации приведены в доказательстве теоремы 1, приведенном в статье [9].
Рассматривается задача оптимального управления для билинейной системы, являющаяся частным случаем задачи (1), (2):
(13) (14)
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
где M, A, B – (n n)-мерные матрицы; матричные функции A(t), B(t) непрерывно дифференцируемые; матрица M неположительно-определенная.Для задачи (13), (14) обобщенная постановка (4)–(7) принимает вид:
(15) (16) (17) (18) где предельная система (3) приобретает форму (19) Для наиболее компактной записи алгоритма улучшения введем в рассмотрение фундаментальную матрицу решений этой предельной системы (, t) = exp (B(t) ). C ее помощью решение задачи Коши (19) можно записать в виде (, t, x) = (, t)x.
Представленную выше процедуру глобального улучшения конкретизируем для задачи (15)–(18). При этом функцию (t, x) будем искать в линейном виде T (t)x (по аналогии с [11]) из условий (8).
Процедура улучшения в задаче (15)–(18).
0. Задаем обобщенное управление (u0 (t), 0 (0), 0 (T )). Находим соответствующую траекторию x0 (t), как описано выше, слева направо (в направлении от 0 к T ): при t = 0 x0 (0+) = ( 0 (0), 0)x0 ; при t (0, T ) интергируя систему (17); при t = T x0 (T ) = ( 0 (T ), T )x0 (T ). Вычисляем значение функционала F (x0 (T )).
1. Находим функцию (t, x) = T (t)x из необходимых условий (8), т. е. находим функцию (t) как решение справа налево задачи Коши 2. Построение улучшенного режима проводим слева направо последовательно для t = 0, t (0, T ) и t = T. А именно, разрывная трактория допустимого процесса строится следующим образом:
1) находим значение (0) из условия 2) находим решение x(t) задачи Коши x(t) = (A(t) + B(t)u(t, x(t))) x(t), где (20) 3) находим значение (T ) из условия
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
4) вычисляем новое значение функционала F (x(T )) = F (( (T ), T )x(T )).Замечание 4. Формула (20) следует из (11) для случая билинейной системы (17) и является обобщением аналогичной формулы введенной в [13] в случае постоянных матриц A, B.
Замечание 5. Пусть критерий (13) рассматривается относительно неоднородной билинейной системы, где g(t, x) = A(t)x, h(t, x) = B(t)x + C(t), C(t) – непрерывнодифференцируемая вектор-функция. В этом случае конструкции процедуры улучшения в целом остаются теми же, что в с случае однородной системы. Например, формула (20) обобщается в следующем виде:
(21) Рассматривается задача оптимального управления:
(22) (23) где управление u(t) кусочно-непрерывно на [0, T ], а управление v(t) – непрерывнодифференцируемая на (0, T ) вектор-функция, значения v(0), v(T ) которой при t = 0, t = T соответственно определены и конечны; U – выпуклое компактное множество; матричные функции A(t, v), B(t, v) непрерывно-дифференцируемые; матрица M неположительно-определенная.
Для задачи (22), (23) обобщенная постановка имеет вид:
(24) (25) (26) (27) где (, t, x, v(t)) – решение предельной системы (28) Здесь при t = 0, t = T соответствующие величины v(0), v(T ) играют роль параметров. Отметим, что возможен выбор этих величин в виде функций переменной,
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
однако в силу малости временных промежутков, соответствующих предельной системе, будем считать v(0), v(T ) на этих малых промежутках постоянными.Опишем в общих чертах предлагаемый для задачи (24) – (27) подход.
Процедура улучшения.
0. Задается процесс m0 = (x0 (t), u0 (t), v 0 (t), 0 (0), 0 (T ), v 0 (0), v 0 (T )) E.
1. Рассматривается задача вида (24) – (27), в которой проводится улучшение заданных u0 (t), t (0, T ), 0 (0), 0 (T ), v 0 (0) и v 0 (T ), но управление v(t) v 0 (t) на интервале (0, T ) не изменяется. При этом предельная система (28) интегрируется для каждого значения v(t), t = 0, T. По аналогии с задачами (10) и (12) решаются задачи минимизации функций G0 (, v(0)) = (0, (, 0, x0, v(0))) и G(, x, v(T )) = = F ((, T, x, v(T ))) + (T, x) по (, v(0)) и (, v(T )) соответственно. Если получается (0) = 0, то величина v(0) считается равной v 0 (0+); аналогично, если получаем (T ) = 0, то считаем v(T ) = v 0 (T ).
2. В задаче вида (24) – (27) при u(t), (0), (T ), v(0) и v(T ), найденных на предыдущем шаге и не изменяемых на данном шаге, осуществляется улучшение только по управлению v 0 (t). Для расчета улучшающего управления v(t), t (0, T ), может быть применен, например, глобальный метод [11] с соблюдением требования непрерывной дифференцируемости v(t) на интервале (0, T ).
3. В результате получаем улучшенный процесс Разработана (на языке C++) программная реализация рассматриваемых алгоритмов улучшения управлений, которая применена к численному исследованию одной модельной задачи управления спином квантовой частицы [15]. Описание вычислительных экспериментов с результатами представлены в статье [9].
Исследованы задачи оптимального управления нелинейными дифференциальными системами с линейным неограниченным управлением. Для рассмотренных задач характерно отсутствие минимума (максимума) на ординарном классе допустимых процессов (непрерывные траектории, кусочно–непрерывные управления) и ряд других особенностей, требующих предварительного теоретического исследования для их алгоритмизации. Построено расширение этого класса, на котором достигается минимум. Оно включает процессы с разрывными траекториями, которым соответствуют бесконечные управления на бесконечно малых отрезках времени (импульсы, быстрое движение ). Определена последовательность допустимых процессов с непрерывными траекториями, аппроксимирующих по значению минимизируемого функционала подобные решения. Установлены достаточные условия оптимальности разрывных решений и дифференциальные уравнения последних, следующие из них.
Оптимальные процессы склеены из импульсов и непрерывных участков траекторий, которые суть так называемые особые решения уравнений принципа максимума Понтрягина.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
Построена и обоснована процедура улучшения подобного обобщенного процесса и прямой итеративный метод оптимизации путем его последовательного улучшения.Более детально последний исследован применительно к задаче оптимального управления билинейными системами. Эти результаты обобщены на случай, когда имеется несколько управлений, из которых только одно обладает указанными свойствами.
«