Многошаговые процессы управления

"justify">Соотношение (8), подставляя в него (х(t), u(t)) Є М с учетом формулы (5), можно привести к виду

                   (4.30)

     Выражения под знаком суммы в первом слагаемом  вследствие соотношения (7) при значениях t = 0, 1, ..., T-1 будут равны:

φ (1, х(1)) - φ (0, х(0)) при t = 0;

φ (2, х(2)) - φ (1, х(1)) при t = 1;

φ (3, х(3)) - φ (2, х(2)) при t = 2;

…………………………………

φ (T-1, х(T-1)) - φ (T-2, х(T-2)) при t = T-2;

φ (T, х(T)) - φ (T-1, х(T-1)) при t = T;

     Складывая эти выражения, видим, что после  попарных сокращений их сумма будет равна φ (T, х(T))— φ (0, х(0)). После ее подстановки в формулу (6) с учетом х(0) = х₀ получим

,

что совпадает  с равенством (4.29), которое и требовалось  установить.

     Лемма 2. При выполнении условий 1 и 2 теоремы 1 функционал достигает минимального значения на множестве D при , т.е.

L(x*(t), u*(t), φ *(t, х)) =                  (1)

     Доказательство. Рассмотрим каждое из трех слагаемых в выражении (8) для функционала L.

     По  условию 1 теоремы 1 стоящая под знаком суммы в первом слагаемом в соотношении (8) функция R (t, x (t), и (t)) достигает при всех своего максимального значения на процессе . Вследствие теоремы 1 это является достаточным условием того, что максимальной будет и вся сумма значений. Так как знак перед этой суммой отрицателен, то первое слагаемое в выражении (8) достигает на процессе (x*(t), u*(t)) своего минимального значения.

     Второе слагаемое в соотношении (8) также будет минимально при х = х* (T) по условию 2 теоремы 1, а третье слагаемое — постоянная величина. Таким образом, все три слагаемых одновременно достигают минимального значения на процессе (х*(t, u*(t)). Следовательно, минимальной будет и их сумма, равная L (x*(t), u*(t), φ(t, x)).

Лемма 2 доказана.

      Если  теперь обозначим  то, повторяя рассуждения для непрерывного процесса, получим с учетом леммы 2 соотношения (7) и (8). Применяя лемму 2, получим оценку (9) функционала L (х, и), откуда с учетом допустимости процесса (x*(t), u*(t)) вытекает его оптимальность.

 

Глава 3. Условия оптимальности для многошагового процесса с неограниченным управлением.

      Для дискретных (многошаговых) процессов некорректно применение термина «принцип максимума» (хотя на практике его пусть с долей условности, но используют). Будем называть его методом Лагранжа, поскольку последнему принадлежат соответствующие идеи.

     Конкретизируем  общую постановку задачи без ограничений  на управление.

     Пусть заданы уравнения процесса

xⁱ (t+1) = f ⁱ (t, x(t), u(t)), t = 0,1, …, T-1, i = 1, 2, … , n          (10)

краевые условия

xⁱ(0)=x₀ ⁱ, i=1,2, … , k,  xⁱ(T) = x₁ ⁱ,  i = k + 1, …, n,                 (11)

и ограничения

                                                             (12)

причем  u*(t) – внутренняя точка множества V_u^t при всех t = 0, 1,..., T-1.

Обозначим через М множество допустимых пар v = (x(t), u(t)), т.е. пар, удовлетворяющих условиям (10) и (12). Поставим задачу об отыскании пары v = (x(t), u(t)) Є M, на которой

                                   (13)

     Выведем уравнения метода Лагранжа, опираясь на достаточные условия оптимальности. Согласно последним , если допустимый процесс (x*(t), u*(t)) и функция φ(t, х) такие, что выполняются условия

              (14)

 при t = T,                                   (15)

то процесс  х*(t), u*(t) оптимален, т.е.

     Для задачи с закрепленным правым концом условие (7.6) удовлетворяется тривиально, так как при t = T множество V_x ^t состоит только из одной точки.

     Согласно  формуле (5) для задачи (10) - (13) функция R(t, х, и) имеет следующий вид:

R(t, х, и) = φ(t+1, f(t, x, и)) – φ(t, x) – f ⁰(t, x, u)                     (16)

f (t, x, u) = {f ⁱ(t, x, u)}, i = 1, … ,n.

     Так как в модели (10) — (13) других ограничений, кроме краевых условий на состояние, нет, то множество V_x^t совпадает со всем пространством X. Пусть функция φ(t, x) - дифференцируемая по х, функции f ⁱ(t, х, и), i = 1,..., n, f⁰(t, x, и) — дифференцируемые по х, и в точках x*(t), u*(t). Тогда необходимыми условиями максимума функции R (t, х, и) по х (поскольку на х нет ограничений) и и являются следующие:

                                             (17)

                                            (18)

Введем  в рассмотрение вектор-функцию  ψ(t) = (ψ₁(t), … , ψ_n(t)), где

                                       (19)

и Гамильтониан

                             (20)

     Представим  в более удобном для приложений виде условия (18). С учетом выражений  (19) левая часть в формуле (18) принимает вид

или

                               (21)

А с  учетом соотношений (20) и (21) окончательно получаем

                             (22)

Теперь  расшифруем другое необходимое условие (17). Учитывая выражение (16), найдем

  Далее с учетом выражения (19) будем иметь

               (23)

а с учетом функции Гамильтона (20) окончательно получаем

                     (24)

откуда  выводим сопряженную систему  конечно-разностных уравнений:

                                 (25)

     Итак, в результате представленных преобразований получены необходимые условия оптимальности (22) и (25) многошаговых управляемых процессов. Неизвестными здесь являются п-мерный вектор оптимального состояния x*(t), r-мерный вектор оптимального управления u*(t) и сопряженная n-мерная вектор-функция ψ(t). Таким образом, число неизвестных будет равно 2 п + r, а условия (22) и (25) задают всего п + r -уравнений. Недостающие п условий дают уравнения процесса (10) с учетом краевых условий (12). Следовательно, система уравнений для определения 2 п + r неизвестных полностью определена.

     Необходимые условия оптимальности воплощаются  в следующей системе уравнений метода Лагранжа. Последовательность действий:

     1) решаем систему r уравнений относительно компонент вектора u*(t) при фиксированных значениях остальных компонент:

в результате получаем u*(t) с параметрами x*(t), ψ(t +1), где H (t, x, ψ,  и) — функция Гамильтона (гамильтониан);

     2) составляем и решаем сопряженную  систему и систему уравнений  процесса:

     3) удовлетворяем краевым условиям

х*(0)=х₀,   х*(Т)=х₁

или, если правый конец свободен, применяем  условие трансверсальности

 

Глава 4. Условия оптимальности для многошагового процесса при наличии ограничений на управление.

     Рассмотрим  задачу (10) – (13), в которой множество V^t_x по-прежнему совпадает со всем пространством Х (т.е. других ограничений, кроме краевых условий (12), на состояние системы нет), a u*(t) не обязательно является внутренней точкой множества V^t_u. Пусть, кроме того, функция φ(t, х) дифференцируема по х, а функции f ¹(t, х, и), i = 1, 2,..., n, f ⁰(t, x, и) дифференцируемы по х, и в точках x*(t), u*(t).

     Для представленной задачи нельзя использовать необходимое условие (18), выведенное в предположении, что u*(t) — внутренняя точка множества V^t_u.

     Для решения воспользуемся теоремой о достаточных условиях оптимальности, согласно которой следует обеспечить выполнение условий (14) и (15).

     Условие (15) выполняется тривиально, поскольку правый конец траектории закреплен (см. соотношение (12)). Рассмотрим выполнение условий (14). Условия (17), (23) — (25) имеют место на основании совпадения множества V^t_x со всем пространством X. Обеспечим выполнение условия max R(t, x, и) при фиксированном х, т.е.

     Рассмотрим, как связан факт максимизации функции  R(t, x, и) по и Є V^t_u со свойствами градиента этой функции по управлению.

     Пусть и  – скаляр. Тогда множество V^t_u — отрезок: V^t_u = {u: a(t) ≤ u≤ b(t)}, t = 0, 1,..., T – 1; момент времени t фиксирован.

     Конкретизируем  необходимые условия  при фиксированном х в зависимости от расположения и* внутри отрезка или на его границах. Рассмотрим три случая (рис. 1): 

Рис. 1. Условия оптимальности для

и  

     а) если и* Є (а, b), т.е. и* — внутренняя точка отрезка, то

                       (26)

     б) если u* = а, то необходимым условием при фиксированном х будет следующее ограничение на градиент функции

                                    (27)

     в) если u* = b, то необходимым условием при фиксированном х будет следующее ограничение на градиент функции :

                                  (28)

     Пусть u — вектор, а V_u^t — множество допустимых значений и с гладкой границей S. В каждой точке границы S можно построить к ней внешнюю нормаль N. Для наглядности примем r = 2, тогда V_u^t — плоскость. Рассмотрим два случая:

     а) если u* — внутренняя точка множества V_u^t, тогда необходимое условие при фиксированном x(t) будет

     б) если u* лежит на границе области S, проведем внешнюю нормаль N к границе S множества V_u^t (рис. 2).

     Тогда необходимым условием при фиксированном x(t) будет ограничение на градиент функции

                            (29)

в котором  условие (29) отражает скалярное произведение соответствующих векторов. 

Рис. 2. Внешняя нормаль и grad _u H (t, x, ψ, и) 

     Итак, ограничения (29), а также их частный случай (26) – (28) являются только необходимыми условиями оптимальности, а состояние x*(t) и управление u*(t), полученные из них, – не более как подозрительные на оптимум, для которых может потребоваться проведение дополнительного исследования, аналогичного непрерывному варианту. В частности, если правые части уравнений процесса (10) линейны по u, то полученные с помощью сформулированных выше необходимых условий оптимальности состояние и управление являются оптимальными, т.е. эти необходимые условия оптимальности оказываются достаточными.