Optymalizacja dynamiczna: co się stanie, jeśli warunek drugiego rzędu nie zostanie spełniony?

Rozważ następujący problem optymalizacji dynamicznej

\begin{aligned} max_{u} \int_{0}^{T.} fa (x, u) re t \\ św & \dot{x} = fa (x, u) \end{aligned}

$\begin{align} &\max_u \int^T_0{F(x,u)dt}\\ \text{s.t.}~& \dot{x} = f(x,u) \end{align}$

FOC

Hamiltonian podaje się przez Warunki niezbędne dla optymalności są podane przez maksimum zasada

\begin{aligned} H. (x, u, λ) = fa (x, u) + λ fa (x, u) \end{aligned}

$\begin{align} H(x,u,\lambda) = F(x,u) + \lambda f(x,u) \end{align}$

\begin{aligned} \frac{\partial H.}{\partial u} & = 0 \\ \frac{\partial H.}{\partial x} & = - \dot{λ} \end{aligned}

$\begin{align} \frac{\partial H}{\partial u} &= 0\\[2mm] \frac{\partial H}{\partial x} &= -\dot{\lambda} \end{align}$

Załóżmy, że jest maksymalizatorem, tj. . $u^*=\arg\max_u H(x,u,\lambda)$ $H_{uu} < 0$

SOC

Twierdzenie Wystarczające Strzałka stwierdza, że niezbędne warunki są wystarczające, jeśli zmaksymalizowany hamiltonian jest wklęsły w , tj. jeśli .

\begin{aligned} {H.}^{0} (x, λ) = max_{u} H. (x, u, λ) \end{aligned}

$\begin{align} H^0(x,\lambda) = \max_u H(x,u,\lambda) \end{align}$

x

$x$

H_{x x} < 0

$H_{xx} < 0$

Problem

Załóżmy, że FOC trzymają, ale SOC nie trzyma.

Co można powiedzieć o optymalności rozwiązania?

optimization

— bezradny
źródło

Wypukłość to nie brak wklęsłości.

— Michael Greinecker,

Usunąłem niewłaściwą część, mam nadzieję, że nie masz nic przeciwko. Odpowiedź brzmi: niewiele, spróbuj czegoś innego (np. Inny warunek wystarczalności lub, jeśli uważasz, że jest wypukły, pokaż, że jest wypukły).

— Wszechmogący Bob

Nie ma jednej odpowiedzi, będzie zależeć od szczegółów każdego problemu. Spójrzmy na standardowy przykład.

Rozważ wzorcowy problem optymalizacji międzyokresowej dla modelu Ramsey

\begin{aligned} max_{u} \int_{0}^{\infty} e^{- ρ t} u (c) d t \\ s.t. \dot{k} = i - δ k \\ s.t. y = f (k) = c + ja \end{aligned}

$\begin{align} &\max_u \int^{\infty}_0{e^{-\rho t}u(c)dt}\\ \\ & \text{s.t.}\;\; \dot{k} = i-\delta k\\ & \text{s.t.}\;\; y = f(k)=c+i \end{align}$

Obecna wartość to Hamiltonian

\tilde{H.} = u (do) + λ [fa (k) - do - δ k]

$\tilde H = u(c) +\lambda [f(k)-c-\delta k]$

Mamy maksymalizację samego $c$

\frac{\partial \tilde{H}}{\partial c} = u^{'} (c) - λ = 0 ⟹ u^{'} (c^{*}) = λ ⟹ c^{*} = (u^{'})^{- 1} (λ)

$\frac {\partial \tilde H}{\partial c} = u'(c) - \lambda =0 \implies u'(c^*) = \lambda \implies c^* = (u')^{-1}(\lambda)$

a warunek drugiego rzędu zostanie zachowany, jeśli funkcja użyteczności jest wklęsła,

\frac{\partial^{2} H}{\partial c^{2}} = u^{″} (c^{*}) < 0

$\frac {\partial^2 H}{\partial c^2} = u''(c^*) < 0$

Co więcej, od warunku pierwszego rzędu w odniesieniu do zużycia, jeśli utrzymuje się lokalne niezadowolenie. Załóżmy, że mamy takie „zwykłe” preferencje. $\lambda >0$

Maksymalizm konsumpcji Hamiltonian jest

{\tilde{H}}^{0} = u [(u^{'})^{- 1} (λ)] + λ [fa (k) - (u^{'})^{- 1} (λ) - δ k]

$\tilde H^0 = u[(u')^{-1}(\lambda)]+\lambda [f(k)-(u')^{-1}(\lambda)-\delta k]$

Pochodne cząstkowe w odniesieniu do zmiennej stanu, są $k$

\frac{\partial {\tilde{H}}^{0}}{\partial k} = λ [{fa}^{'} (k) - δ], \frac{\partial^{2)} {\tilde{H.}}^{0}}{\partial k^{2)}} = λ {fa}^{″} (k)

$\frac {\partial \tilde H^0}{\partial k} = \lambda[f'(k) - \delta], \;\;\;\; \frac {\partial^2 \tilde H^0}{\partial k^2} = \lambda f''(k)$

Tak więc tutaj warunek wystarczalności Arrow-Kurza sprowadza się do tego, czy krańcowy iloczyn kapitału maleje, stale czy rośnie (co będzie zależeć od znaku drugiej pochodnej funkcji produkcji). W standardowym przypadku i mamy wystarczający warunek. $f''(k) < 0$

W najsłynniejszym przypadku odchylenia model Romera, który zapoczątkował literaturę o rozwoju endogennym, , a krańcowy produkt kapitału jest stałą dodatnią. $AK$ $f''(k) =0$

Co więc możemy powiedzieć w tym przypadku?

Tutaj, Seierstad, A., i Sydsaeter, K. (1977). Wystarczające warunki w teorii optymalnego sterowania. Międzynarodowy przegląd ekonomiczny, 367-391. zapewnić różne wyniki, które mogą nam pomóc.

W szczególności dowodzą, że jeśli Hamiltonian jest wspólnie wklęsły w i , jest to warunek wystarczający dla maksimum. Hessian z Hamiltonian jest $c$ $k$

(możemy zignorować warunki rabatu)

{H. mi}_{H.} = [\begin{matrix} u^{″} (do) & 0 \\ 0 & λ {fa}^{″} (k) \end{matrix}]

${\rm He}_H = \left [ \begin{matrix} u''(c) & 0\\ 0 & \lambda f''(k)\\ \end{matrix} \right]$

W standardowym przypadku z jest to ujemna określona macierz, a zatem Hamiltonian jest ściśle wklęsły w i . $u''(c) <0, \; f''(k) <0$ $c$ $k$

Gdy , sprawdzenie, czy macierz jest ujemna, jest pół-skończona przy użyciu definicji. Rozważ wektor i produkt $f''(k) =0$ $\mathbf z = (z_1, z_2)^T \in \mathbb R^2$

z^{T.} {H. mi}_{H.} z = z_{1}^{2)} u^{″} (do) \leq 0

$\mathbf z^T{\rm He}_H\mathbf z = z_1^2u''(c) \leq 0$

ta słaba nierówność utrzymuje , a więc Hesjan jest wspólnie wklęsły w i . $\forall \mathbf z \in \mathbb R^2$ $c$ $k$

Tak więc w modelu endogennego wzrostu rozwiązanie jest rzeczywiście maksimum (z zastrzeżeniem ograniczeń parametrów niezbędnych do prawidłowego zdefiniowania problemu). $AK$

— Alecos Papadopoulos
źródło

Dzięki. Myślę jednak, że powinienem wyjaśnić swoje motywy. Wiem, że hamiltonian nie jest ani ściśle wklęsły w , ani wspólnie wklęsły w . Tutaj określa kształt hamiltonianu, ponieważ jest ograniczony. Jest to ścisła funkcja wypukła dla małego i dowolnego oraz ścisła funkcja wklęsła dla dużego i dowolnego . Zastanawiałem się, czy w takim przypadku możemy wydać ogólne stwierdzenie dotyczące optymalności.

x

$x$

(x, u)

$(x,u)$

x

$x$

u

$u$

x

$x$

u

$u$

x

$x$

u

$u$

— nieświadomy

@clueless To jest inne (i interesujące) pytanie, więc lepiej zadać je w osobnym poście.

— Alecos Papadopoulos,