Równanie Bellmana dla tego problemu programowania dynamicznego

W przypadku następującego problemu
$max_{({\tilde{c}}_{t}, {\tilde{a}}_{t + 1 + s})} \sum_{s = 0}^{\infty} β^{s} u ({\tilde{c}}_{t + s})$ $\begin{equation}\max_{(\tilde{c}_t,\tilde{a}_{t+1+s})}\sum_{s=0}^{\infty}\beta ^su(\tilde{c}_{t+s})\end{equation}$
następujące ograniczenia

$\begin{equation} \begin{split} \tilde{c}_t&=(1-\delta )Y_t+a_t-\frac{\tilde{a}_{t+1}}{R_t}\\ \tilde{c}_{t+1+s}&=(1-\delta )Y_{t+1+s}^{e}+\tilde{a}_{t+1+s}-\frac{\tilde{a}_{t+2+s}}{R_{t+1+s}}, \forall s \geq 0 \end{split} \end{equation}$

gdzie:

$\tilde{c}_t$ : Zużycie w czasie $t$

$\tilde{a}_t$ : Bogactwo finansowe w czasie $t$

$Y_t$ : Dochód w czasie $t$

$R_t$ : Nominalna stopa procentowa w czasie $t$

$Y_t^e$ : Oczekiwany dochód w czasie $t$

Weź pod uwagę, że $u(\tilde{c}_{t+s})$ jest zdefiniowana przez funkcję narzędzia izoelastycznego: $u(\tilde{c}_{t+s})=\frac{\tilde{c}_{t+s}^{1-\frac{1}{\sigma}}-1}{1-\frac{1}{\sigma}}$

Znajdź optymalną funkcję polityki dla $\tilde{c}_t$ .

Nie wiem, jak napisać równanie Bellmana, ponieważ mam dwa ograniczenia. Jaka byłaby optymalna procedura rozwiązania tego problemu?

dynamic-programming bellman-equations

— Renzo GA
źródło

Zastąpiłbym ograniczenie 1 przez (t + 1 + s) w ograniczeniu 2. Następnie podłącz ograniczenie 2 do celu. Następnie zapisz równanie Bellmana.

— Tobias

Dzięki! tego jest , a następnie powiedziałeś, że powinienem podłączyć to do funkcji celu, prawda? Ale jak mogę napisać równanie Bellmana? Myślałem, że problem maksymalizacji zawsze musi mieć ograniczenie do napisania równania Bellmana. Przepraszam, jestem dopiero początkującym z programowaniem dynamicznym.

{\tilde{c}}_{t + s} = \frac{(1 - δ) Y_{t + 1 + s}^{e}}{R_{t + s}} + (1 - δ) Y_{t + s} + a_{t + s} - \frac{{\tilde{c}}_{t + 1 + s}}{R_{t + s}} - \frac{{\tilde{a}}_{t + 2 + s}}{R_{t + 1 + s}}

$\tilde{c}_{t+s}=\frac{(1-\delta )Y_{t+1+s}^{e}}{R_{t+s}}+(1-\delta )Y_{t+s}+a_{t+s}-\frac{\tilde{c}_{t+1+s}}{R_{t+s}}-\frac{\tilde{a}_{t+2+s}}{R_{t+1+s}}$

— Renzo GA

„Drugie” ograniczenie wydaje się zbędne i dezorientuje sprawy. Ponownie umów pierwszy, który chcesz uzyskać

{\tilde{a}}_{t + 1} = [{\tilde{a}}_{t} + (1 - δ) Y_{t} - {\tilde{c}}_{t}] R_{t}

$\tilde{a}_{t+1} = \big[\tilde a_t+(1-\delta )Y_t-\tilde{c}_t\big]R_t$

To mówi nam, że bogactwo na początku następnego okresu jest w pełni determinowane decyzjami obecnego okresu i znanymi stanami, bez jakiejkolwiek niepewności: zaczynamy od danego bogactwa na początku tego okresu, nasze dochody i stopa procentowa stają się znane, decydujemy i „odkładamy” pełną kwotę zużycia (na cały okres na początku okresu), a reszta staje się oprocentowanym aktywem.

Dlaczego drugie ograniczenie, które patrzy w przyszłość, myli sprawy? Ponieważ w celu zastosowania równania programowania dynamicznego / Bellmana musi być tak, że nasz problem optymalizacji można sformułować jako rekurencyjny , co oznacza, że cały problem wielu okresów, a nawet problem nieskończonego horyzontu, można rozbić na dwa problem z okresem. I mamy ten warunek w powyższym ograniczeniu, nie potrzebujemy drugiego.

Jeśli jest funkcją wartości, równanie Bellmana jest wtedy $V(\tilde a_t)$

V ({\tilde{a}}_{t}) = max_{{\tilde{c}}_{t}} [u ({\tilde{c}}_{t}) + β V ({\tilde{a}}_{t + 1})]

$V(\tilde a_t) = \max_{\tilde c_t}\big [u(\tilde c_t) + \beta V(\tilde a_{t+1})\big]$

i musimy znaleźć funkcję strategii która spełnia $h(\tilde a_t)=\tilde c_t$

V ({\tilde{a}}_{t}) = u [h ({\tilde{a}}_{t})] + β V [({\tilde{a}}_{t} + (1 - δ) Y_{t} - h ({\tilde{a}}_{t})) \cdot R_{t}]

$V(\tilde a_t) = u[h(\tilde a_t)] + \beta V\left[\big(\tilde a_t+(1-\delta )Y_t-h(\tilde a_t)\big)\cdot R_t\right]$

— Alecos Papadopoulos
źródło

Ta linia jest złota: „co oznacza, że cały problem wielu okresów, a nawet problem nieskończonego horyzontu, można rozbić na problem dwóch okresów”

— Jinhua Wang