2
Dlaczego Q-learning nie jest zbieżny podczas korzystania z aproksymacji funkcji?
Tabelaryczny algorytm uczenia Q gwarantuje znalezienie optymalnego QQQ funkcjonować, Q∗Q∗Q^*, pod warunkiem spełnienia następujących warunków (warunki Robbins-Monro ) dotyczących wskaźnika uczenia się ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)<∞∑tαt2(s,a)<∞\sum_{t} \alpha_t^2(s, a) < \infty gdzie αt(s,a)αt(s,a)\alpha_t(s, a) oznacza współczynnik uczenia się używany podczas aktualizacji QQQ wartość związana ze stanem sss i akcja …