Znaczenie współczynnika rabatu w uczeniu się przez wzmocnienie

Po przeczytaniu osiągnięć Google Deepmind w grach Atari , próbuję zrozumieć q-learning i q-sieci, ale jestem trochę zdezorientowany. Zamieszanie powstaje w koncepcji współczynnika dyskontowego. Krótkie streszczenie tego, co rozumiem. Głęboka splotowa sieć neuronowa służy do oszacowania wartości optymalnej oczekiwanej wartości działania. Sieć musi zminimalizować funkcję utraty gdzie to Gdzie jest skumulowaną wartością wyniku

L_{i} = E_{s, a, r} [(E_{s^{'}} [y | s, a] - Q (s, a; θ_{i}))^{2}]

$L_i=\mathbb{E}_{s,a,r}\left[(\mathbb{E}_{s'}\left[y|s,a\right]-Q(s,a;\theta_i))^2\right]$

E_{s^{'}} [y | s, a]

$\mathbb{E}_{s'}\left[y|s,a\right]$

E [r + γ m a x_{a^{'}} Q (s^{'}, a^{'}; θ_{i}^{-}) | s, a]

$\mathbb{E}\left[r+\gamma max_{a'} Q(s',a';\theta^-_i)\right|s,a]$

Q

$Q$

r

$r$ jest wartością punktową dla wybranej akcji.

s, a

$s,a$ i

s^{'}, a^{'}

$s',a'$ oznaczają odpowiednio stan i działanie wybrane w czasie

t

$t$ oraz stan i działanie w czasie

t^{'}

$t'$ .

θ_{i}^{-}

$\theta^-_i$ są obciążniki sieci w poprzedniej iteracji.

γ

$\gamma$ jest czynnikiem zniżka które uwzględniają czasową różnicę wartości punktowej.

i

$i$ indeks jest krok czasowy. Problem polega na tym, aby zrozumieć, dlaczego

γ

$\gamma$ nie zależy od

θ

$\theta$ .

Z matematycznego punktu widzenia jest współczynnikiem dyskonta i reprezentuje prawdopodobieństwo, aby osiągnąć stan ze stanu . $\gamma$ $s'$ $s$

Wydaje mi się, że sieć faktycznie uczy się przeskalowywać zgodnie z prawdziwą wartością , więc dlaczego nie pozwolić ? $Q$ $\gamma$ $\gamma=1$

artificial-intelligence neural-networks reinforcement-learning

— emanuele
źródło

Współczynnik dyskontowy nie reprezentuje prawdopodobieństwa osiągnięcia stanu ze stanu . To byłoby , które nie jest używane w Q-Learning, ponieważ jest ono wolne od modelu (tylko metody uczenia wzmacniającego oparte na modelu wykorzystują te prawdopodobieństwa przejścia). Współczynnik dyskontowy to hiperparametr dostrojony przez użytkownika, który reprezentuje, o ile przyszłe zdarzenia tracą swoją wartość w zależności od tego, jak daleko są w czasie. W przywołanej formule mówisz, że wartość dla twojego obecnego stanu jest natychmiastową nagrodą za ten stan plus to, czego oczekujesz w przyszłości, zaczynając od $s′$ $s$ $p(s'|s,a)$ $γ$ $y$ $s$ $s$ . Ale ten przyszły termin musi zostać zdyskontowany, ponieważ przyszłe nagrody mogą nie (jeśli ) mieć taką samą wartość jak otrzymywanie nagrody w tej chwili (tak jak wolimy otrzymywać teraz 100 $ zamiast 100 $ jutro). Od Ciebie zależy, czy chcesz stracić przyszłe nagrody (zależy to od problemu). Współczynnik rabatu równy 0 oznacza, że zależy ci tylko na natychmiastowych nagrodach. Im wyższy współczynnik rabatu, tym dalej nagrody będą się rozprzestrzeniać w czasie. $γ < 1$

Sugeruję przeczytanie książki Sutton i Barto przed wypróbowaniem Deep-Q, aby nauczyć się czystej nauki o wzmocnieniu poza kontekstem sieci neuronowych, co może być mylące.

— rcpinto
źródło

Dziękuję za odpowiedź, ale wciąż mam wątpliwości. Myślę głośno. Wyobraź sobie, że na każdym kroku otrzymujesz ocenę i musisz zapłacić aby rozpocząć grę. Jak obliczyć oczekiwaną wartość? Cóż ponieważ dodajesz wartości w różnych momentach w przyszłości, prawda?

d

$d$

c

$c$

mi v = \sum_{ja = 1}^{+ \infty} γ^{ja} re - do

$Ev=\sum_{i=1}^{+\infty} \gamma^i d -c$

d

$d$

— emanuele

Cóż, popsuję się, nawet jeśli jaka jest poprawna wartość dla ? Prawidłowa wartość to wartość, która pozwala mi na kompromis między nagrodą obecną a nagrodą futures i jest . to prawdopodobieństwo przeżycia na etapie i dlatego . Czek to gdzie jest szansą na przetrwanie na każdym kroku i jest oczekiwaną długością życia.

re \frac{γ}{1 - γ} = do

$d\frac{\gamma}{1-\gamma}=c$

γ

$\gamma$

g a m m a

$gamma$

γ = p

$\gamma=p$

p

$p$

t

$t$

0 \leq γ \leq 1

$0\le \gamma \le 1$

\frac{p}{1 - p} = τ

$\frac{p}{1-p}=\tau$

τ

$\tau$

— emanuele