Dlaczego wybrano literę Q w Q-learningu?

Dlaczego litera Q została wybrana w imieniu Q-learningu?

Większość liter jest wybieranych jako skrót, na przykład oznacza $\pi$ strategię, a $v$ oznacza wartość. Ale nie sądzę, że Q jest skrótem dowolnego słowa.

— remis
źródło

W moim metaforycznym rozumieniu Q jest funkcją, która wiąże ilość (nazwij ją nagrodą, kosztem lub czymkolwiek innym, co jest optymalizowane) dla działania w danym stanie.

— knk

@sycorax w ramce z oryginalnym pytaniem sugerowało zrozumienie Q-learningu i aby dać wyjaśnienie, pomogłoby to dodać kontekst. Program operacyjny zostałby utracony bez jakiegokolwiek wyjaśnienia bez ustalenia uziemienia.

— knk

Czy metaforyczne pytanie Q = Ilość pomaga? Myślę o tym jak o kwantyfikacji działania w danych stanach

— knk

Odpowiedzi:

Przykro mi, że rozczarowałem wszystkich, ale Q nic nie znaczy :)

Q-learning został zaproponowany przez Watkinsa w jego rozprawie doktorskiej w 1989 r., Patrz str. 96. Q w równaniu na tej stronie jest aktualizowane w określony sposób na każdym kroku. Q jest oczekiwanym zwrotem z działania w danym stanie, patrz definicja Q na str. 46. Zwrot ma sens ekonomiczny lub teorii gier, tzn. Zdyskontowanych nagród ważonych prawdopodobieństwem, a nie termin informatyczny, taki jak zwrot z funkcji.

Zauważ, że użył już P dla prawdopodobieństwa i R dla nagrody, więc chwycił Q za zwrot. Otóż to. Wybór litery Q nie ma głębszego znaczenia.

— Aksakal
źródło

Nie ma głębszego znaczenia, ale jest to znaczenie (że Q pasuje do P i R w alfabecie) i oznacza coś .

— Sextus Empiricus

@MartijnWeterings To wcale nie ma znaczenia. Jest to czysto syntaktyczny wybór litery, bez żadnych rozważań semantycznych.

— David Richerby

Jasne, może być kilka rozważań semantycznych (i może to być przedmiotem dyskusji, ponieważ różnice między literami łacińskimi lub greckimi, literami w różnych pozycjach alfabetu lub wielkimi i małymi literami mogą tworzyć szary obszar między składnią i semantyką). Uważam wybór Q za „znaczący”, ponieważ forma litery (która jest nieco dowolna) wyraża w pewnym stopniu znaczenie zmiennej / parametru. Znaczenie odnosi się do wyboru litery. Nie byłoby dobrego wyboru, gdyby wybrano u lub v, i i, j, k lub x, y, z lub

α, β, γ

$\alpha, \beta, \gamma$

— Sextus Empiricus

@MartijnWeterings, Q również brzmi jak kolejka , co również przynosi nieco istotne konotacje

— Aksakal

@Aksakal, mogło to wzmocnić użycie Q. Ale nie sądzę, że jest silny. Nie wiem dużo na ten temat, ale w krótkim przeglądzie tej tezy wydaje mi się bardzo prawdopodobne, że litera

została użyta dla ilości takiej jak

lub

. W końcu nadano mu „jakąś nazwę”, jak „wartość akcji”, ale litery użyte w tej pracy wydają się znacznie bardziej przylegać do alfabetu. Na przykład

Q

$Q$

\sum_{i} R_{i} P_{i}

$\sum_i R_i P_i$

\sum_{i} V_{i} P_{i}

$\sum_i V_i P_i$

dla funkcji

dla zmiennych

dla funkcji wartości i jest przybliżona. itd.

f

$f$

g

$g$

h

$h$

x

$x$

y

$y$

V

$V$

U

$U$

— Sextus Empiricus

Powód, dla którego Q-Learning jest nazywany, ponieważ wykorzystuje wartości Q do formowania swoich oszacowań. Zwykłą zasadą uczenia się jest: i powinno być jasne, dlaczego nazywa się to Q-Learning. $Q(s_t,a_t)\gets Q(s_t,a_t)+\alpha(r_t+\gamma \times \max_{a} Q(s_{t+1},a)-Q(s_t,a_t))$

Moim zdaniem jednak pytanie brzmi, dlaczego tak nazywa się Q-Learning. Chociaż nie wydaje się, aby odpowiedź była zadowalająca, ten link wspomina, że Andrew Barto , który jest jednym z założycieli Modern Reinforcement Learning, uważa, że oznacza Jakość, nazywaną tak, ponieważ charakteryzuje, jak dobry byłby wynik wyciągnięcia ręki być. $Q$

— Ameet Deshpande
źródło

Przeczytaj tę tezę i powiedz mi, jak „jakość” ma sens w kontekście oczekiwanego zwrotu

— Aksakal

Chociaż zgadzam się z tobą, teza została napisana po tym, jak Watkins skonsultował się z Andym w wielu sprawach. Andy mógł mieć lepszy pomysł, niż ci się wydaje.

— Ameet Deshpande

Jakość nie istnieje nawet jako odrębna koncepcja w nauce. Oczywiście możesz użyć tego słowa w zwykłym znaczeniu z angielskiego. Z drugiej strony, oczekiwany zwrot jest bardzo dobrze zdefiniowany w teorii gier, nie ma potrzeby rozcieńczania go przez dołączanie niejasnych pojęć, takich jak jakość. Nie maksymalizujesz jakości, maksymalizujesz dyskontowane nagrody w ramach odpowiedniej miary prawdopodobieństwa. Jeśli chcesz być nieco szerszy, możesz zmaksymalizować użyteczność.

— Aksakal