Statystyki i duże zbiory danych reinforcement-learning

3

Dlaczego zawsze istnieje co najmniej jedna polisa, która jest lepsza lub równa od wszystkich innych polis?

Uczenie się przez zbrojenie: wprowadzenie. Druga edycja, w toku ., Richard S. Sutton i Andrew G. Barto (c) 2012, s. 67–68. Rozwiązanie zadania polegającego na uczeniu się o wzmocnieniu oznacza z grubsza znalezienie polityki, która na dłuższą metę osiągnie wiele nagród. W przypadku skończonych MDP możemy precyzyjnie zdefiniować optymalną politykę …

15 markov-process reinforcement-learning

2

Pytania dotyczące Q-Learning z wykorzystaniem sieci neuronowych

Wdrożyłem Q-Learning zgodnie z opisem w http://web.cs.swarthmore.edu/~meeden/cs81/s12/papers/MarkStevePaper.pdf W celu ok. Q (S, A) Używam struktury sieci neuronowej, jak poniżej, Aktywacja Sigmoid Wejścia, liczba wejść + 1 dla neuronów akcji (wszystkie wejścia skalowane 0-1) Wyjścia, pojedyncze wyjście. Wartość Q N liczba M ukrytych warstw. Metoda eksploracji losowa 0 <rand () <propExplore …

14 machine-learning neural-networks reinforcement-learning

1

GAM vs LOESS vs splajny

Kontekst : Chcę, aby narysować linię na wykresie rozrzutu, że nie pojawia się parametryczne, dlatego używam geom_smooth()w ggplotw R. Automatycznie zwraca geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to change the smoothing method., …

14 r gam splines loess r data-visualization boxplot mathematical-statistics theory sufficient-statistics machine-learning classification correlation svm feature-selection probability stochastic-processes machine-learning reinforcement-learning

1

Jaka jest różnica między epizodem a epoką w głębokim uczeniu się Q?

Próbuję zrozumieć słynny artykuł „Playing Atari with Deep Reinforcement Learning” ( pdf ). Nie jestem pewien, jaka jest różnica między epoką a epizodem . W algorytmie zewnętrzna pętla kończy się epizodami , natomiast na rysunku oś x jest oznaczona epoką . W kontekście uczenia się przez wzmacnianie nie jestem jasne, …

14 neural-networks terminology reinforcement-learning q-learning

1

Dlaczego nauka głębokiego wzmacniania jest niestabilna?

W artykule DeepMind z 2015 r. Na temat uczenia się głębokiego wzmacniania stwierdzono, że „poprzednie próby połączenia RL z sieciami neuronowymi były w dużej mierze nieudane z powodu niestabilnego uczenia się”. Następnie w artykule wymieniono niektóre przyczyny tego zjawiska, oparte na korelacjach między obserwacjami. Czy ktoś mógłby wyjaśnić, co to …

13 machine-learning neural-networks deep-learning reinforcement-learning

1

Optymalny algorytm rozwiązywania problemów n-uzbrojonych bandytów?

Czytałem o wielu algorytmów rozwiązywania problemów n uzbrojonych bandyckie jak -greedy, Softmax i UCB1, ale mam pewne problemy z sortowaniem przez co jest najlepsze podejście do minimalizacji żal.ϵϵ\epsilon Czy istnieje znany optymalny algorytm rozwiązywania problemu n-uzbrojonego bandyty? Czy istnieje wybór algorytmu, który wydaje się działać najlepiej w praktyce?

13 machine-learning reinforcement-learning multiarmed-bandit

2

Dlaczego doświadczenie odtwarzania wymaga algorytmu niezgodnego z zasadami?

W artykule wprowadzającym DQN „ Playing Atari with Deep Reinforcement Learning ” wspomniano: Pamiętaj, że ucząc się na podstawie powtórki z doświadczenia, musisz nauczyć się pozasądowych zasad (ponieważ nasze obecne parametry różnią się od parametrów używanych do generowania próbki), co motywuje wybór Q-learningu. Nie do końca zrozumiałem, co to znaczy. …

12 reinforcement-learning

2

Tłumaczenie problemu uczenia maszynowego na ramy regresji

Załóżmy, że mam panel zmiennych objaśniających , dla , , a także wektor zmiennych zależnych od wyniku binarnego . Zatem obserwuje się tylko w czasie końcowym a nie w żadnym wcześniejszym czasie. Całkowicie ogólnym przypadkiem jest wielokrotność dla dla każdej jednostki w każdym czasie , ale skupmy się na przypadku …

12 regression machine-learning reinforcement-learning

3

Jaki jest związek między teorią gier a uczeniem się przez wzmacnianie?

Interesuje mnie (Deep) Reinforcement Learning (RL) . Czy przed nurkowaniem w tym polu powinienem wziąć udział w kursie z teorii gier (GT) ? W jaki sposób powiązane są GT i RL ?

12 deep-learning reinforcement-learning game-theory

1

Jak dopasować ciężarki do wartości Q z aproksymacją funkcji liniowej

W uczeniu się zbrojenia aproksymacja funkcji liniowej jest często stosowana, gdy występują duże przestrzenie stanu. (Kiedy tabele wyszukiwania stają się niewykonalne.) Postać wartości z aproksymacji liniowej funkcji jest przezQ -Q−Q- Q ( s , a ) = w1fa1( s , a ) + w2)fa2)( s , a ) + ⋯ …

12 machine-learning feature-selection reinforcement-learning

2

Kiedy metody Monte Carlo są lepsze od metod różnic czasowych?

Ostatnio robiłem dużo badań na temat nauki o wzmocnieniu. Śledziłem Reinforcement Learning Sutton & Barto : Wprowadzenie do większości tego. Wiem, czym są procesy decyzyjne Markowa i jak do ich rozwiązania można wykorzystać uczenie się w zakresie programowania dynamicznego (DP), Monte Carlo i różnic czasowych (DP). Problem mam jest to, …

12 monte-carlo reinforcement-learning temporal-difference

1

Jakie są zasady wdrażania w artykule AlphaGo?

Papier jest tutaj . Polityka wdrażania ... jest liniową polityką softmax opartą na szybkich, przyrostowo obliczonych, lokalnych funkcjach opartych na wzorcach ... Nie rozumiem, co to jest zasada wdrażania i jak odnosi się do sieci zasad wyboru ruchu. Jakieś prostsze wytłumaczenie?

11 machine-learning monte-carlo reinforcement-learning games

1

Q-learning z Neural Network jako aproksymacja funkcji

Próbuję użyć sieci neuronowej w celu przybliżenia wartości Q w Q-learningu, tak jak w pytaniach dotyczących Q-Learning z wykorzystaniem sieci neuronowych . Jak zasugerowano w pierwszej odpowiedzi, używam liniowej funkcji aktywacji dla warstwy wyjściowej, podczas gdy nadal używam funkcji aktywacji sigmoidalnej w ukrytych warstwach (2, chociaż mogę to zmienić później). …

11 neural-networks reinforcement-learning

1

Czy model P (Y | X) można wytrenować za pomocą stochastycznego spadku gradientu z nie-iidowych próbek P (X) i iidowych próbek P (Y | X)?

Podczas uczenia sparametryzowanego modelu (np. W celu zmaksymalizowania prawdopodobieństwa) za pomocą stochastycznego spadku gradientowego na niektórych zbiorach danych, powszechnie przyjmuje się, że próbki szkoleniowe są pobierane z rozkładu danych szkoleniowych. Jeśli więc celem jest modelowanie wspólnego rozkładu , to każda próbka treningowa powinna zostać pobrana z tego rozkładu.( x i …

10 machine-learning conditional-probability reinforcement-learning gradient-descent

2

Dlaczego algorytm iteracji polityki jest zbieżny z optymalną funkcją polityki i wartości?

Czytałem notatki z wykładu Andrew Ng na temat uczenia się przez wzmacnianie i próbowałem zrozumieć, dlaczego iteracja polityki jest zbieżna z funkcją optymalnej wartości i optymalną polityką .V∗V∗V^*π∗π∗\pi^* Przypomnijmy, że iteracja zasad to: Zainicjuj π losowoPowtórz {L e t V. : =V.π \ dla bieżącej polityki, rozwiąż eqn bellman i …

10 reinforcement-learning policy-iteration

Pytania otagowane jako reinforcement-learning