Sztuczna inteligencja reinforcement-learning

6

Jaka jest różnica między uczeniem się bez modelowania a uczeniem się opartym na modelu?

Jaka jest różnica między uczeniem się bez modelowania a uczeniem się opartym na modelu? Wydaje mi się, że każdy uczący się bez modelu, uczący się metodą prób i błędów, może zostać przekształcony w modelowy. W takim przypadku, kiedy uczniowie bez modeli byliby odpowiedni?

29 reinforcement-learning comparison model-based model-free

1

Jaki jest związek między Q-learningiem a metodami gradientów polityki?

O ile rozumiem, Q-learning i gradienty polityki (PG) to dwa główne podejścia stosowane do rozwiązywania problemów RL. Podczas gdy Q-learning ma na celu przewidzenie nagrody za pewne działanie podjęte w określonym stanie, gradienty polityki bezpośrednio przewidują samo działanie. Jednak oba podejścia wydają mi się identyczne, tj. Przewidywanie maksymalnej nagrody za …

21 reinforcement-learning q-learning policy-gradients comparison

4

Jak radzić sobie z nieprawidłowymi ruchami w uczeniu się zbrojenia?

Chcę stworzyć sztuczną inteligencję, która może grać w pięć w jednym rzędzie / gomoku. Jak wspomniałem w tytule, chcę do tego wykorzystać naukę wzmacniającą. Używam metody gradientu zasad , a mianowicie REINFORCE, z linią bazową. Do przybliżenia wartości i funkcji polityki używam sieci neuronowej . Ma splotowe i w pełni …

20 machine-learning reinforcement-learning game-ai combinatorial-games

2

Jak zdefiniować stany w uczeniu się przez wzmocnienie?

Studiuję naukę wzmacniającą i jej warianty. Zaczynam rozumieć, jak działają algorytmy i jak mają one zastosowanie do MDP. To, czego nie rozumiem, to proces definiowania stanów MDP. W większości przykładów i samouczków reprezentują one coś prostego, jak kwadrat w siatce lub podobny. W przypadku bardziej skomplikowanych problemów, takich jak robot …

14 reinforcement-learning

2

Co to jest wydajność próbkowania i w jaki sposób można wykorzystać ważność próbkowania do jej osiągnięcia?

Na przykład tytuł tego artykułu brzmi: „Przykładowy krytyk aktorski z powtórką z doświadczenia”. Co to jest wydajność próbkowania i w jaki sposób można wykorzystać ważność próbkowania do jej osiągnięcia?

14 reinforcement-learning statistical-ai importance-sampling

3

Czy są inne zastosowania uczenia wzmacniającego niż gry?

Czy istnieje sposób nauczenia uczenia się przez wzmacnianie w aplikacjach innych niż gry? Jedyne przykłady, jakie mogę znaleźć w Internecie, to agenci gier. Rozumiem, że VNC kontroluje dane wejściowe do gier za pośrednictwem sieci wzmacniającej. Czy można to skonfigurować za pomocą oprogramowania CAD?

13 reinforcement-learning applications

3

Jak wdrożyć ograniczoną przestrzeń działania w uczeniu się przez wzmacnianie?

Koduję model uczenia się zbrojenia z agentem PPO dzięki bardzo dobrej bibliotece Tensorforce , zbudowanej na bazie Tensorflow. Pierwsza wersja była bardzo prosta i teraz nurkuję w bardziej złożonym środowisku, w którym wszystkie działania nie są dostępne na każdym kroku. Powiedzmy, że jest 5 akcji, a ich dostępność zależy od …

13 deep-learning reinforcement-learning

1

Dlaczego nie widzisz warstw rezygnacji na przykładach uczenia się zbrojenia?

Patrzyłem na naukę wzmacniania, a konkretnie bawiłem się, tworząc własne środowiska do użycia z SI OpenAI Gym. Korzystam z agentów z projektu stable_baselines do testowania go. Jedną z rzeczy, które zauważyłem w praktycznie wszystkich przykładach RL, jest to, że nigdy nie wydaje się, aby w żadnej sieci istniały warstwy usuwające. …

13 machine-learning reinforcement-learning overfitting dropout

1

Kiedy powinienem używać Reinforcement Learning vs PID Control?

Projektując rozwiązania problemów, takich jak Lunar Lander na OpenAIGym , Reinforcement Learning to kuszący sposób na zapewnienie agentowi odpowiedniej kontroli działania, tak aby z powodzeniem wylądować. Ale w jakich przypadkach algorytmy systemu sterowania, takie jak sterowniki PID , wykonałyby tylko odpowiednie zadanie, jeśli nie lepsze niż Reinforcement Learning? Pytania takie …

12 reinforcement-learning ai-design control-theory

1

Dlaczego DQN wymaga dwóch różnych sieci?

Przechodziłem przez tę implementację DQN i widzę, że na linii 124 i 125 zainicjowano dwie różne sieci Q. Z mojego zrozumienia, myślę, że jedna sieć przewiduje odpowiednie działanie, a druga sieć przewiduje docelowe wartości Q dla znalezienia błędu Bellmana. Dlaczego nie możemy stworzyć jednej sieci, która po prostu przewiduje wartość …

12 reinforcement-learning q-learning dqn

2

Dlaczego Q-learning nie jest zbieżny podczas korzystania z aproksymacji funkcji?

Tabelaryczny algorytm uczenia Q gwarantuje znalezienie optymalnego QQQ funkcjonować, Q∗Q∗Q^*, pod warunkiem spełnienia następujących warunków (warunki Robbins-Monro ) dotyczących wskaźnika uczenia się ∑tαt(s,a)=∞∑tαt(s,a)=∞\sum_{t} \alpha_t(s, a) = \infty ∑tα2t(s,a)<∞∑tαt2(s,a)<∞\sum_{t} \alpha_t^2(s, a) < \infty gdzie αt(s,a)αt(s,a)\alpha_t(s, a) oznacza współczynnik uczenia się używany podczas aktualizacji QQQ wartość związana ze stanem sss i akcja …

12 reinforcement-learning q-learning deep-rl proofs function-approximation

3

Dlaczego stopa dyskontowa w algorytmie REINFORCE pojawia się dwukrotnie?

Czytałem książkę Reinforcement Learning: An Introduction autorstwa Richarda S. Sutton i Andrew G. Barto (kompletny szkic, 5 listopada 2017 r.). Na stronie 271 przedstawiono pseudo-kod dla epizodycznej metody Monte-Carlo z zastosowaniem gradientowej polityki. Patrząc na ten pseudo-kod, nie rozumiem, dlaczego wydaje się, że stopa dyskontowa pojawia się 2 razy, raz …

11 reinforcement-learning algorithm rl-an-introduction reinforce

1

Jak pozostać aktualnym badaczem w społeczności ML / RL?

Jako student, który chce pracować nad uczeniem maszynowym, chciałbym wiedzieć, jak można rozpocząć studia i jak je śledzić, aby być na bieżąco. Na przykład jestem gotów pracować nad problemami RL i MAB, ale na te tematy jest ogromna literatura. Co więcej, tematy te są badane przez naukowców z różnych społeczności, …

11 machine-learning reinforcement-learning research markov-decision-process

1

Jak zastosować gradienty polityki w przypadku wielu ciągłych działań?

Trusted Region Policy Optimization (TRPO) i Proximal Policy Optimization (PPO) to dwa najnowocześniejsze algorytmy gradientowe. Podczas korzystania z pojedynczego działania ciągłego normalnie użyłbyś pewnego rozkładu prawdopodobieństwa (na przykład Gaussa) dla funkcji straty. Wersja przybliżona to: L ( θ ) = log( P(za1) ) A ,L.(θ)=log⁡(P.(za1))ZA,L(\theta) = \log(P(a_1)) A, gdzie ZAZAA …

11 deep-learning reinforcement-learning trpo

3

Czy optymalna polityka jest zawsze stochastyczna, jeśli środowisko jest również stochastyczne?

Czy optymalna polityka jest zawsze stochastyczna (tj. Mapa stanów do rozkładu prawdopodobieństwa na działania), jeśli środowisko jest również stochastyczne? Intuicyjnie, jeśli środowisko jest deterministyczne (to znaczy, jeśli agent jest w staniesssi podejmuje działanie , wtedy następny stan jest zawsze taki sam, bez względu na krok czasowy, wtedy optymalna polityka powinna …

10 reinforcement-learning stochastic-policy deterministic-policy policy environment

Pytania otagowane jako reinforcement-learning