Znalezienie pierwiastka dla funkcji stochastycznej

Załóżmy, że mamy funkcję , którą możemy obserwować tylko przez pewien hałas. Nie możemy obliczyć bezpośrednio, tylko gdzie to jakiś losowy szum. (W praktyce: obliczam przy użyciu metody Monte Carlo.) $f(x)$ $f(x)$ $f(x) + \eta$ $\eta$ $f(x)$

Jakie metody są dostępne do znalezienia pierwiastków , tj. Obliczenia , aby ? $f$ $x$ $f(x) = 0$

Szukam metod, które minimalizują liczbę ocen potrzebnych dla , ponieważ jest to kosztowne obliczeniowo. $f(x)+\eta$

Szczególnie interesują mnie metody, które uogólniają na wiele wymiarów (tzn. Rozwiązują ). $f(x,y) = 0, g(x,y) = 0$

Interesują mnie również metody, które mogą wykorzystywać pewne informacje na temat wariancji , ponieważ ich oszacowanie może być dostępne podczas obliczania przy użyciu MCMC. $\eta$ $f(x)$

approximation

— Szabolcs
źródło

Nie jestem pewien, jakie tagi są odpowiednie dla tego pytania, proszę o pomoc w ponownym tagowaniu.

— Szabolcs

Szczerze mówiąc, znalazłem przybliżenie Stochastyczne , ale bardzo mało praktycznych informacji z przykładami lub praktyczną dyskusją o tym, kiedy działa dobrze, a kiedy nie. Większość informacji znajduje się w artykułach akademickich, które wydają się wymagać sporo pracy, aby przekształcić je w praktyczną aplikację. Kolejną rzeczą, którą znalazłem, jest słowo kluczowe Szacowanie bez wiarygodności, które rozwiązuje bardzo podobny problem i jest więcej praktycznych informacji dostępnych online. Czy jest coś jeszcze? Referencje są mile widziane!

— Szabolcs

ciekawy problem. Przypuszczam, że wszystkie metody gradientowe wychodzą przez okno

— Aksakal

także w twoim przypadku problem jest trudniejszy: możesz kontrolować

przez MC

v a r [η]

$var[\eta]$

— Aksakal

Dodam dodatkowe 50 do nagrody Glen_b za dobrą odpowiedź.

— Szabolcs

Przydatne mogą być następujące odniesienia:

Pasupathy, R.and Kim, S. (2011) Stochastyczny problem znajdowania korzeni: przegląd, rozwiązania i pytania otwarte. Transakcje ACM dotyczące modelowania i symulacji komputerowych, 21 (3). [ DOI ] [ przedruk ]

Waeber, R. (2013) Probabilistyczna bisekcja poszukiwanie stochastycznego znalezienia korzeni. Rozprawa doktorska, Cornell University, Ithaca. [ pdf ]

— QuantIbex
źródło

(+1) Odpowiedź na pytanie z cytatem rozprawy z 2013 roku jest całkiem niesamowita.

— Sycorax mówi Przywróć Monikę

Google-fu tego jest silny

— bdeonovic

Pierwszy cytowany artykuł jest przydatny, ale należy zauważyć, że wciąż jest sporo pracy, aby zastosować metody w praktyce.

— Szabolcs

Byłoby naprawdę miło, gdyby ktoś, kto przeszedł przez te metody, mógł oszacować, ile pracy zajmuje przejście od papierowej do najprostszej implementacji. Rzucił okiem na pierwszy artykuł i wydaje się dość gęsty.

— Ramon Martinez,

Myślę, że dla tego rodzaju problemów można użyć stochastycznego spadku, patrz np. Finzi.psych.upenn.edu/R/library/sgd/html/sgd.html

— Tom Wenseleers