Jak generować sąsiadów w algorytmie wspinaczki górskiej?

Wspinaczka pod górę wydaje się być bardzo potężnym narzędziem do optymalizacji. Jednak sposób generowania „sąsiadów” rozwiązania zawsze mnie zastanawia.

Na przykład optymalizuję rozwiązanie $(x_1, x_2, x_3)$. Tutaj$x_1$ jest w zasięgu $(0, 0.1)$, $x_2$ jest w zasięgu $(0, 100)$, $x_3$ jest w zasięgu $(0, 1000000)$. Jaki jest najlepszy sposób na generowanie „sąsiadów”? Naprawdę nie mogę tutaj wybrać „rozmiaru kroku”, ponieważ rozmiar kroku 1 jest ogromny$x_1$, ale bardzo niewielkie $x_3$.

Jaki jest najlepszy ogólny sposób generowania „sąsiadów” w algorytmach wspinania się na wzgórze?

Rozwiązanie Vincenta poprowadzi cię przez pierwszą przeszkodę. Być może nadal zastanawiasz się, jak wybrać rozmiar kroku, nawet jeśli wszystkie wymiary mają ten sam zakres. W takim przypadku pomaga zrozumieć zachowanie funkcji, dzięki czemu można wybrać odpowiednią wartość. Innym sposobem jest adaptacyjne ustawienie wielkości kroku na podstawie gradientu (lekko stąpaj, jeśli funkcja bardzo się zmienia).

Ten artykuł może mieć także kilka interesujących pomysłów: na algorytmie wspinaczki z adaptacyjnym rozmiarem kroku: w kierunku algorytmu optymalizacji czarnej skrzynki bez parametrów

Najłatwiejszym (i najbezpieczniejszym) jest sparametryzowanie problemu, aby wszystkie parametry miały porównywalny zakres, powiedzmy [0,1].

Alternatywnie możesz użyć innego rozmiaru kroku dla każdego parametru.