Strojenie hiperparametrów w regresji procesu Gaussa

Próbuję dostroić hiperparametry algorytmu regresji procesu gaussowskiego, który zaimplementowałem. Chcę po prostu zmaksymalizować prawdopodobieństwo krańcowe dziennika podane przez formułę gdzie jest macierzą kowariancji z elementy gdzie oraz i są hiperparametrami.

\log (y | X, θ) = - \frac{1}{2} y^{T} K_{y}^{- 1} y - \frac{1}{2} \log (det (K)) - \frac{n}{2} \log (2 π)

$\log(\mathbf{y}|X,\mathbf{\theta})=-\frac{1}{2} \mathbf{y}^TK_y^{-1}\mathbf{y}-\frac{1}{2}\log(\det(K))-\frac{n}{2}\log(2\pi)$

K

$K$

K_{i j} = k (x_{i}, x_{j}) = b^{- 1} \exp (- \frac{1}{2} (x_{i} - x_{j})^{T} M (x_{i} - x_{j})) + a^{- 1} δ_{i j}

$K_{ij}=k(x_i,x_j)=b^{-1}\exp(-\frac{1}{2}(x_i-x_j)^TM(x_i-x_j))+a^{-1}\delta_{ij}$

M = l I

$M=lI$

a, b

$a,b$

l

$l$

częściowa pochodna logarytmicznych parametrów krańcowych prawdopodobieństwa wrt jest podawana przez następujący

\frac{\log (y | X, θ)}{d θ} = \frac{1}{2} t r a c e (K^{- 1} \frac{d K}{d θ}) + \frac{1}{2} (y \frac{d K}{d θ} K^{- 1} \frac{d K}{d θ} y)

$\frac{\log(\mathbf{y}|X,\mathbf{\theta})}{d\theta}=\frac{1}{2}\mathrm{trace}(K^{-1}\frac{dK}{d\theta})+\frac{1}{2}(\mathbf{y}\frac{dK}{d\theta}K^{-1}\frac{dK}{d\theta}\mathbf{y})$

Jako wpisy $K$ zależy od parametrów, tak jak pochodne i odwrotność $K$ . Oznacza to, że gdy wykorzystywany jest optymalizator oparty na gradiencie, ocena gradientu w danym punkcie (wartość parametru) będzie wymagała ponownego obliczenia macierzy kowariancji. W mojej aplikacji nie jest to możliwe, ponieważ obliczenie macierzy kowariancji od zera i obliczenie jej odwrotności w każdej iteracji wznoszenia gradientu jest zbyt kosztowne. Moje pytanie brzmi: jakie mam opcje, aby znaleźć dość dobrą kombinację tych trzech parametrów? i nie wiem też, który parametr najpierw zoptymalizować, i doceniłbym również wszelkie wskazówki dotyczące tego problemu.

— bfaskiplar
źródło

Z powodzeniem korzystałem z HMC do próbkowania hiper-parametrów GP dla zestawów danych o skromnych rozmiarach.

— Sycorax mówi Przywróć Monikę

Cześć @Sycorax, czy możesz nam powiedzieć, jak wykorzystałeś tę technikę do rozwiązania tego problemu? Mam ten sam problem, o jaki poprosił PO i zastanawiałem się nad wykorzystaniem MCMC do jego rozwiązania, ale nie wiem jeszcze, jak to zrobić.

— Willian Fuks

Właśnie zakodowałem GP w Stanie. Hiperparametry GP zostały zadeklarowane jako parametry modelu i odpowiednio wywnioskowane. To wygenerowało jeden zestaw prognoz dla każdej iteracji HMC. Gelman ilustruje, jak to wszystko działa w BDA3.

— Sycorax mówi Przywróć Monikę

Masz rację, że potrzebujesz nowego obliczenia macierzy kowariancji przy każdej iteracji wynurzania gradientu. Jeśli więc obliczenie macierzy nie jest możliwe dla twojego ustawienia, to myślę, że nie możesz użyć optymalizacji marginalnego prawdopodobieństwa opartej na gradiencie.

Moją sugestią jest stosowanie bezstratnych metod dostrajania hiperparametrów, takich jak wyszukiwanie siatki, wyszukiwanie losowe lub wyszukiwanie oparte na optymalizacji Bayesa . Metody te są szeroko stosowane do optymalizacji hiperparametrów innych algorytmów uczenia maszynowego, np. SVM.

Sugeruję wyszukiwanie siatki przy pierwszej próbie. Zasadniczo tworzysz tabelę (siatkę) możliwych hiperparametrów, wypróbowujesz każdy i szukasz najlepszej wydajności sprawdzania poprawności (lub najlepszego marginalnego prawdopodobieństwa).

Wyszukiwanie w siatce dałoby nieoptymalny zestaw hiperparametrów i musisz sam określić siatkę (wskazówka: zrób siatkę w skali logarytmicznej), ale potrzebne jest znacznie mniej obliczeń. (i nie potrzebujesz gradientu!)

Jeśli nie jesteś zaznajomiony z wyszukiwaniem siatki, możesz wyszukać Wikipedia: Hyperparameter Optimization - Grid Search

— Sangwoong Yoon
źródło