Zastosowanie parametru Gamma w maszynach wektorów pomocniczych

9

Podczas używania libsvmparametr jest parametrem funkcji jądra. Jego domyślna wartość to $\gamma$

γ = \frac{1}{number of features.}

$\gamma = \frac{1}{\text{number of features.}}$

Czy istnieją jakieś teoretyczne wskazówki dotyczące konfigurowania tego parametru oprócz istniejących metod, np. Wyszukiwania siatki?

— użytkownik3269
źródło

8

Sugerowałbym następujące wskazówki teoretyczne. Gdy używasz jądra Gaussa RBF, twoja powierzchnia oddzielająca będzie oparta na kombinacji powierzchni w kształcie dzwonu wyśrodkowanych na każdym wektorze podporowym. Szerokość każdej powierzchni w kształcie dzwonu będzie odwrotnie proporcjonalna do . Jeśli ta szerokość jest mniejsza niż minimalna odległość danych dla par, to zasadniczo masz do czynienia z przeregulowaniem. Jeśli ta szerokość jest większa niż maksymalna odległość danych dla par, wszystkie punkty należą do jednej klasy i Ty też nie masz dobrej wydajności. Zatem optymalna szerokość powinna być gdzieś pomiędzy tymi dwoma skrajnościami. $\gamma$

— Lew
źródło

pair-wise distance for your data= prosta odległość euklidesowa po skalowaniu?

— ihadanny

5

Nie, zasadniczo zależy to od danych. Wyszukiwanie w siatce (ponad hiperparametrami transformowanymi logarytmicznie) jest bardzo dobrą metodą, jeśli masz tylko niewielką liczbę hiperparametrów do dostrojenia, ale nie ustawiasz zbyt dobrej rozdzielczości siatki lub prawdopodobnie przesadzasz strojenie kryterium. W przypadku problemów z większą liczbą parametrów jądra uważam, że metoda simpleksowa Neldera-Meada działa dobrze.

— Dikran Torbacz
źródło

Dikran, dzięki za odpowiedź. Czy możesz bardziej szczegółowo omówić „zależne od danych”? Jaki jest związek między r a zestawem danych? Lub innymi słowy, biorąc pod uwagę zestaw danych, czy istnieje sposób zdefiniowania r na podstawie tych danych?

— user3269,

1

Zasadniczo „zależne od danych” oznacza po prostu, że najlepsze ustawienia będą się różnić w zależności od konkretnej struktury danych i generalnie nie ma lepszego sposobu na ich ustawienie niż minimalizacja błędu weryfikacji krzyżowej. Metody jądra mogą naprawdę przydać się bardziej teoretycznej analizie, jak przejść do nauki jądra, ale niestety jest to matematycznie bardzo trudne.

— Dikran Marsupial