Który zakres wyszukiwania do określania optymalnych parametrów C i gamma SVM?

32

Używam SVM do klasyfikacji i próbuję określić optymalne parametry dla jądra liniowego i RBF. W przypadku jądra liniowego używam sprawdzania krzyżowego wyboru parametrów w celu określenia C, a dla jądra RBF używam wyszukiwania siatki w celu określenia C i gamma.

Mam 20 (numerycznych) funkcji i 70 przykładów szkoleniowych, które należy podzielić na 7 klas.

Którego zakresu wyszukiwania należy użyć do określenia optymalnych wartości parametrów C i gamma?

classification svm kernel-trick

— Kywia
źródło

31

Sprawdź Praktyczny przewodnik po klasyfikacji SVM dla niektórych wskaźników, szczególnie na stronie 5.

Zalecamy „wyszukiwanie siatki” na $C$ i $\gamma$ przy użyciu weryfikacji krzyżowej. Wypróbowuje się różne pary wartości $(C,\gamma)$ i wybiera się tę o najlepszej dokładności walidacji krzyżowej. Odkryliśmy, że wypróbowanie wykładniczo rosnących sekwencji $C$ i $\gamma$ jest praktyczną metodą identyfikacji dobrych parametrów (na przykład ). $C = 2^{-5},2^{-3},\ldots,2^{15};\gamma = 2^{-15},2^{-13},\ldots,2^{3}$

Pamiętaj, aby najpierw znormalizować swoje dane, a jeśli możesz, zbierz więcej danych, ponieważ na podstawie ich wyglądu problem może być mocno nieokreślony.

— Ciri
źródło

Czy testy rówieśnicze powinny być wykonywane ręcznie? nie ma biblioteki, aby to osiągnąć?

— x-rw

11

Sprawdź rozdział 2.3.2 tego artykułu autorstwa Chapelle i Ziena. Mają dobrą heurystykę, aby wybrać dobry zakres wyszukiwania dla jądra RBF i dla SVM. Cytuję $\sigma$ $C$

Aby określić dobre wartości pozostałych wolnych parametrów (np. Według CV), ważne jest wyszukiwanie we właściwej skali. Dlatego naprawiamy wartości domyślne dla i które mają właściwy rząd wielkości. W danej -class problemu używamy kwantylem odległościach parami wszystkich danych punktów jako domyślny dla . Domyślną wartością dla są odwrotności wariancji empirycznej w przestrzeni cech, którą można obliczyć $C$ $\sigma$ $c$ $1/c$ $D^\rho_{ij}$ $\sigma$ $C$ $s^2$ zmacierzyjądra. $s^2 = \frac{1}{n} \sum_i K_{ii} - \frac{1}{n^2}\sum_{i,j} K_{ij}$ $n\times n$ $K$

Następnie używają wielokrotności (np dla ) wartości domyślnej jako zakres wyszukiwania w siatce-wyszukiwać za pomocą sprawdzianu krzyżowego. To zawsze działało dla mnie bardzo dobrze. $2^k$ $k\in \{-2,...,2\}$

Oczywiście, my @ciri powiedziałem, normalizacja danych itp. Jest zawsze dobrym pomysłem.

— fabee
źródło

Myślę, że istnieje kilka równych receptur jądra rbf. Jeden z gamma, a drugi z sigma, tj. Gamma = 1/2 sigma ^ 2. Czy gamma w powyższej heurystyce odpowiada gamma, sigma lub sigma ^ 2? Znalazłem inne opisy tej samej heurystyki, które dotyczą gamma.

— maszyny

Jeśli sprawdzisz połączony papier, będzie to

\frac{1}{2 σ^{2}}

$\frac{1}{2\sigma^2}$

— fabee

@fabee Czy testy równorzędne powinny być wykonywane ręcznie? nie ma biblioteki, aby to osiągnąć?

— x-rw