Jak zdefiniować liczbę klastrów w klastrowaniu K-oznacza?

Czy jest jakiś sposób na określenie optymalnej liczby klastrów, czy powinienem po prostu wypróbować różne wartości i sprawdzić poziomy błędów, aby wybrać najlepszą wartość?

clustering unsupervised-learning

— Berkay
źródło

@berkay Jak zdefiniować poziom błędu dla tej nienadzorowanej metody? (czy masz na myśli

— przedział

@chl, mogę użyć sumy błędów kwadratu dla wszystkich klastrów lub ogólnej dokładności (w tym przypadku znam etykiety klas.)

— berkay

@berkay Prostym algorytmem znajdowania liczby klastrów jest obliczenie średniego WSS dla 20 przebiegów k-średnich na rosnącej liczbie klastrów (zaczynając od 2, a kończąc na powiedzmy 9 lub 10) i zachowując rozwiązanie, które ma minimalny WSS w tym zestawie klastrów. Inną metodą jest statystyka Gap . Ale jeśli masz już oznaczone wystąpienia, to dlaczego próbujesz zastosować metodę bez nadzoru?

— chl

@chl dzięki, dobre pytanie, możemy odgadnąć klastry w zależności od cech intencji, analizuję nowe cechy wtargnięcia, naśladowanie legalnych aplikacji.

— berkay

Odpowiedziałem na podobne pytanie za pomocą pół tuzina metod (stosujących R) tutaj: stackoverflow.com/a/15376462/1036500

— Ben

Używam metody CCC (Cubic Clustering Criteria). Poszukuję, aby CCC wzrosło do maksimum, gdy zwiększam liczbę klastrów o 1, a następnie obserwuję, kiedy CCC zaczyna spadać. W tym momencie biorę liczbę klastrów na (lokalnym) maksimum. Byłoby to podobne do używania wykresu piaskowego do wybierania liczby głównych składników.

Raport techniczny SAS A-108 Kryterium sześciennych klastrów ( pdf )

$n$ = liczba obserwacji = liczba w klastrze = liczba zmiennych = liczba klastrów = macierz danych = macierz klastrów oznacza = wskaźnik skupienia ( jeśli obs. w klastrze , 0 w przeciwnym razie)
$n_k$ $k$
$p$
$q$
$X$ $n\times p$
$M$ $q\times p$
$Z$ $z_{ik}=1$ $i$ $k$

Załóżmy, że każda zmienna ma średnią 0: ,
$Z’Z = \text{diag}(n_1, \cdots, n_q)$ $M = (Z’Z)-1Z’X$

$SS$ Macierz (ogółem) = = (między klastrami) macierz = = (wewnątrz klastrów) macierz = = $T$ $X’X$
$SS$ $B$ $M’ Z’Z M$
$SS$ $W$ $T-B$

$R^2 = 1 – \frac{\text{trace(W)}}{\text{trace}(T)}$
(trace = suma elementów ukośnych)

Ułóż kolumny w jedną długą kolumnę. Dokonaj regresji na produkcie Kroneckera dla z macierzą tożsamości Oblicz Oblicz dla tej regresji - to samo $X$
$Z$ $p\times p$
$R^2$ $R^2$

Ideą CCC jest porównanie otrzymanego dla danego zestawu klastrów z uzyskanym przez zgrupowanie równomiernie rozmieszczonego zestawu punktów w przestrzeni wymiarowej. $R^2$ $R^2$ $p$

— Ralph Winters
źródło

Istnieją inne kryteria oprócz CCC. Spójrz na Określanie liczby klastrów w zbiorze danych , aby zobaczyć główne.

— Vincent Labatut