Skorygowany wskaźnik Rand a skorygowane informacje wzajemne

Usiłuję ocenić wydajność klastrowania. Czytałem dokumentację skiscit-learn dotyczącą metryk . Nie rozumiem różnicy między ARI a AMI. Wydaje mi się, że robią to samo na dwa różne sposoby.

Cytowanie z dokumentacji:

Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i nasz algorytm grupowania tych samych próbek label_pred, skorygowany indeks Rand jest funkcją, która mierzy podobieństwo dwóch przypisań, ignorując permutacje i normalizując szanse.

Biorąc pod uwagę znajomość podstawowych przypisań do klasy prawdy label_true i nasze przypisania algorytmów klastrowych tych samych próbek label_pred, informacja wzajemna jest funkcją, która mierzy zgodność dwóch zadań, ignorując permutacje ... AMI zostało zaproponowane niedawno i jest znormalizowane względem szansa.

Czy powinienem użyć ich obu w mojej ocenie klastrów, czy byłoby to zbędne?

clustering python scikit-learn

— al27091
źródło

Pan Rand nie jest przypadkowy.

— Ma ZAKOŃCZENIE - Anony-Mousse,

Odpowiedzi:

Są dwa z kilkunastu, którzy wszyscy próbują porównać skupienia.

Ale nie są równoważne. Używają innej teorii.

Czasami ARI może preferować jeden wynik, a AMI inny. Ale często zgadzają się w preferencjach (nie w liczbach).

— Ma ZAKOŃCZENIE - Anony-Mus
źródło

Co masz na myśli

— mówiąc

Podczas porównywania wielu wyników.

— Ma ZAKOŃCZENIE - Anony-Mousse

Ogólna zasada jest następująca:

Użyj ARI, gdy klaster naziemnej prawdy ma duże równe klastry
Usa AMI, gdy grupowanie prawdy naziemnej jest niezrównoważone i istnieją małe klastry

Pracowałem nad tym tematem. Odniesienie: Korekta dla miar porównawczych szans klastra

— Simone
źródło

Zastosowałem HDBSCAN i KMeans na niektórych moich zestawach danych z odpowiednią liczbą klastrów dla KMeans i poprawnym min. Rozmiarem klastra dla HDBSCAN. Mój problem polega na tym, że postęp w AMI nie koreluje z postępem w ARI. Mam średnio 0,3 i 0,35 w AMI, co jest niskie. Otrzymuję wyniki ARI bliskie odpowiednio 0: 0,07 i 0,01. Nawet w przypadkach, w których uzyskałem lepszy AMI z HDBSCAN, moje wyniki ARI były bardzo zbliżone do 0, tj. HDBSCAN produkuje niższe ARI niż KMeans, nawet w przypadkach, w których AMI jest wyższy.

— ryuzakinho

Jakiego rodzaju wyniki grupowania oznaczają 0,3 i 0,35 dla AMI?

— Simone

pastebin.com/raw/WHvTxbLm Jest to jeden z przypadków, których nie rozumiem: Lepsze AMI nie oznacza lepszego ARI i odwrotnie. Czy jest jakiś powód, dla którego ufałbym względnej poprawie jednego lub drugiego. Nie jestem pewien, na jakie wskaźniki należy spojrzeć, aby poprawić swoje wyniki (z artykułu, który podłączyłeś, wydaje mi się, że powinien to być AMI, biorąc pod uwagę rozkład zajęć, ale nadal jestem zdezorientowany).

— ryuzakinho

W twoim przypadku wynik HDBSCAN pokazuje bardzo duży klaster i wiele małych, co z definicji jest niezrównoważonym rozwiązaniem. Dlatego AMI jest większy z DBSCAN. Twoja podstawowa prawda jest bardziej wyważona niż to rozwiązanie. Dlatego użyłbym ARI, aby wybrać rozwiązanie tutaj. To powiedziawszy, wydaje się, że uzyskane przez ciebie rozwiązania klastrowe nie są tak dobre. Może dlatego, że masz wiele klastrów. Czy możesz zmniejszyć liczbę klastrów, które chcesz? Czy masz funkcje, które należy wziąć pod uwagę, zamiast korzystania z klastrowania opartego wyłącznie na odległości?

— Simone

Po bardziej jakościowych testach okazuje się, że AMI był bardziej niezawodny w moim przypadku użycia. Rzeczywiście, AMI powiedział, że HDBSCAN był lepszy, a ja rzeczywiście go znalazłem. Chociaż miałem jeden duży klaster hałasu, pozostałe klastry były czystsze niż klastry KMEANS.

— ryuzakinho