Statystyki i duże zbiory danych clustering

1

Procedura wyboru eps i minPts dla DBSCAN

DBSCAN jest najczęściej cytowanym algorytmem klastrowania według literatury i może znaleźć klastry o dowolnym kształcie na podstawie gęstości. Ma dwa parametry eps (jako promień sąsiedztwa) i minPts (jako minimalni sąsiedzi, aby uznać punkt za punkt centralny), co moim zdaniem w dużym stopniu zależy od nich. Czy istnieje jakaś rutynowa lub …

14 clustering dbscan

2

Czy istnieje funkcja w R, która pobiera znalezione centra klastrów i przypisuje klastry do nowego zestawu danych

Mam dwie części wielowymiarowego zestawu danych, nazwijmy je trainitest . Chcę zbudować model na podstawie zestawu danych pociągu, a następnie zweryfikować go na zestawie danych testowych. Liczba klastrów jest znana. Próbowałem zastosować klastrowanie k-średnich w R i otrzymałem obiekt zawierający centra klastrów: kClust <- kmeans(train, centers=N, nstart=M) Czy w R …

14 r clustering k-means

4

Implementacja k-oznacza z niestandardową macierzą odległości na wejściu

Czy ktoś może mi wskazać implementację k-średnich (byłoby lepiej, gdyby w Matlabie), która może wprowadzić macierz odległości na wejściu? Standardowa implementacja Matlaba wymaga macierzy obserwacji na wejściu i nie jest możliwe niestandardowe zmienianie miary podobieństwa.

14 clustering matlab k-means

3

Czy muszę usunąć zmienne, które są skorelowane / współliniowe przed uruchomieniem kmeans?

Prowadzę kmeans, aby zidentyfikować klastry klientów. Mam około 100 zmiennych do identyfikacji klastrów. Każda z tych zmiennych reprezentuje% wydatków klienta na kategorię. Tak więc, jeśli mam 100 kategorii, mam te 100 zmiennych, więc suma tych zmiennych wynosi 100% dla każdego klienta. Teraz te zmienne są ściśle ze sobą skorelowane. Czy …

14 clustering data-mining k-means multicollinearity compositional-data

5

Klastrowanie (k-średnie lub w inny sposób) z ograniczeniem minimalnego rozmiaru klastra

Muszę grupować jednostki w klastrów, aby zminimalizować sumę kwadratów wewnątrz grupy (WSS), ale muszę upewnić się, że każda z klastrów zawiera co najmniej jednostek. Masz pojęcie, czy którakolwiek z funkcji klastrowania R pozwala na grupowanie w klastrów z zastrzeżeniem ograniczenia minimalnego rozmiaru klastra? Kmeans () nie wydaje się oferować opcji …

14 r clustering

5

Jak przekonwertować odległość (euklidesowa) na wynik podobieństwa

Korzystam z oznacza grupowanie głosów w klastrze. Kiedy porównuję wypowiedź do danych głośników w klastrze, otrzymam (na podstawie odległości euklidesowej) średnie zniekształcenie. Odległość ta może wynosić . Chcę przekonwertować tę odległość na wynik podobieństwa . Proszę o wskazówki, jak to osiągnąć.[ 0 , ∞ ] [ 0 , 1 ]kkk[0,∞][0,∞][0,\infty][0,1][0,1][0,1]

13 clustering k-means distance euclidean

1

Najnowocześniejsza deduplikacja

Jakie są najnowocześniejsze metody deduplikacji rekordów? Deduplikacja jest również czasami nazywana: łączenie rekordów, rozpoznawanie jednostek, rozpoznawanie tożsamości, scalanie / czyszczenie. Wiem na przykład o CBLOCK [1]. Byłbym wdzięczny, gdyby odpowiedzi zawierały również odniesienia do istniejącego oprogramowania wdrażającego metody. Wiem na przykład, że Mahout stosuje klastrowanie baldachimu . Jest też Duke, …

13 clustering data-cleaning record-linkage

3

Klaster Big Data w R i czy próbkowanie jest istotne?

Jestem nowy w nauce o danych i mam problem ze znalezieniem klastrów w zestawie danych z 200 000 wierszy i 50 kolumnami w R. Ponieważ dane mają zarówno zmienne liczbowe, jak i nominalne, metody takie jak K-średnie, które wykorzystują euklidesową miarę odległości, nie wydają się właściwym wyborem. Zwracam się więc …

13 r clustering sampling large-data

5

Odpowiednie techniki grupowania danych czasowych?

Mam dane czasowe częstotliwości aktywności. Chcę zidentyfikować klastry w danych, które wskazują różne okresy o podobnych poziomach aktywności. Idealnie chcę zidentyfikować klastry bez określania liczby klastrów a priori. Jakie są odpowiednie techniki klastrowania? Jeśli moje pytanie nie zawiera wystarczającej ilości informacji, aby odpowiedzieć, jakie informacje muszę podać, aby określić odpowiednie …

13 machine-learning clustering

4

Inicjalizowanie centrów K-średnich za pomocą losowych podpróbek zestawu danych?

Jeśli mam określony zestaw danych, jak mądre byłoby inicjowanie centrów klastrowych przy użyciu losowych próbek tego zestawu danych? Załóżmy na przykład, że chcę 5 clusters. Przyjmuję, 5 random samplespowiedzmy, size=20%oryginalny zestaw danych. Czy mogę wziąć średnią z każdej z 5 losowych próbek i użyć tych środków jako moich 5 początkowych …

13 clustering k-means unsupervised-learning

2

Wykorzystanie statystycznego testu istotności do sprawdzenia poprawności wyników analizy skupień

Badam wykorzystanie statystycznego testowania istotności (SST) do walidacji wyników analizy skupień. Znalazłem kilka artykułów na ten temat, takich jak „ Statystyczne znaczenie grupowania dla danych o dużych wymiarach i małych próbkach ” Liu, Yufeng i in. (2008) „ O niektórych testach istotności w analizie skupień ”, Bock (1985) Ale jestem …

13 hypothesis-testing clustering statistical-significance

2

Zrozumienie porównań wyników grupowania

Eksperymentuję z klasyfikowaniem danych do grup. Jestem całkiem nowy w tym temacie i staram się zrozumieć wyniki niektórych analiz. Korzystając z przykładów z Quick-R , Rsugerowanych jest kilka pakietów. Próbowałem użyć dwóch z tych pakietów ( fpcużywając kmeansfunkcji i mclust). Jednym aspektem tej analizy, którego nie rozumiem, jest porównanie wyników. …

13 r clustering

1

LARS vs zejście współrzędnych dla lasso

Jakie są zalety i wady korzystania z LARS [1] w porównaniu ze stosowaniem opadania współrzędnych w celu dopasowania regresji liniowej regulowanej przez L1? Interesują mnie głównie aspekty wydajności (moje problemy występują zwykle Nw setkach tysięcy i p<20). Jednak wszelkie inne spostrzeżenia byłyby również mile widziane. edytuj: Od kiedy opublikowałem pytanie, …

13 regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

4

Czy nierówności trójkąta są spełnione dla tych odległości opartych na korelacji?

W przypadku hierarchicznego grupowania często widzę następujące dwie „metryki” (nie do końca mówią) do pomiaru odległości między dwiema losowymi zmiennymi i : \ newcommand {\ Cor} {\ mathrm {Cor}} \ begin {align} d_1 (X, Y) i = 1- | \ Cor (X, Y) |, \\ d_2 (X, Y) i = …

13 correlation clustering distance metric

4

Co robisz, gdy nie ma punktu łokcia dla grupowania kmeanów

Nauczyłem się, że wybierając liczbę klastrów, powinieneś poszukać punktu łokcia dla różnych wartości K. Wykreśliłem wartości withinss dla wartości k od 1 do 10, ale nie widzę wyraźnego łokieć. Co robisz w takim przypadku?

13 clustering k-means

Pytania otagowane jako clustering