Statystyki i duże zbiory danych cosine-similarity

2

Czy podobieństwo cosinus jest identyczne z odległością euklidesową znormalizowaną przez l2?

Identyczne ten sposób, że spowoduje to identyczne wyniki dla podobieństwa kolejności pomiędzy wektorem u i zestaw wektorów V . Mam model przestrzeni wektorowej, który ma parametry pomiaru odległości (odległość euklidesowa, podobieństwo cosinusa) i techniki normalizacji (brak, l1, l2) jako parametrów. Z mojego zrozumienia, wyniki z ustawień [cosinus, none] powinny być …

27 normalization natural-language euclidean cosine-distance cosine-similarity

1

Czy istnieje związek między podobieństwem cosinusa, korelacją Pearsona i wynikiem Z?

Zastanawiam się, czy istnieje jakikolwiek związek między tymi 3 miarami. Nie mogę nawiązać między nimi połączenia, odwołując się do definicji (być może dlatego, że jestem nowy w tych definicjach i mam trudności z ich złapaniem). Wiem, że zakres podobieństwa cosinus może wynosić od 0 do 1, i że korelacja Pearsona …

17 correlation z-score cosine-similarity

4

Interpretacja ujemnego podobieństwa cosinus

Moje pytanie może być głupie. Więc z góry przepraszam. Próbowałem użyć modelu GLOVE wstępnie przeszkolonego przez grupę NLP Stanforda ( link ). Zauważyłem jednak, że moje wyniki podobieństwa wykazały pewne liczby ujemne. To natychmiast skłoniło mnie do spojrzenia na plik danych słowo-wektor. Najwyraźniej wartości w wektorach słów mogły być ujemne. …

17 machine-learning word2vec cosine-similarity

1

Automatyczne wyodrębnianie słów kluczowych: użycie podobieństw cosinusu jako funkcji

Mam matrycę terminów dokumentowych , a teraz chciałbym wyodrębnić słowa kluczowe dla każdego dokumentu za pomocą nadzorowanej metody uczenia się (SVM, Naive Bayes, ...). W tym modelu używam już Tf-idf, znacznika Pos, ...M.M.M Ale teraz zastanawiam się nad kolejnymi. Mam macierz z podobieństwami cosinusowymi między warunkami.dodoC Czy istnieje możliwość wykorzystania …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

1

Algorytmy osadzania słów pod względem wydajności

Próbuję osadzić około 60 milionów fraz w przestrzeni wektorowej , a następnie obliczyć podobieństwo między nimi. Używam sklearn's CountVectorizerz niestandardową wbudowaną funkcją tokenizera, która produkuje unigramy i bigramy. Okazuje się, że aby uzyskać sensowne reprezentacje, muszę pozwolić na ogromną liczbę kolumn, liniowych w liczbie wierszy. Prowadzi to do niewiarygodnie rzadkich …

11 machine-learning natural-language word2vec word-embeddings cosine-similarity

3

Średnie K dla podobieństw cosinusa vs. odległość euklidesowa (LSA)

Używam ukrytej analizy semantycznej do reprezentowania zbioru dokumentów w przestrzeni o niższych wymiarach. Chcę zgrupować te dokumenty w dwie grupy za pomocą k-średnich. Kilka lat temu zrobiłem to, używając gensim Pythona i pisząc własny algorytm k-średnich. Określiłem centroidy gromadowe na podstawie odległości euklidesowej, ale następnie zgrupowałem każdy dokument na podstawie …

10 k-means svd lsa cosine-distance cosine-similarity

2

Jak zmienia się podobieństwo cosinus po transformacji liniowej?

Czy istnieje matematyczny związek między: podobieństwo cosinus nazwa dwóch wektorów i orazsim(A,B)sim⁡(A,B)\operatorname{sim}(A, B)AAABBB cosinus podobieństwo z i , niejednorodnie skalowane poprzez danej matrycy ? Tutaj jest daną macierzą diagonalną z nierównymi elementami na przekątnej.sim(MA,MB)sim⁡(MA,MB)\operatorname{sim}(MA, MB)AAABBBMMMMMM Próbowałem przejrzeć obliczenia, ale nie mogłem dotrzeć do prostego / interesującego linku (wyrażenia). Zastanawiam się, …

9 linear-algebra cosine-similarity

Pytania otagowane jako cosine-similarity