Statystyki i duże zbiory danych text-mining

2

Jak obliczyć zakłopotanie utrudnienia za pomocą Latent Dirichlet Allocation?

Jestem zdezorientowany, jak obliczyć zakłopotanie próby wstrzymania podczas wykonywania Latent Dirichlet Allocation (LDA). Dokumenty na ten temat wrócą nad tym, co sprawia, że myślę, że brakuje mi czegoś oczywistego ... Zakłopotanie jest postrzegane jako dobra miara wydajności dla LDA. Chodzi o to, że trzymasz próbkę wstrzymania, trenujesz LDA na pozostałych …

18 text-mining topic-models

5

Klasyfikacja tekstu na dużą skalę

Chcę dokonać klasyfikacji na podstawie moich danych tekstowych. Mam 300 classes200 dokumentów szkoleniowych na klasę (więc 60000 documents in total), co może skutkować bardzo wysokimi wymiarami danych (być może szukamy ponad 1 milion wymiarów ). Chciałbym wykonać następujące kroki w przygotowaniu (aby dać ci wyobrażenie o moich wymaganiach): Konwertowanie każdego …

18 machine-learning classification text-mining

2

Dlaczego klasyfikator regresji grzbietu działa całkiem dobrze w przypadku klasyfikacji tekstu?

Podczas eksperymentu dotyczącego klasyfikacji tekstu znalazłem klasyfikator grzbietowy generujący wyniki, które stale przewyższają testy wśród tych klasyfikatorów, które są częściej wymieniane i stosowane do zadań eksploracji tekstu, takich jak SVM, NB, kNN itp. Chociaż nie opracowałem na temat optymalizacji każdego klasyfikatora w tym konkretnym zadaniu klasyfikacji tekstu, z wyjątkiem kilku …

18 machine-learning classification text-mining ridge-regression

1

Chcę zbudować wskaźnik przestępczości i wskaźnik niestabilności politycznej oparty na wiadomościach

Mam ten poboczny projekt, w którym indeksuję lokalne serwisy informacyjne w moim kraju i chcę zbudować wskaźnik przestępczości i wskaźnik niestabilności politycznej. Omówiłem już część projektu dotyczącą wyszukiwania informacji. Mój plan to zrobić: Ekstrakcja tematu bez nadzoru. Wykrywanie bliskich duplikatów. Nadzorowana klasyfikacja i poziom incydentów (przestępczość / polityka - wysoka …

17 machine-learning classification text-mining

1

Parametry wejściowe do użycia ukrytego przydziału Dirichleta

Podczas korzystania z modelowania tematów (Latent Dirichlet Allocation) liczba tematów jest parametrem wejściowym, który użytkownik musi określić. Wydaje mi się, że powinniśmy również dostarczyć zbiór kandydujących zestawów tematów, z którymi proces Dirichleta musi próbkować? Czy moje rozumowanie jest prawidłowe? W praktyce, jak skonfigurować tego rodzaju zestaw tematów kandydujących?

17 machine-learning bayesian clustering text-mining dirichlet-distribution

1

Prognozowanie tematu przy użyciu ukrytego przydziału Dirichleta

Użyłem LDA do zbioru dokumentów i znalazłem kilka tematów. Wynikiem mojego kodu są dwie macierze zawierające prawdopodobieństwa; jedno prawdopodobieństwo doc-temat i drugie prawdopodobieństwo słowo-temat. Ale tak naprawdę nie wiem, jak wykorzystać te wyniki do przewidzenia tematu nowego dokumentu. Korzystam z próbkowania Gibbs. Czy ktoś wie jak? dzięki

17 text-mining topic-models

2

Kiedy łączymy redukcję wymiarowości z klastrowaniem?

Próbuję przeprowadzić klastrowanie na poziomie dokumentu. Skonstruowałem macierz częstotliwości termin-dokument i próbuję zgrupować te wektory o dużych wymiarach za pomocą k-średnich. Zamiast bezpośredniego grupowania, najpierw zastosowałem dekompozycję wektora osobliwego LSA (Latent Semantic Analysis) w celu uzyskania macierzy U, S, Vt, wybrałem odpowiedni próg za pomocą wykresu piargowego i zastosowałem grupowanie …

16 clustering pca dimensionality-reduction text-mining svd

2

Jaka jest dobra metoda grupowania krótkich tekstów?

Pracuję nad problemem klastrowania tekstu. Dane zawierają kilka zdań. Czy istnieje dobry algorytm, który osiąga wysoką dokładność w przypadku krótkiego tekstu? Czy możesz podać dobre referencje? Algorytmy takie jak KMeans, grupowanie widmowe nie działają dobrze w przypadku tego problemu.

15 machine-learning clustering text-mining

4

Text Mining: jak grupować teksty (np. Artykuły prasowe) za pomocą sztucznej inteligencji?

Zbudowałem kilka sieci neuronowych (MLP (w pełni połączony), Elman (cykliczny)) do różnych zadań, takich jak gra w Pong, klasyfikowanie odręcznych cyfr i tym podobne ... Dodatkowo próbowałem zbudować pierwsze sieci neuronowe splotowe, np. Do klasyfikowania wielocyfrowych notatek odręcznych, ale jestem całkowicie nowy w analizowaniu i grupowaniu tekstów, np. W zadaniach …

15 clustering neural-networks feature-selection text-mining self-organizing-maps

3

Jakie są różnice między utajoną analizą semantyczną (LSA), utajonym indeksowaniem semantycznym (LSI) i dekompozycją wartości osobliwych (SVD)?

Warunki te są często spotykane, ale chciałbym wiedzieć, jakie według ciebie są różnice, jeśli w ogóle. Dzięki

15 pca text-mining svd

5

Jak dokonać jednoklasowej klasyfikacji tekstu?

Mam do czynienia z problemem klasyfikacji tekstu. Przeszukiwacz sieciowy indeksuje strony określonej domeny i dla każdej strony chcę dowiedzieć się, czy należy ona do jednej konkretnej klasy, czy nie. Oznacza to, że jeśli nazwiebym tę klasę jako Pozytywna , każda zaindeksowana strona internetowa należy albo do klasy Pozytywnej, albo do …

14 classification text-mining naive-bayes binary-data

3

Modele tematyczne dla krótkich dokumentów

Zainspirowany tym pytaniem zastanawiam się, czy nie wykonano żadnej pracy nad modelami tematycznymi dla dużych kolekcji niezwykle krótkich tekstów. Moją intuicją jest to, że Twitter powinien być naturalną inspiracją dla takich modeli. Jednak z niektórych ograniczonych eksperymentów wygląda na to, że standardowe modele tematyczne (LDA itp.) Działają dość słabo na …

14 references text-mining topic-models natural-language

2

Przykłady eksploracji tekstu za pomocą R (pakiet tm)

Spędziłem trzy dni, bawiąc się tmpo przeczytaniu dokumentu roboczego przez znajomego, w którym zbadał korpus tekstowy za pomocą UCINET, pokazując chmury tekstowe, dwumodowe wykresy sieciowe i rozkład pojedynczej wartości (z grafiką, przy użyciu Staty). Wystąpiło wiele problemów: w systemie Mac OS X występują problemy z Javą za bibliotekami takimi jak …

14 r text-mining

2

W jakim momencie n-gramy przynosi efekt przeciwny do zamierzonego?

Podczas przetwarzania języka naturalnego można wziąć korpus i ocenić prawdopodobieństwo wystąpienia następnego słowa w sekwencji n. n jest zwykle wybierane jako 2 lub 3 (bigramy i trygramy). Czy istnieje znany punkt, w którym śledzenie danych dla n-tego łańcucha staje się nieproduktywne, biorąc pod uwagę czas potrzebny do sklasyfikowania konkretnego korpusu …

13 text-mining natural-language

1

Automatyczne wyodrębnianie słów kluczowych: użycie podobieństw cosinusu jako funkcji

Mam matrycę terminów dokumentowych , a teraz chciałbym wyodrębnić słowa kluczowe dla każdego dokumentu za pomocą nadzorowanej metody uczenia się (SVM, Naive Bayes, ...). W tym modelu używam już Tf-idf, znacznika Pos, ...M.M.M Ale teraz zastanawiam się nad kolejnymi. Mam macierz z podobieństwami cosinusowymi między warunkami.dodoC Czy istnieje możliwość wykorzystania …

12 text-mining feature-construction supervised-learning cosine-distance cosine-similarity

Pytania otagowane jako text-mining