Nauka danych nlp

4

Utajony przydział Dirichleta a hierarchiczny proces Dirichleta

Utajone przydzielanie Dirichleta (LDA) i hierarchiczny proces Dirichleta (HDP) to procesy modelowania tematów. Główną różnicą jest to, że LDA wymaga specyfikacji liczby tematów, a HDP nie. Dlaczego to jest takie? A jakie są różnice, zalety i wady obu metod modelowania tematów?

49 nlp topic-model lda

5

Jakie są standardowe sposoby obliczania odległości między dokumentami?

Kiedy mówię „dokument”, mam na myśli strony internetowe, takie jak artykuły z Wikipedii i wiadomości. Wolę odpowiedzi podające albo waniliowe leksykalne wskaźniki odległości, albo najnowocześniejsze semantyczne mierniki odległości, z silniejszą preferencją dla tych ostatnich.

34 machine-learning data-mining nlp text-mining similarity

1

Dlaczego xgboost jest o wiele szybszy niż sklearn GradientBoostingClassifier?

Próbuję wytrenować model zwiększania gradientu na ponad 50 tysiącach przykładów ze 100 funkcjami numerycznymi. XGBClassifierobsługuje 500 drzew w ciągu 43 sekund na mojej maszynie, a GradientBoostingClassifierobsługuje tylko 10 drzew (!) w 1 minutę i 2 sekundy :( Nie zawracałem sobie głowy próbą wyhodowania 500 drzew, ponieważ zajmie to godziny. Używam …

29 scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

4

Jakich algorytmów należy użyć do przeprowadzenia klasyfikacji zadania na podstawie danych wznawiania?

Zauważ, że robię wszystko w R. Problem wygląda następująco: Zasadniczo mam listę CV (CV). Niektórzy kandydaci będą mieli wcześniej doświadczenie zawodowe, a niektórzy nie. Celem jest tutaj: na podstawie tekstu w życiorysach chcę podzielić je na różne sektory pracy. Zwłaszcza w tych przypadkach, w których kandydaci nie mają doświadczenia / …

28 machine-learning classification nlp text-mining

3

Ogólne podejście do wyodrębnienia tekstu kluczowego ze zdania (NLP)

Biorąc pod uwagę zdanie: Complimentary gym access for two for the length of stay ($12 value per person per day) Jakie ogólne podejście mogę zastosować, aby zidentyfikować słowo „gym” lub „gym access”?

27 machine-learning nlp text-mining data-cleaning

4

Word2Vec do rozpoznawania nazwanych jednostek

Chcę użyć implementacji word2vec Google do zbudowania systemu rozpoznawania nazwanych jednostek. Słyszałem, że rekurencyjne sieci neuronowe z wsteczną propagacją przez strukturę dobrze nadają się do zadań rozpoznawania nazwanych bytów, ale nie byłem w stanie znaleźć porządnej implementacji lub przyzwoitego samouczka dla tego typu modelu. Ponieważ pracuję z nietypowym korpusem, standardowe …

25 machine-learning python neural-network nlp

3

Dlaczego społeczności NLP i Machine Learning są zainteresowane głębokim uczeniem się?

Mam nadzieję, że możesz mi pomóc, ponieważ mam kilka pytań na ten temat. Jestem nowy w dziedzinie głębokiego uczenia się i chociaż przeprowadziłem kilka samouczków, nie mogę nawiązywać ani rozróżniać pojęć.

24 machine-learning data-mining neural-network nlp deep-learning

3

Jakie jest kodowanie pozycyjne w modelu transformatora?

Jestem nowy w ML i to jest moje pierwsze pytanie tutaj, więc przepraszam, jeśli moje pytanie jest głupie. Staram się przeczytać i zrozumieć artykuł. Uwaga jest wszystkim, czego potrzebujesz, i jest tam zdjęcie: Nie wiem, co to jest kodowanie pozycyjne . słuchając niektórych filmów z YouTube odkryłem, że jest to …

23 nlp encoding attention-mechanism transformer

3

Jaki jest lepszy wkład w Word2Vec?

To jest bardziej ogólne pytanie NLP. Jaki jest odpowiedni wkład, aby nauczyć się osadzania słów, a mianowicie Word2Vec? Czy wszystkie zdania należące do artykułu powinny być osobnym dokumentem w korpusie? A może każdy artykuł powinien być dokumentem we wspomnianym korpusie? To tylko przykład użycia Pythona i gensim. Korpus podzielony według …

22 nlp word-embeddings

3

Jak załadować wstępnie przeszkolony model FastText za pomocą Gensim?

Próbowałem załadować wstępnie wyszkolony model fastText stąd Model Fasttext . Korzystam z wiki.simple.en from gensim.models.keyedvectors import KeyedVectors word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) Ale pokazuje następujące błędy Traceback (most recent call last): File "nltk_check.py", line 28, in <module> word_vectors = KeyedVectors.load_word2vec_format('wiki.simple.bin', binary=True) File "P:\major_project\venv\lib\sitepackages\gensim\models\keyedvectors.py",line 206, in load_word2vec_format header = utils.to_unicode(fin.readline(), encoding=encoding) File …

21 nlp gensim

2

Przewidywanie słowa za pomocą modelu Word2vec

Biorąc pod uwagę zdanie: „Kiedy otworzę drzwi ?? , zacznie się automatycznie nagrzewać” Chciałbym uzyskać listę możliwych słów w? z prawdopodobieństwem. Podstawową koncepcją stosowaną w modelu word2vec jest „przewidywanie” słowa na podstawie otaczającego kontekstu. Po zbudowaniu modelu, jaka jest właściwa operacja wektorów kontekstowych, aby wykonać moje zadanie przewidywania nowych zdań? …

20 nlp predictive-modeling word-embeddings

4

Jak mogę uzyskać miarę semantycznego podobieństwa słów?

Jak najlepiej ustalić semantyczne podobieństwo słów? Word2Vec jest w porządku, ale nie idealny: # Using the 840B word Common Crawl GloVe vectors with gensim: # 'hot' is closer to 'cold' than 'warm' In [7]: model.similarity('hot', 'cold') Out[7]: 0.59720456121072973 In [8]: model.similarity('hot', 'warm') Out[8]: 0.56784095376659627 # Cold is much closer to …

20 nlp word-embeddings word2vec nltk

3

Jak stworzyć listę powiązanych słów na podstawie początkowych słów kluczowych?

Niedawno widziałem fajną funkcję, która była kiedyś dostępna w Arkuszach Google: zaczynasz od napisania kilku powiązanych słów kluczowych w kolejnych komórkach, na przykład: „niebieski”, „zielony”, „żółty”, i automatycznie generuje podobne słowa kluczowe (w tym przypadku , inne kolory). Zobacz więcej przykładów w tym filmie na YouTube . Chciałbym to odtworzyć …

19 nlp text-mining freebase

3

Zestaw danych do rozpoznawania nazwanych jednostek w tekście nieformalnym

Obecnie szukam zestawów danych z etykietami, aby trenować model wyodrębniania nazwanych elementów z nieformalnego tekstu (coś podobnego do tweetów). Ponieważ w dokumentach w moim zestawie danych często brakuje wielkich liter i gramatyki, szukam danych poza domeną, które są nieco bardziej „nieformalne” niż artykuły prasowe i wpisy do dziennika, że wiele …

18 dataset nlp

4

Jak dodawać adnotacje do dokumentów tekstowych za pomocą metadanych?

Mając wiele dokumentów tekstowych (w języku naturalnym, nieuporządkowanym), jakie są możliwe sposoby przypisywania im niektórych semantycznych metadanych? Rozważmy na przykład krótki dokument: I saw the company's manager last day. Aby móc z niej wyodrębnić informacje, muszą być opatrzone adnotacjami dodatkowymi danymi, aby były mniej niejednoznaczne. Proces wyszukiwania takich metadanych nie …

18 nlp metadata data-cleaning text-mining

Pytania otagowane jako nlp