Pytania otagowane jako word-embeddings

Osadzanie słów to zbiorcza nazwa zestawu technik modelowania języka i funkcji uczenia się w NLP, w których słowa są odwzorowywane na wektory liczb rzeczywistych w niewielkiej przestrzeni wymiarowej w stosunku do rozmiaru słownictwa.

4
Intuicyjne wyjaśnienie utraty szumu (NCE)?
Czytam o NCE (forma próbkowania kandydata) z tych dwóch źródeł: Zapis Tensorflow Oryginalny papier Czy ktoś może mi pomóc w następujących kwestiach: Proste wyjaśnienie, w jaki sposób działa NCE (dla mnie powyższe było trudne do przeanalizowania i zrozumienia, więc coś intuicyjnego, które prowadzi do przedstawionej matematyki, byłoby świetne) Po punkcie …
3
Jaki jest lepszy wkład w Word2Vec?
To jest bardziej ogólne pytanie NLP. Jaki jest odpowiedni wkład, aby nauczyć się osadzania słów, a mianowicie Word2Vec? Czy wszystkie zdania należące do artykułu powinny być osobnym dokumentem w korpusie? A może każdy artykuł powinien być dokumentem we wspomnianym korpusie? To tylko przykład użycia Pythona i gensim. Korpus podzielony według …
2
Przewidywanie słowa za pomocą modelu Word2vec
Biorąc pod uwagę zdanie: „Kiedy otworzę drzwi ?? , zacznie się automatycznie nagrzewać” Chciałbym uzyskać listę możliwych słów w? z prawdopodobieństwem. Podstawową koncepcją stosowaną w modelu word2vec jest „przewidywanie” słowa na podstawie otaczającego kontekstu. Po zbudowaniu modelu, jaka jest właściwa operacja wektorów kontekstowych, aby wykonać moje zadanie przewidywania nowych zdań? …
4
Jak mogę uzyskać miarę semantycznego podobieństwa słów?
Jak najlepiej ustalić semantyczne podobieństwo słów? Word2Vec jest w porządku, ale nie idealny: # Using the 840B word Common Crawl GloVe vectors with gensim: # 'hot' is closer to 'cold' than 'warm' In [7]: model.similarity('hot', 'cold') Out[7]: 0.59720456121072973 In [8]: model.similarity('hot', 'warm') Out[8]: 0.56784095376659627 # Cold is much closer to …
2
Doc2Vec - Jak oznaczyć akapity (gensim)
Zastanawiam się, jak oznaczyć (tagować) zdania / akapity / dokumenty za pomocą doc2vec w gensim - z praktycznego punktu widzenia. Czy musisz mieć każde zdanie / akapit / dokument z własną unikalną etykietą (np. „Wysłane_123”)? Wydaje się to przydatne, jeśli chcesz powiedzieć „jakie słowa lub zdania są najbardziej podobne do …
5
powiększ mapę cieplną dna morskiego
Tworzę plik corr()df z oryginalnego pliku df. corr()Df wyszedł 70 x 70 i to jest niemożliwe, aby wyobrazić sobie mapę cieplną ... sns.heatmap(df). Jeśli spróbuję wyświetlić corr = df.corr(), tabela nie pasuje do ekranu i widzę wszystkie korelacje. Czy jest to sposób na wydrukowanie całości dfbez względu na jej rozmiar …
17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 
4
Jak zainicjować nowy model word2vec przy pomocy wstępnie wyuczonych wag modelu?
Korzystam z biblioteki Gensim w Pythonie do używania i szkolenia modelu word2vector. Ostatnio zastanawiałem się nad zainicjowaniem wag modelu za pomocą wstępnie wyszkolonego modelu word2vec, takiego jak (model wstępnie przeszkolony GoogleNewDataset). Walczyłem z tym od kilku tygodni. Teraz właśnie sprawdziłem, że w gesim jest funkcja, która może mi pomóc zainicjować …
3
Czy są jakieś dobre gotowe modele językowe dla Pythona?
Prototypuję aplikację i potrzebuję modelu językowego, aby obliczyć zakłopotanie w przypadku niektórych wygenerowanych zdań. Czy istnieje jakiś wyuczony model języka w Pythonie, którego można łatwo używać? Coś prostego jak model = LanguageModel('en') p1 = model.perplexity('This is a well constructed sentence') p2 = model.perplexity('Bunny lamp robert junior pancake') assert p1 < …
11 python  nlp  language-model  r  statistics  linear-regression  machine-learning  classification  random-forest  xgboost  python  sampling  data-mining  orange  predictive-modeling  recommender-system  statistics  dimensionality-reduction  pca  machine-learning  python  deep-learning  keras  reinforcement-learning  neural-network  image-classification  r  dplyr  deep-learning  keras  tensorflow  lstm  dropout  machine-learning  sampling  categorical-data  data-imputation  machine-learning  deep-learning  machine-learning-model  dropout  deep-network  pandas  data-cleaning  data-science-model  aggregation  python  neural-network  reinforcement-learning  policy-gradients  r  dataframe  dataset  statistics  prediction  forecasting  r  k-means  python  scikit-learn  labels  python  orange  cloud-computing  machine-learning  neural-network  deep-learning  rnn  recurrent-neural-net  logistic-regression  missing-data  deep-learning  autoencoder  apache-hadoop  time-series  data  preprocessing  classification  predictive-modeling  time-series  machine-learning  python  feature-selection  autoencoder  deep-learning  keras  tensorflow  lstm  word-embeddings  predictive-modeling  prediction  machine-learning-model  machine-learning  classification  binary  theory  machine-learning  neural-network  time-series  lstm  rnn  neural-network  deep-learning  keras  tensorflow  convnet  computer-vision 
4
W jaki sposób word2vec może być wykorzystywany do identyfikacji niewidocznych słów i powiązania ich z już wyszkolonymi danymi
Pracowałem nad modelem gensim word2vec i uznałem go za naprawdę interesujący. Interesuje mnie odkrycie, jak nieznane / niewidoczne słowo po sprawdzeniu z modelem będzie w stanie uzyskać podobne terminy z wyuczonego modelu. czy to możliwe? Czy Word2vec można do tego dostosować? Lub korpus szkoleniowy musi zawierać wszystkie słowa, których chcę …
3
Czy Word2Vec i Doc2Vec są reprezentacją dystrybucyjną, czy reprezentacją rozproszoną?
Czytałem, że reprezentacja dystrybucyjna opiera się na hipotezie dystrybucyjnej, że słowa występujące w podobnym kontekście mają zwykle podobne znaczenie. Word2Vec i Doc2Vec są modelowane zgodnie z tą hipotezą. Ale w oryginalnym artykule nawet one są zatytułowane jako Distributed representation of words and phrasesi Distributed representation of sentences and documents. Tak …
1
Problem z klasyfikacją tekstu: czy Word2Vec / NN jest najlepszym podejściem?
Chcę zaprojektować system, który po akapicie tekstu będzie mógł go skategoryzować i zidentyfikować kontekst: Jest szkolony z akapitów tekstowych generowanych przez użytkowników (takich jak komentarze / pytania / odpowiedzi) Każdy element w zestawie treningowym zostanie oznaczony. Więc na przykład („kategoria 1”, „tekst akapit”) Będą setki kategorii Jakie byłoby najlepsze podejście …
1
Ile danych treningowych potrzebuje word2vec?
Chciałbym porównać różnicę między tym samym słowem wymienionym w różnych źródłach. To jest, w jaki sposób autorzy różnią się w użyciu źle zdefiniowanych słów, takich jak „demokracja”. Krótki plan był Weź książki, w których wzmianka o „demokracji” to zwykły tekst W każdej książki, wymienić democracyzdemocracy_%AuthorName% Trenuj word2vecmodel na tych książkach …
2
Cechy wektorów słownych w word2vec
Próbuję przeprowadzić analizę sentymentu. Aby przekonwertować słowa na wektory słów, używam modelu word2vec. Załóżmy, że mam wszystkie zdania na liście o nazwie „zdania” i przekazuję te zdania do word2vec w następujący sposób: model = word2vec.Word2Vec(sentences, workers=4 , min_count=40, size=300, window=5, sample=1e-3) Ponieważ jestem nobem wektory słów, mam dwie wątpliwości. 1- …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.