Nauka danych nlp

1

Niedawno natknąłem się na terminy Word2Vec , Sentence2Vec i Doc2Vec i trochę zdezorientowany, ponieważ jestem nowy w semantyce wektorowej. Czy ktoś może wyjaśnić różnice w tych metodach prostymi słowami. Jakie są najbardziej odpowiednie zadania dla każdej metody?

18 machine-learning data-mining clustering nlp unsupervised-learning

5

Najlepszy praktyczny algorytm podobieństwa zdań

Mam dwa zdania, S1 i S2, oba o liczbie słów (zwykle) poniżej 15. Jakie są najbardziej praktyczne i skuteczne algorytmy (uczenie maszynowe), które są prawdopodobnie łatwe do wdrożenia (sieć neuronowa jest w porządku, chyba że architektura jest tak skomplikowana jak Google Inception itp.). Szukam algorytmu, który będzie działał dobrze bez …

18 nlp clustering word2vec similarity

1

NLP - dlaczego „nie” to słowo stop?

Próbuję usunąć słowa stop przed wykonaniem modelowania tematu. Zauważyłem, że niektóre słowa negacji (nie, ani nigdy, nigdy itd.) Są zwykle uważane za słowa stop. Na przykład NLTK, spacy i sklearn zawierają „not” na swoich listach słów kluczowych. Jeśli jednak usuniemy „nie” z poniższych zdań, tracą one znaczące znaczenie i nie …

18 nlp topic-model sentiment-analysis

4

Popraw szybkość implementacji t-sne w pythonie dla dużych danych

Chciałbym zmniejszyć wymiarowość na prawie 1 milionach wektorów, każdy o 200 wymiarach ( doc2vec). Używam do tego TSNEimplementacji z sklearn.manifoldmodułu, a głównym problemem jest złożoność czasu. Mimo method = barnes_hutto szybkość obliczeń jest wciąż niska. Czasami nawet kończy się pamięć. Używam go na 48-rdzeniowym procesorze z 130G RAM. Czy istnieje …

18 python bigdata nlp scikit-learn dimensionality-reduction

5

powiększ mapę cieplną dna morskiego

Tworzę plik corr()df z oryginalnego pliku df. corr()Df wyszedł 70 x 70 i to jest niemożliwe, aby wyobrazić sobie mapę cieplną ... sns.heatmap(df). Jeśli spróbuję wyświetlić corr = df.corr(), tabela nie pasuje do ekranu i widzę wszystkie korelacje. Czy jest to sposób na wydrukowanie całości dfbez względu na jej rozmiar …

17 visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

2

NLP - Czy Gazetteer to oszustwo?

W NLP istnieje koncepcja, Gazetteerktóra może być bardzo przydatna do tworzenia adnotacji. O ile rozumiem: Gazeter składa się z zestawu list zawierających nazwy podmiotów, takich jak miasta, organizacje, dni tygodnia itp. Listy te służą do wyszukiwania wystąpień tych nazw w tekście, np. Do zadania rozpoznawania nazwanych podmiotów. Jest to więc …

16 nlp named-entity-recognition

2

Wyodrębnij najbardziej pouczające części tekstu z dokumentów

Czy są jakieś artykuły lub dyskusje na temat wyodrębnienia części tekstu, która zawiera najwięcej informacji o bieżącym dokumencie. Na przykład mam duży zbiór dokumentów z tej samej domeny. Istnieją fragmenty tekstu zawierające kluczowe informacje, o których mówi pojedynczy dokument. Chcę wyodrębnić niektóre z tych części i wykorzystać je jako podsumowanie …

16 nlp text-mining

3

Jaka jest różnica między RNN generowania tekstu opartego na słowie i na znakach?

Czytając o generowaniu tekstu za pomocą Recurrent Neural Networks, zauważyłem, że niektóre przykłady zostały zaimplementowane w celu generowania tekstu słowo po słowie, a inne znak po znaku bez podania przyczyny. Jaka jest zatem różnica między modelami RNN, które przewidują podstawę tekstu na słowo, a tymi, które przewidują podstawę tekstu na …

15 machine-learning neural-network nlp rnn

4

Podobieństwo między dwoma słowami

Szukam biblioteki Python, która pomoże mi zidentyfikować podobieństwo między dwoma słowami lub zdaniami. Będę robił konwersję audio na tekst, co spowoduje, że słownik języka angielskiego lub słowo (słowa) nie w słowniku (może to być nazwa osoby lub firmy). Następnie muszę porównać je ze znanym słowem lub słowami. Przykład: 1) Wynik …

15 nlp nltk

5

Prognozowanie podobieństwa zdań

Szukam rozwiązania następującego problemu: Mam zestaw zdań jako zestaw danych i chcę móc wpisać nowe zdanie i znaleźć zdanie, które jest najbardziej podobne do tego w zestawie danych. Przykład mógłby wyglądać następująco: Nowe zdanie: „ I opened a new mailbox” Prognozowanie na podstawie zestawu danych: Sentence | Similarity A dog …

15 python nlp scikit-learn similarity text

4

Jak zainicjować nowy model word2vec przy pomocy wstępnie wyuczonych wag modelu?

Korzystam z biblioteki Gensim w Pythonie do używania i szkolenia modelu word2vector. Ostatnio zastanawiałem się nad zainicjowaniem wag modelu za pomocą wstępnie wyszkolonego modelu word2vec, takiego jak (model wstępnie przeszkolony GoogleNewDataset). Walczyłem z tym od kilku tygodni. Teraz właśnie sprawdziłem, że w gesim jest funkcja, która może mi pomóc zainicjować …

14 python nlp word-embeddings word2vec gensim

2

Jakie funkcje są ogólnie używane z drzew parsowanych w procesie klasyfikacji w NLP?

Badam różne typy struktur drzewiastych. Dwie powszechnie znane struktury drzewa analizy składniowej to: a) drzewo analizy składniowej oparte na okręgach wyborczych oraz b) struktury drzewiaste analizy składniowej opartych na zależnościach. Potrafię używać generowania obu typów struktur drzewiastych przy użyciu pakietu Stanford NLP. Nie jestem jednak pewien, jak wykorzystać te struktury …

13 machine-learning nlp feature-selection feature-extraction

1

Co to jest warstwa konwergentna 1D w głębokim uczeniu się?

Dobrze rozumiem rolę i mechanizm warstw splotowych w Deep Learning do przetwarzania obrazów w przypadku implementacji 2D lub 3D - „po prostu” próbują uchwycić wzory 2D na obrazach (w przypadku 3 kanałów w przypadku 3D). Ale ostatnio wpadłem na warstwy splotowe 1D w kontekście przetwarzania języka naturalnego, co jest dla …

13 deep-learning nlp convolution

3

Zapytanie języka naturalnego do SQL

Pracowałem nad opracowaniem systemu „Konwertowanie języka naturalnego na zapytania SQL”. Przeczytałem odpowiedzi z podobnych pytań, ale nie byłem w stanie uzyskać informacji, których szukałem. Poniżej znajduje się schemat blokowy takiego systemu, który mam z algorytmu przekształcania języka naturalnego w zapytania SQL dla relacyjnych baz danych autorstwa Garimy Singh, Arun Solanki …

13 machine-learning nlp sql natural-language-process

1

Więc jaki jest haczyk z LSTM?

Poszerzam swoją wiedzę o pakiecie Keras i korzystam z niektórych dostępnych modeli. Mam problem z klasyfikacją binarną NLP, który próbuję rozwiązać i stosuję różne modele. Po pracy z niektórymi wynikami i czytaniu coraz więcej o LSTM wydaje się, że to podejście jest znacznie lepsze niż cokolwiek innego, co próbowałem (w …

12 neural-network nlp lstm recurrent-neural-net

Pytania otagowane jako nlp