Problem z klasyfikacją tekstu: czy Word2Vec / NN jest najlepszym podejściem?

Chcę zaprojektować system, który po akapicie tekstu będzie mógł go skategoryzować i zidentyfikować kontekst:

Jest szkolony z akapitów tekstowych generowanych przez użytkowników (takich jak komentarze / pytania / odpowiedzi)
Każdy element w zestawie treningowym zostanie oznaczony. Więc na przykład („kategoria 1”, „tekst akapit”)
Będą setki kategorii

Jakie byłoby najlepsze podejście do budowy takiego systemu? Patrzyłem na kilka różnych opcji, a poniżej znajduje się lista możliwych rozwiązań. Czy Word2Vec / NN jest obecnie najlepszym rozwiązaniem?

Sieć rekurencyjnej sieci neuronowej Tensor zasilana uśrednionymi danymi Word2Vec
RNTN i wektor akapitowy ( https://cs.stanford.edu/~quocle/paragraph_vector.pdf )?
TF-IDF używany w sieci Deep Belief Network
TF-IDF i regresja logistyczna
Worek słów i klasyfikacja Naive Bayes

— Shankar
źródło

Czy możesz wyjaśnić, jakie kategorie? Czy będzie musiał obsługiwać nowe kategorie i / lub niewidoczne słowa? Wymagania dotyczące rzadkich warunków i niewidocznych kategorii pomogą w zaprojektowaniu systemu.

— NBartley,

Dzięki @NBartley. Niewidzialne słowa będą również dużym prawdopodobieństwem. Dane wejściowe będą treściami generowanymi przez użytkowników, stąd możliwość nowych niewidocznych słów będzie bardzo wysoka. Kategorie zostaną zdefiniowane, ale z czasem będziemy musieli rozszerzyć listę kategorii. Dzięki

— Shankar,

Należy sprawdzić sense2vec zbyt arxiv.org/abs/1511.06388 . W skrócie to osadzanie słów w połączeniu z tagowaniem części mowy. Poinformowano, że poprawia osadzanie słów przez ujednolicenie homonimów. Ciekawie byłoby sprawdzić, czy poprawi to także wydajność zadań klasyfikacyjnych.

— wacax,

1) Max-Entropy (regresja logistyczna) dla wektorów TFIDF jest dobrym punktem wyjścia dla wielu zadań klasyfikacji NLP.

2) Word2vec jest zdecydowanie czymś, co warto wypróbować i porównać z modelem 1. Sugeruję użycie smaku Doc2Vec do przeglądania zdań / akapitów.

Quoc Le i Tomas Mikolov. Rozproszone reprezentacje zdań i dokumentów. http://arxiv.org/pdf/1405.4053v2.pdf

Gensim (python) ma ładny model Doc2vec.

— rushimg
źródło

Dzięki @rushimg. Jeśli kategorie są ze sobą ściśle powiązane, tzn. Para tekstu użyta jako dane wejściowe zawiera dużą liczbę wspólnych słów, które z dwóch podejść byłoby lepsze w zrozumieniu kontekstu i rozróżnieniu między nimi?

— Shankar,

Użyłbym modelu Doc2Vec, ponieważ usuwa on założenie „worka słów” modelu maksymalnego. Jeśli tf-idf zostanie użyte jako cechy w modelu max-ent, zmniejszy to również wpływ typowych słów. Myślę, że wypróbowanie obu metod i ich ulepszenie byłoby najlepszym rozwiązaniem.

— rushimg