Planuję użyć klasyfikatora SVM (Scikit Line Support Vector Machine) do klasyfikacji tekstu na korpusie składającym się z 1 miliona oznakowanych dokumentów. Planuję zrobić, gdy użytkownik wpisze jakieś słowo kluczowe, klasyfikator najpierw sklasyfikuje je w kategorii, a następnie w dokumentach tej kategorii nastąpi kolejne zapytanie o wyszukiwanie informacji. Mam parę pytań:
- Jak potwierdzić, że klasyfikacja nie zajmie dużo czasu? Nie chcę, aby użytkownicy musieli spędzać czas, czekając na zakończenie klasyfikacji, aby uzyskać lepsze wyniki.
- Czy do tego celu nadaje się biblioteka scikit Pythona dla witryn / aplikacji internetowych?
- Czy ktoś wie, jak Amazon lub Flipkart przeprowadzają klasyfikację zapytań użytkowników, czy też używają zupełnie innej logiki?
Możesz wcześniej sklasyfikować wszystkie słowa kluczowe, a następnie po prostu wyciągnąć kategorię z indeksu.
—
zaprzyjaźnij się
@ffriend wydaje się odpowiedzią na jedno słowo. Ale jeśli zapytanie składa się z większej liczby słów .. lub kombinacji słów .. muszę utworzyć indeks dla wszystkich kombinacji !!!
—
user3498
SVC jest szybki, więc jeśli chcesz go użyć do klasyfikacji zapytań w aplikacji o średnim obciążeniu, zadziała. Ale w większości przypadków klasyfikacja według jednego (lub nawet kilku słów) jest złym pomysłem. Weźmy na przykład dwuznaczne słowa: co jeśli jakieś słowo należy do 2 kategorii z bardzo niewielką różnicą prawdopodobieństw? Czy porzucisz nieco mniej prawdopodobną kategorię wyszukiwania? To, czego najprawdopodobniej chcesz, to dodatkowy termin w formułowaniu rankingu podczas wyszukiwania, w ogóle nie odrzucający mniej prawdopodobnych kategorii.
—
zaprzyjaźnij się