Pracowałem nad modelem gensim word2vec i uznałem go za naprawdę interesujący. Interesuje mnie odkrycie, jak nieznane / niewidoczne słowo po sprawdzeniu z modelem będzie w stanie uzyskać podobne terminy z wyuczonego modelu.
czy to możliwe? Czy Word2vec można do tego dostosować? Lub korpus szkoleniowy musi zawierać wszystkie słowa, których chcę znaleźć podobieństwo.
Odpowiedzi:
Każdy algorytm, który zajmuje się danymi tekstowymi, ma słownictwo. W przypadku word2vec słownictwo składa się ze wszystkich słów w korpusie wejściowym lub przynajmniej tych powyżej progu minimalnej częstotliwości.
Algorytmy zwykle ignorują słowa spoza ich słownictwa. Istnieją jednak sposoby na przeformułowanie problemu, tak aby w zasadzie nie było żadnych słów spoza słownictwa.
Pamiętaj, że słowa są po prostu „tokenami” w word2vec. Mogą to być ngramy lub litery. Jednym ze sposobów zdefiniowania słownictwa jest powiedzenie, że każde słowo, które występuje co najmniej X razy, znajduje się w słowniku. Następnie do Twojego słownika dodawane są najczęstsze „sylaby” (ngramy liter). Następnie dodajesz poszczególne litery do swojego słownictwa.
W ten sposób możesz zdefiniować dowolne słowo jako jedno z nich
word2vec traktuje słowa jak atomy. Aby uzyskać sensowne wektory dla nieznanych słów, musisz albo
Korpus treningowy musi zawierać wszystkie słowa, których chcesz znaleźć podobieństwo.