Liczba epok w implementacji Gensim Word2Vec

W implementacji Word2Vec znajduje się iterparametrgensim

klasa gensim.models.word2vec.Word2Vec (zdania = brak, rozmiar = 100, alfa = 0,025, okno = 5, liczba_minimalna = 5, max_vocab_size = brak, próbka = 0, seed = 1, pracownicy = 1, min_alpha = 0,0001, sg = 1, hs = 1, ujemny = 0, cbow_mean = 0, hashfxn =, iter = 1 , null_word = 0, trim_rule = None, sorted_vocab = 1)

która określa liczbę epok, tj .:

iter = liczba iteracji (epok) nad ciałem.

Czy ktoś wie, czy to pomaga w ulepszeniu modelu nad ciałem?

Czy jest jakiś powód, dla którego iterdomyślnie jest ustawiona wartość 1? Czy zwiększenie efektu „nie” ma niewielki wpływ? epok?

Czy jest jakaś naukowa / empiryczna ocena tego, jak ustawić „nie”? epok?

W przeciwieństwie do zadania klasyfikacji / regresji metoda przeszukiwania siatki tak naprawdę nie działałaby, ponieważ wektory są generowane w sposób nienadzorowany, a funkcją celu jest po prostu hierarchiczny softmax lub próbkowanie ujemne.

Czy istnieje mechanizm wczesnego zatrzymywania, aby skrócić „nie”? epok, gdy wektory zbiegają się? I czy hierarchiczny softmax lub negatywne próbkowanie może się zbiegać?

Zwiększenie liczby epok zwykle korzystnie wpływa na jakość reprezentacji słów. W eksperymentach, które przeprowadziłem, gdzie celem było użycie osadzania słów jako funkcji klasyfikacji tekstu, ustawienie epok na 15 zamiast 5, zwiększyło wydajność.

Spojrzałem tutaj i stwierdziłem, że wartość domyślna zmieniła się z 1 na 5. Najwyraźniej autorzy uważają, że więcej epok poprawi wyniki .

Nie wiem jeszcze z doświadczenia.

Trenowałem mój model w2v w Google News 300 na [2, 10, 100] epok, a najlepszy był na 10 epok. Po całym tym czekaniu byłem zszokowany, że 100 epok było złych.

epoch   wall                    
------ ------                    
2       56 s                    
10      4m 44s (284s)           
100     47m 27s (2847 s)    

Zwiększenie liczby iterów (liczba epok) znacznie wydłuża czas treningu. Word2Vec daje wysokiej jakości wyniki tylko wtedy, gdy podajesz ogromną liczbę dokumentów, dlatego nawet dwukrotne zapętlenie ich nie jest rozsądne, chociaż w rzeczywistości sprawia, że ​​wynikowe osadzanie słów jest dokładniejsze.