Statystyki i duże zbiory danych hyperparameter

1

Wybór odpowiedniego rozmiaru mini-partii dla stochastycznego spadku gradientu (SGD)

Czy jest jakaś literatura, która bada wybór wielkości mini-partii podczas stochastycznego spadku gradientu? Z mojego doświadczenia wynika, że jest to wybór empiryczny, zwykle znajdowany w drodze weryfikacji krzyżowej lub przy użyciu różnych reguł. Czy dobrym pomysłem jest powolne zwiększanie rozmiaru minibatchu, gdy zmniejsza się błąd sprawdzania poprawności? Jaki miałby to …

13 machine-learning gradient-descent hyperparameter deep-learning

1

Gęstość hiperpriora dla hierarchicznego modelu Gamma-Poissona

W hierarchicznym modelu danych którym wydaje się typowe w praktyce, aby wybierać wartości ( takie, że średnia i wariancja rozkładu gamma w przybliżeniu odpowiadają średniej i wariancji danych (np. Clayton i Kaldor, 1987 „Empirical Bayes Estimates of Standaryzated Age Relative Risks for Disease Mapping”, Biometrics ). Najwyraźniej jest to jednak …

11 poisson-distribution gamma-distribution hierarchical-bayesian hyperparameter

4

Dlaczego nie uczymy się hiper parametrów?

Wdrożyłem dość popularny artykuł „ WYJAŚNIANIE I PRZESYŁANIE PRZYKŁADÓW ADVERSARIALNYCH ”, a w artykule trenuje funkcję celu przeciwnika J '' (θ) = αJ (θ) + (1 - α) J '(θ). Traktuje α jako hiperparametr. α może wynosić 0,1, 0,2, 0,3 itd. Niezależnie od tego konkretnego artykułu zastanawiam się, dlaczego po …

11 machine-learning neural-networks deep-learning hyperparameter

1

Związek między szybkością uczenia się a liczbą ukrytych warstw?

Czy istnieje jakaś reguła praktyczna między głębokością sieci neuronowej a szybkością uczenia się? Zauważyłem, że im głębsza sieć, tym niższa musi być szybkość uczenia się. Jeśli to prawda, dlaczego tak jest?

10 neural-networks deep-learning hyperparameter rule-of-thumb

2

Zagnieżdżona walidacja krzyżowa - czym różni się od wyboru modelu poprzez CV Kfold na zestawie treningowym?

Często widzę ludzi mówiących o walidacji krzyżowej 5x2 jako szczególnym przypadku walidacji krzyżowej zagnieżdżonej . Zakładam, że pierwsza liczba (tutaj: 5) odnosi się do liczby fałd w wewnętrznej pętli, a druga liczba (tutaj: 2) odnosi się do liczby fałd w zewnętrznej pętli? Czym zatem różni się to od „tradycyjnego” podejścia …

10 machine-learning cross-validation hyperparameter

1

Dlaczego w regresji liniowej regularyzacja również karze wartości parametrów?

Obecnie uczę się regresji grzbietu i byłem trochę zdezorientowany co do karania bardziej złożonych modeli (lub definicji bardziej złożonego modelu). Z tego, co rozumiem, złożoność modelu niekoniecznie koreluje z porządkiem wielomianowym. Zatem: jest bardziej złożonym modelem niż:2 + 3 + 4x2)+ 5x3)+ 6x42)+3)+4x2)+5x3)+6x4 2 + 3+ 4x^2 + 5x^3 + …

9 regression regularization hyperparameter

1

Dlaczego informacje o danych walidacyjnych wyciekają, jeśli oceniam wydajność modelu na danych walidacyjnych podczas strojenia hiperparametrów?

W głębokim nauczaniu François Cholleta w Pythonie napisano: W rezultacie dostrajanie konfiguracji modelu w oparciu o jego wydajność w zestawie sprawdzania poprawności może szybko doprowadzić do nadmiernego dopasowania do zestawu sprawdzania poprawności, nawet jeśli Twój model nigdy nie jest bezpośrednio na nim szkolony. Centralnym elementem tego zjawiska jest pojęcie wycieków …

9 neural-networks cross-validation hyperparameter

Pytania otagowane jako hyperparameter