Pytania otagowane jako hyperparameter

Parametr, który nie jest ściśle związany z modelem statystycznym (lub procesem generowania danych), ale jest parametrem metody statystycznej. Może to być parametr dla: rodziny wcześniejszych rozkładów, wygładzania, kary w metodach regularyzacji lub algorytmu optymalizacji.

3
Przykład: regresja LASSO z użyciem glmnet dla wyniku binarnego
Zaczynam bawić sięglmnet za pomocą regresji LASSO, gdzie moje wyniki zainteresowania są dychotomiczne. Poniżej utworzyłem małą próbną ramkę danych: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99, 0.84, 0.85, 0.67, 0.91, …
77 r  self-study  lasso  regression  interpretation  anova  statistical-significance  survey  conditional-probability  independence  naive-bayes  graphical-model  r  time-series  forecasting  arima  r  forecasting  exponential-smoothing  bootstrap  outliers  r  regression  poisson-distribution  zero-inflation  genetic-algorithms  machine-learning  feature-selection  cart  categorical-data  interpretation  descriptive-statistics  variance  multivariate-analysis  covariance-matrix  r  data-visualization  generalized-linear-model  binomial  proportion  pca  matlab  svd  time-series  correlation  spss  arima  chi-squared  curve-fitting  text-mining  zipf  probability  categorical-data  distance  group-differences  bhattacharyya  regression  variance  mean  data-visualization  variance  clustering  r  standard-error  association-measure  somers-d  normal-distribution  integral  numerical-integration  bayesian  clustering  python  pymc  nonparametric-bayes  machine-learning  svm  kernel-trick  hyperparameter  poisson-distribution  mean  continuous-data  univariate  missing-data  dag  python  likelihood  dirichlet-distribution  r  anova  hypothesis-testing  statistical-significance  p-value  rating  data-imputation  censoring  threshold 
5
Praktyczna optymalizacja hiperparametrów: wyszukiwanie losowe vs. siatka
Obecnie przechodzę przez Losowe wyszukiwanie Bengio i Bergsta w celu optymalizacji hiperparametrów [1], w którym autorzy twierdzą, że losowe wyszukiwanie jest bardziej wydajne niż wyszukiwanie siatkowe w osiąganiu w przybliżeniu jednakowej wydajności. Moje pytanie brzmi: czy ludzie tutaj zgadzają się z tym twierdzeniem? W swojej pracy korzystałem z wyszukiwania siatki …
3
Wytyczna wyboru hiperparametrów w głębokim uczeniu się
Szukam artykułu, który mógłby pomóc w wytyczeniu sposobu wyboru hiperparametrów głębokiej architektury, takich jak piętrowe auto-kodery lub sieci głęboko wierzące. Istnieje wiele hiperparametrów i jestem bardzo zdezorientowany, jak je wybrać. Również stosowanie weryfikacji krzyżowej nie jest opcją, ponieważ szkolenie naprawdę zajmuje dużo czasu!
3
Jaki jest powód, dla którego Adam Optimizer jest uważany za odporny na wartość swoich hiper parametrów?
Czytałem o optymalizatorze Adama do głębokiego uczenia się i natknąłem się na następujące zdanie w nowej książce Deep Learning autorstwa Bengio, Goodfellow i Courville: Adam jest ogólnie uważany za dość odpornego na wybór hiper parametrów, chociaż szybkość uczenia się czasami trzeba zmienić w stosunku do sugerowanego domyślnego. jeśli to prawda, …
2
Naturalna interpretacja hiperparametrów LDA
Czy ktoś może wyjaśnić, jaka jest naturalna interpretacja hiperparametrów LDA? ALPHAi BETAsą parametrami dystrybucji Dirichleta odpowiednio dla (na dokument) tematu i (na temat) dystrybucji słów. Jednak czy ktoś może wyjaśnić, co to znaczy wybrać większe wartości tych hiperparametrów w porównaniu do mniejszych wartości? Czy to oznacza umieszczanie jakichkolwiek wcześniejszych przekonań …
4
Jak złe jest strojenie hiperparametrów poza walidacją krzyżową?
Wiem, że przeprowadzanie strojenia hiperparametrów poza walidacją krzyżową może prowadzić do stronniczo wysokich oszacowań zewnętrznej ważności, ponieważ zestaw danych używany do mierzenia wydajności jest taki sam, jak użyty do dostrojenia funkcji. Zastanawiam się, jak poważny jest to problem . Rozumiem, jak źle byłoby przy wyborze funkcji, ponieważ daje to ogromną …
5
Co w nazwie: hiperparametry
Zatem w rozkładzie normalnym mamy dwa parametry: średnią i wariancję . W książce Rozpoznawanie wzorców i uczenie maszynowe nagle pojawia się hiperparametr w terminach regularyzacji funkcji błędu.σ 2 λμμ\muσ2σ2\sigma^2λλ\lambda Co to są hiperparametry? Dlaczego są tak nazwani? W jaki sposób intuicyjnie różnią się one od parametrów w ogóle?
6
Czy strojenie hiperparametrów na próbce zestawu danych jest złym pomysłem?
Mam zestaw danych zawierający 140000 przykładów i 30 funkcji, dla których uczę kilku klasyfikatorów do klasyfikacji binarnej (SVM, regresja logistyczna, losowy las itp.) W wielu przypadkach dostrajanie hiperparametrów w całym zbiorze danych przy użyciu wyszukiwania siatkowego lub losowego jest zbyt kosztowne pod względem czasowym. Zacząłem stosować następującą technikę Podpróbka mojego …
2
Zalety optymalizacji roju cząstek w porównaniu z optymalizacją Bayesa do strojenia hiperparametrów?
Istnieją znaczące współczesne badania dotyczące optymalizacji bayesowskiej (1) dostrajania hiperparametrów ML. Motywacją do kierowania jest tutaj minimalna liczba punktów danych, aby dokonywać świadomych wyborów, które punkty warto wypróbować (wywołania funkcji celu są drogie, więc zmniejszenie ich liczby jest lepsze), ponieważ szkolenie modelu jest czasochłonne - niektóre skromnie -Duże problemy z …
3
Jak uzyskać hiper parametry w sprawdzaniu poprawności zagnieżdżonej?
Przeczytałem następujące posty dotyczące sprawdzania poprawności krzyżowania zagnieżdżonego i wciąż nie jestem w 100% pewien, co mam zrobić z wyborem modelu za pomocą sprawdzania poprawności krzyżowania zagnieżdżonego: Zagnieżdżone sprawdzanie poprawności wyboru modelu Wybór modelu i walidacja krzyżowa: właściwa droga Aby wyjaśnić moje zamieszanie, pozwól mi przejść krok po kroku przez …
1
Jak zbudować ostateczny model i dostroić próg prawdopodobieństwa po zagnieżdżonej weryfikacji krzyżowej?
Po pierwsze, przepraszam za opublikowanie pytania, które zostało już obszernie omówione tutaj , tutaj , tutaj , tutaj , tutaji do odtworzenia starego tematu. Wiem, że @DikranMarsupial pisał na ten temat obszernie w postach i gazetach, ale nadal jestem zdezorientowany i sądząc po liczbie podobnych postów tutaj, wciąż jest to …
4
Jak należy zamówić dobór funkcji i optymalizację hiperparametrów w potoku uczenia maszynowego?
Moim celem jest klasyfikacja sygnałów z czujników. Dotychczasowe pojęcie mojego rozwiązania to: i) Funkcje inżynieryjne z surowego sygnału ii) Wybieranie odpowiednich funkcji za pomocą ReliefF i podejścia klastrowego iii) Zastosuj NN, Losowy Las i SVM Jestem jednak uwięziony w dylemacie. W ii) i iii) istnieją hiperparametry, takie jak k-Najbliższe Neigbours …
3
Strojenie hiper parametrów: Wyszukiwanie losowe a optymalizacja Bayesa
Wiemy zatem, że wyszukiwanie losowe działa lepiej niż wyszukiwanie siatki, ale nowszym podejściem jest optymalizacja Bayesa (przy użyciu procesów gaussowskich). Sprawdziłem porównanie między nimi i nic nie znalazłem. Wiem, że w cs231n Stanforda wspominają tylko o losowym wyszukiwaniu, ale możliwe jest, że chcieli zachować prostotę. Moje pytanie brzmi: które podejście …
2
Czy próg decyzyjny jest hiperparametrem w regresji logistycznej?
Przewidywane klasy z (binarnej) regresji logistycznej są określane przy użyciu progu prawdopodobieństwa członkostwa w klasie generowanego przez model. Jak rozumiem, domyślnie używa się zwykle 0,5. Ale zmiana progu zmieni przewidywane klasyfikacje. Czy to oznacza, że ​​próg jest hiperparametrem? Jeśli tak, dlaczego (na przykład) nie jest możliwe łatwe przeszukiwanie siatki progów …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.