Statystyki i duże zbiory danych optimization

1

Moja sieć neuronowa nie może nawet nauczyć się odległości euklidesowej

Próbuję więc nauczyć się sieci neuronowych (do zastosowań regresji, nie klasyfikując zdjęć kotów). Moje pierwsze eksperymenty polegały na uczeniu sieci implementacji filtra FIR i dyskretnej transformaty Fouriera (trening sygnałów „przed” i „po”), ponieważ są to operacje liniowe, które mogą być realizowane przez pojedynczą warstwę bez funkcji aktywacji. Oba działały dobrze. …

9 machine-learning neural-networks optimization keras euclidean

2

Dlaczego moje kroki stają się coraz mniejsze, gdy używam ustalonego rozmiaru kroku podczas opadania gradientu?

Załóżmy, że robimy zabawkowy przykład na przyzwoitym gradiencie, minimalizując funkcję kwadratową , stosując ustalony rozmiar kroku . ( A = [10, 2; 2, 3] )xT.A xxTAxx^TAxα = 0,03α=0.03\alpha=0.03A = [ 10 , 2 ; 2 , 3 ]A=[10,2;2,3]A=[10, 2; 2, 3] Jeśli wykreślimy ślad xxx w każdej iteracji, otrzymamy następujący …

9 r machine-learning optimization gradient-descent

4

Trening sieci neuronowej pod kątem regresji zawsze przewiduje średnią

Trenuję prostą sieć neuronową splotową do regresji, której zadaniem jest przewidzenie (x, y) położenia ramki na obrazie, np .: Dane wyjściowe sieci mają dwa węzły, jeden dla x i jeden dla y. Reszta sieci jest standardową splotową siecią neuronową. Strata jest standardowym średnim kwadratowym błędem między przewidywaną pozycją pudełka a …

9 machine-learning neural-networks optimization deep-learning loss-functions

1

Jak optymalnie rozłożyć losowania przy obliczaniu wielu oczekiwań

Załóżmy, że chcemy obliczyć pewne oczekiwania: EYEX|Y[f(X,Y)]EYEX|Y[f(X,Y)]E_YE_{X|Y}[f(X,Y)] Załóżmy, że chcemy to przybliżyć za pomocą symulacji Monte Carlo. EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)EYEX|Y[f(X,Y)]≈1RS∑r=1R∑s=1Sf(xr,s,yr)E_YE_{X|Y}[f(X,Y)] \approx \frac1{RS}\sum_{r=1}^R\sum_{s=1}^Sf(x^{r,s},y^r) ALE załóżmy, że pobieranie próbek z obu rozkładów jest kosztowne, dlatego możemy sobie pozwolić tylko na narysowanie stałej liczby KKK. Jak powinniśmy przydzielić KKK? Przykłady obejmująK/2K/2K/2 losuje do każdego rozkładu, …

9 optimization conditional-probability simulation expected-value monte-carlo

1

Dlaczego zejście w gradiencie proksymalnym zamiast prostych metod podrzędnych dla Lasso?

Myślałem o rozwiązaniu Lasso metodami waniliowymi. Ale czytałem osoby sugerujące użycie Proksymalnego spadku gradientu. Czy ktoś może wyjaśnić, dlaczego dla Lasso można zastosować bliższe GD zamiast waniliowych metod podskładnikowych?

9 machine-learning optimization lasso gradient-descent

2

Dlaczego suma kwadratów reszt nie rośnie podczas dodawania zmiennej objaśniającej?

W moim podręczniku ekonometrycznym (wprowadzającym ekonometrii) dotyczącym OLS autor pisze: „SSR musi upaść, gdy zostanie dodana inna zmienna objaśniająca”. Dlaczego tak jest

9 regression optimization econometrics intuition sums-of-squares

1

Jakie są różnice między różnymi rozwiązaniami kwadratowymi programowania R?

Szukam pakietu, który pomoże mi rozwiązać niektóre kwadratowe problemy z optymalizacją i widzę, że istnieje co najmniej pół tuzina różnych pakietów. Według tej strony: QP (programowanie kwadratowe, 90C20): cplexAPI , kernlab , limSolve , LowRankQP , quadprog , Rcplex , Rmosek Niektóre z nich (Rmosek i cplexAPI) zależą od innych …

9 r optimization

2

Oszacowanie parametrów za pomocą uogólnionych modeli liniowych

Domyślnie, gdy używamy glmfunkcji w R, używa iteracyjnie przeważonej metody najmniejszych kwadratów (IWLS) w celu znalezienia parametrów maksymalnego prawdopodobieństwa. Teraz mam dwa pytania. Czy szacunki IWLS gwarantują globalne maksimum funkcji wiarygodności? Na podstawie ostatniego slajdu w tej prezentacji, myślę, że nie! Chciałem się tylko upewnić. Czy możemy powiedzieć, że przyczyną …

9 r estimation generalized-linear-model maximum-likelihood optimization

2

Jak mogę oszacować 95% przedziały ufności za pomocą profilowania parametrów oszacowanych przez maksymalizację funkcji wiarygodności logarytmicznej przy użyciu funkcji Optim w R?

Jak mogę oszacować 95% przedziały ufności za pomocą profilowania parametrów oszacowanych przez maksymalizację funkcji wiarygodności logarytmicznej przy użyciu funkcji Optim w R? Wiem, że mogę asymptotycznie oszacować macierz kowariancji, odwracając hessian , ale obawiam się, że moje dane nie spełniają założeń wymaganych do prawidłowości tej metody. Wolałbym oszacować przedziały ufności …

9 r confidence-interval maximum-likelihood optimization profile-likelihood

2

Zalety podejścia do problemu poprzez sformułowanie funkcji kosztu, którą można zoptymalizować globalnie

To dość ogólne pytanie (tj. Niekoniecznie specyficzne dla statystyki), ale zauważyłem trend w uczeniu maszynowym i literaturze statystycznej, w którym autorzy wolą stosować następujące podejście: Podejście 1 : uzyskanie rozwiązania praktycznego problemu poprzez sformułowanie funkcji kosztu, dla której możliwe jest (np. Z obliczeniowego punktu widzenia) znalezienie globalnie optymalnego rozwiązania (np. …

9 optimization function

4

Referencje na temat optymalizacji numerycznej dla statystyk

Szukam solidnego odniesienia (lub odniesień) do technik optymalizacji numerycznej skierowanych do statystyków, to znaczy, że zastosowałby te metody do niektórych standardowych problemów wnioskowania (np. MAP / MLE we wspólnych modelach). Rzeczy takie jak opadanie gradientu (proste i stochastyczne), EM i jego wydzielenia / uogólnienia, symulowane wyżarzanie itp. Mam nadzieję, że …

9 estimation references optimization

2

Oblicz krzywą ROC dla danych

Mam więc 16 prób, w których próbuję uwierzytelnić osobę z cechy biometrycznej za pomocą Hamminga. Mój próg jest ustawiony na 3,5. Moje dane są poniżej i tylko próba 1 jest prawdziwie pozytywna: Trial Hamming Distance 1 0.34 2 0.37 3 0.34 4 0.29 5 0.55 6 0.47 7 0.47 8 …

9 mathematical-statistics roc classification cross-validation pac-learning r anova survival hazard machine-learning data-mining hypothesis-testing regression random-variable non-independent normal-distribution approximation central-limit-theorem interpolation splines distributions kernel-smoothing r data-visualization ggplot2 distributions binomial random-variable poisson-distribution simulation kalman-filter regression lasso regularization lme4-nlme model-selection aic r mcmc dlm particle-filter r panel-data multilevel-analysis model-selection entropy graphical-model r distributions quantiles qq-plot svm matlab regression lasso regularization entropy inference r distributions dataset algorithms matrix-decomposition regression modeling interaction regularization expected-value exponential gamma-distribution mcmc gibbs probability self-study normality-assumption naive-bayes bayes-optimal-classifier standard-deviation classification optimization control-chart engineering-statistics regression lasso regularization regression references lasso regularization elastic-net r distributions aggregation clustering algorithms regression correlation modeling distributions time-series standard-deviation goodness-of-fit hypothesis-testing statistical-significance sample binary-data estimation random-variable interpolation distributions probability chi-squared predictor outliers regression modeling interaction

Pytania otagowane jako optimization