Statystyki i duże zbiory danych model-selection

3

W książce Bishopa PRML mówi, że nadmierne dopasowanie jest problemem związanym z oszacowaniem maksymalnej wiarygodności (MLE), a Bayesian może tego uniknąć. Ale myślę, że nadmierne dopasowanie to problem bardziej związany z wyborem modelu, a nie z metodą stosowaną do oszacowania parametrów. To znaczy, załóżmy, że mam zestaw danych , który …

13 bayesian model-selection overfitting

1

Logma sprzężona z Gamma GLM a logarytmiczny Gaussian GLM a logarytm transformowany LM

Z moich wyników wynika, że GLM Gamma spełnia większość założeń, ale czy jest to opłacalne ulepszenie w stosunku do transformowanego logarytmicznie LM? Większość literatury, którą znalazłem, dotyczyła Poissona lub dwumianowego GLM. Uważam, że artykuł OCENA OGÓLNYCH ZAŁOŻEŃ MODELI LINIOWYCH Z WYKORZYSTANIEM LANDOMIZACJI jest bardzo przydatny, ale brakuje w nim faktycznych …

13 r generalized-linear-model model-selection gamma-distribution

1

Czy można porównywać wartości AIC, o ile modele są oparte na tym samym zestawie danych?

Robię prognozowanie w R, używając pakietu prognozy Roba Hyndmana . Papier należący do paczki można znaleźć tutaj . W artykule, po wyjaśnieniu algorytmów automatycznego prognozowania, autorzy implementują algorytmy na tym samym zbiorze danych. Jednak po oszacowaniu zarówno wygładzania wykładniczego, jak i modelu ARIMA, formułują stwierdzenie, którego nie rozumiem (na stronie …

13 time-series forecasting model-selection aic

1

Warunki interakcji i wielomiany wyższego rzędu

Gdybym był zainteresowany dopasowaniem interakcji dwukierunkowych między liniową zmienną objaśniającą a inną zmienną objaśniającą która ma kwadratowy związek ze zmienną zależną , czy musiałbym uwzględnić zarówno interakcję ze składową kwadratową, jak i interakcję z liniową komponent w modelu? Np .: Z kolei w oparciu o mój poprzedni wątek: Warunki krzywizny …

13 r regression model-selection

2

Czy to możliwe, że AIC i BIC dają zupełnie inne wybory modeli?

Wykonuję model regresji Poissona z 1 zmienną odpowiedzi i 6 współzmiennymi. Wybór modelu za pomocą AIC daje model ze wszystkimi zmiennymi towarzyszącymi, a także 6 warunkami interakcji. BIC daje jednak model z tylko 2 zmiennymi towarzyszącymi i bez warunków interakcji. Czy to możliwe, że dwa kryteria, które wyglądają bardzo podobnie, …

12 model-selection aic poisson-regression bic

1

Wybór zmiennych a wybór modelu

Rozumiem więc, że wybór zmiennych jest częścią wyboru modelu. Ale na czym dokładnie polega wybór modelu? Czy to coś więcej niż następujące: 1) wybierz rozkład dla swojego modelu 2) wybrać zmienne objaśniające,? Pytam o to, ponieważ czytam artykuł Burnham i Anderson: AIC kontra BIC, w którym mówią o AIC i …

12 feature-selection model-selection aic bic

1

Kiedy powinienem się martwić paradoksem Jeffreysa-Lindleya w wyborze modelu Bayesa?

Rozważam dużą (ale skończoną) przestrzeń modeli o różnym stopniu złożoności, które eksploruję za pomocą RJMCMC . Wstęp na wektorze parametrów dla każdego modelu jest dość pouczający. W jakich przypadkach (jeśli w ogóle) powinienem się martwić paradoksem Jeffreysa-Lindleya faworyzującym prostsze modele, gdy jeden z bardziej złożonych modeli byłby bardziej odpowiedni? Czy …

12 bayesian model-selection mcmc prior improper-prior

1

Jaka jest różnica między „testowaniem hipotez” a „wyborem modelu”?

W literaturze oba terminy są często używane synonimicznie lub przeplatają się. Teraz próbuję znaleźć wyraźne rozróżnienie między tymi dwoma terminami. Z mojego punktu widzenia hipoteza jest zwykle wyrażana za pomocą modelu. Więc nawet jeśli przetestujemy hipotezę zerową vs. alternatywną, z mojej perspektywy dokonujemy wyboru modelu. Czy ktoś może mi intuicyjnie …

12 hypothesis-testing model-selection regression-strategies

1

AIC dla modeli nie zagnieżdżonych: stała normalizująca

AIC jest zdefiniowane jako , gdzie jest estymatorem największego prawdopodobieństwa, a jest wymiarem przestrzeni parametrów. Do oszacowania zwykle pomija się stały współczynnik gęstości. Jest to czynnik, który nie zależy od parametrów, w celu uproszczenia prawdopodobieństwa. Z drugiej strony czynnik ten jest bardzo ważny przy obliczaniu AIC, biorąc pod uwagę, że …

12 model-selection aic nested-models

4

Wybór modelu PCA za pomocą AIC (lub BIC)

Chcę użyć Akaike Information Criterion (AIC), aby wybrać odpowiednią liczbę czynników do wyodrębnienia w PCA. Jedynym problemem jest to, że nie jestem pewien, jak określić liczbę parametrów. Rozważmy macierz X , gdzie N reprezentuje liczbę zmiennych, a T liczbę obserwacji, na przykład X \ sim \ mathcal N \ left …

12 pca model-selection

1

Różnice między PROC Mixed i lme / lmer w R - stopnie swobody

Uwaga: to pytanie jest repost, ponieważ moje poprzednie pytanie musiało zostać usunięte ze względów prawnych. Porównując PROC MIXED z SAS z funkcją lmez nlmepakietu w R, natknąłem się na pewne dość mylące różnice. Mówiąc dokładniej, stopnie swobody w różnych testach różnią się między PROC MIXEDi lmezastanawiałem się, dlaczego. Zacznij od …

12 r mixed-model sas degrees-of-freedom pdf unbiased-estimator distance-functions functional-data-analysis hellinger time-series outliers c++ relative-risk absolute-risk rare-events regression t-test multiple-regression survival teaching multiple-regression regression self-study t-distribution machine-learning recommender-system self-study binomial standard-deviation data-visualization r predictive-models pearson-r spearman-rho r regression modeling r categorical-data data-visualization ggplot2 many-categories machine-learning cross-validation weka microarray variance sampling monte-carlo regression cross-validation model-selection feature-selection elastic-net distance-functions information-theory r regression mixed-model random-effects-model fixed-effects-model dataset data-mining

2

Jak korzystać z analizy głównych składników, aby wybrać zmienne do regresji?

Obecnie używam analizy głównych komponentów, aby wybrać zmienne do zastosowania w modelowaniu. W tej chwili wykonuję pomiary A, B i C w swoich eksperymentach - tak naprawdę chcę wiedzieć: czy mogę wykonać mniej pomiarów i przestać rejestrować C i lub B, aby zaoszczędzić czas i wysiłek? Uważam, że wszystkie 3 …

12 regression pca model-selection

1

Testuj równoważność modeli zagnieżdżonych

Powiedzmy, że jest funkcją liniową i manekina d . Moja hipoteza jest taka, że d sama jest jak hedonistyczny indeks wektora innych zmiennych, Z . Mam poparcie dla tego podejścia w MANOVA z Z (tj z_1 , z_2 , ..., z_n ) na d . Czy istnieje sposób przetestowania równoważności …

12 r hypothesis-testing regression model-selection

2

GLM po wyborze lub legalizacji modelu

Chciałbym zadać to pytanie w dwóch częściach. Oba dotyczą uogólnionego modelu liniowego, ale pierwszy dotyczy wyboru modelu, a drugi dotyczy regularyzacji. Tło: Używam modeli GLM (liniowych, logistycznych, regresji gamma) zarówno do prognozowania, jak i do opisu. Kiedy odnoszę się do „ normalnych rzeczy, które robi się z regresją ”, mam …

12 regression model-selection regularization

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

Pytania otagowane jako model-selection