Statystyki i duże zbiory danych maximum-likelihood

1

Dlaczego Anova () i drop1 () podają różne odpowiedzi dla GLMM?

Mam GLMM w postaci: lmer(present? ~ factor1 + factor2 + continuous + factor1*continuous + (1 | factor3), family=binomial) Kiedy używam drop1(model, test="Chi"), otrzymuję inne wyniki niż w przypadku korzystania Anova(model, type="III")z pakietu samochodowego lub summary(model). Te dwa ostatnie dają te same odpowiedzi. Korzystając z wielu sfabrykowanych danych, odkryłem, że te …

10 r anova glmm r mixed-model bootstrap sample-size cross-validation roc auc sampling stratification random-allocation logistic stata interpretation proportion r regression multiple-regression linear-model lm r cross-validation cart rpart logistic generalized-linear-model econometrics experiment-design causality instrumental-variables random-allocation predictive-models data-mining estimation contingency-tables epidemiology standard-deviation mean ancova psychology statistical-significance cross-validation synthetic-data poisson-distribution negative-binomial bioinformatics sequence-analysis distributions binomial classification k-means distance unsupervised-learning euclidean correlation chi-squared spearman-rho forecasting excel exponential-smoothing binomial sample-size r change-point wilcoxon-signed-rank ranks clustering matlab covariance covariance-matrix normal-distribution simulation random-generation bivariate standardization confounding z-statistic forecasting arima minitab poisson-distribution negative-binomial poisson-regression overdispersion probability self-study markov-process estimation maximum-likelihood classification pca group-differences chi-squared survival missing-data contingency-tables anova proportion

1

W jaki sposób wykorzystujesz algorytm EM do obliczania MLE dla sformułowania zmiennej utajonej modelu Poissona z napompowaniem zerowym?

Model regresji Poissona napompowany zerem jest definiowany dla próbki przez Y i = { 0 z prawdopodobieństwem p i + ( 1 - p i ) e - λ i k z prawdopodobieństwem ( 1 - p i ) e - λ i λ k i / k ! i …

10 generalized-linear-model maximum-likelihood poisson-distribution expectation-maximization latent-variable

1

Testowanie hipotez na macierzy odwrotnej kowariancji

Załóżmy, że obserwuję iid i chcę przetestować H 0 : A vech ( Σ - 1 ) = a dla zgodnej macierzy A i wektora a . Czy znane są prace nad tym problemem?xja∼ N.( μ , Σ )xi∼N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)H.0: A H0:A H_0: A\ ( Σ- 1) =a(Σ−1)=a\left(\Sigma^{-1}\right) = …

10 hypothesis-testing normal-distribution multivariate-analysis maximum-likelihood covariance

2

Dobra książka z równym naciskiem na teorię i matematykę

W latach szkolnych i na uniwersytecie miałem wystarczająco dużo kursów statystyki. Dobrze rozumiem pojęcia, takie jak CI, wartości p, interpretacja istotności statystycznej, testowanie wielokrotne, korelacja, prosta regresja liniowa (z najmniejszymi kwadratami) (ogólne modele liniowe) i wszystkie testy hipotezy. Poznałem go w większości wcześniejszych czasów głównie matematycznie. I ostatnio, dzięki książce …

10 bayesian references maximum-likelihood generalized-linear-model

2

Trójca testów o najwyższym prawdopodobieństwie: co zrobić w obliczu sprzecznych wniosków?

Testy Wald, iloraz wiarygodności i mnożnik Lagrange'a w kontekście szacowania maksymalnego prawdopodobieństwa są asymptotycznie równoważne. Jednak w przypadku małych próbek mają one tendencję do rozbieżności, a w niektórych przypadkach prowadzą do różnych wniosków. Jak można je uszeregować według prawdopodobieństwa odrzucenia wartości zerowej? Co zrobić, gdy testy mają sprzeczne odpowiedzi? Czy …

10 hypothesis-testing maximum-likelihood

1

Jakie jest prawdopodobieństwo tego procesu?

Pacjent zostaje przyjęty do szpitala. Ich długość pobytu zależy od 2 rzeczy: ciężkości urazu i wysokości ubezpieczenia, jaką jest skłonny zapłacić, aby zatrzymać je w szpitalu. Niektórzy pacjenci odejdą przedwcześnie, jeśli ich ubezpieczenie zdecyduje się przestać płacić za pobyt. Załóż, że: 1) Długość pobytu jest rozłożona poissonem (załóżmy, że może …

10 maximum-likelihood modeling

1

Rodzina wykładnicza: obserwowane a oczekiwane wystarczające statystyki

Moje pytanie wynika z przeczytania „Szacowania rozkładu Dirichleta” Minki , który stwierdza bez dowodu w kontekście wyprowadzenia estymatora największego prawdopodobieństwa dla rozkładu Dirichleta na podstawie obserwacji losowych wektorów: Jak zawsze w przypadku rodziny wykładniczej, gdy gradient wynosi zero, oczekiwane wystarczające statystyki są równe zaobserwowanym wystarczającym statystykom. Nie widziałem oszacowania maksymalnego …

10 self-study maximum-likelihood exponential-family sufficient-statistics

1

Odchylenie estymatorów maksymalnego prawdopodobieństwa dla regresji logistycznej

Chciałbym zrozumieć kilka faktów dotyczących estymatorów maksymalnego prawdopodobieństwa (MLE) dla regresji logistycznych. Czy to prawda, że ogólnie MLE regresji logistycznej jest stronniczy? Powiedziałbym tak". Wiem na przykład, że wymiar próbki jest związany z asymptotycznym nastawieniem MLE. Czy znasz jakieś podstawowe przykłady tego zjawiska? Jeśli MLE jest stronniczy, czy prawdą jest, …

10 logistic maximum-likelihood unbiased-estimator bias

1

Dlaczego Bayesian posterior koncentruje się wokół minimalizatora dywergencji KL?

Rozważmy Bayesa posterior . Asymptotycznie, jego maksimum występuje przy oszacowaniu MLE , co tylko maksymalizuje prawdopodobieństwo .θ ∣ Xθ∣X\theta\mid Xθ^θ^\hat \thetaargminθfaθ( X)argminθfθ(X)\operatorname{argmin}_\theta\, f_\theta(X) Wszystkie te koncepcje - priory bayesowskie, maksymalizujące prawdopodobieństwo - brzmią bardzo pryncypialnie i wcale nie są arbitralne. W polu widzenia nie ma logów. Jednak MLE minimalizuje rozbieżność …

9 bayesian maximum-likelihood kullback-leibler

2

Czy właściwość niezmienniczości estymatora ML jest bezsensowna z perspektywy Bayesa?

Casella i Berger podają właściwość niezmienniczości estymatora ML w następujący sposób: Wydaje mi się jednak, że określają „prawdopodobieństwo” ηη\eta w całkowicie doraźny i bezsensowny sposób: Jeśli zastosuję podstawowe zasady teorii prawdopodobieństwa do prostego przypadku, gdzieś η=τ(θ)=θ2η=τ(θ)=θ2\eta=\tau(\theta)=\theta^2Zamiast tego otrzymuję następujące informacje: L(η|x)=p(x|θ2=η)=p(x|θ=−η–√∨θ=η–√)=:p(x|A∨B)L(η|x)=p(x|θ2=η)=p(x|θ=−η∨θ=η)=:p(x|A∨B)L(\eta|x)=p(x|\theta^2=\eta)=p(x|\theta = -\sqrt \eta \lor \theta = \sqrt \eta)=:p(x|A \lor …

9 self-study bayesian maximum-likelihood frequentist invariance

1

Zależność między MLE a najmniejszymi kwadratami w przypadku regresji liniowej

Hastie i Tibshirani wspominają w rozdziale 4.3.2 swojej książki, że w regresji liniowej podejście metodą najmniejszych kwadratów jest w rzeczywistości szczególnym przypadkiem maksymalnego prawdopodobieństwa. Jak możemy udowodnić ten wynik? PS: Nie oszczędzaj żadnych szczegółów matematycznych.

9 regression maximum-likelihood least-squares

2

Pomoc w oczekiwaniu Maksymalizacja z papieru: jak uwzględnić wcześniejszą dystrybucję?

Pytanie oparte jest na pracy zatytułowanej: Rekonstrukcja obrazu w rozproszonej tomografii optycznej z wykorzystaniem sprzężonego radiacyjnego modelu transportowo-dyfuzyjnego Link do pobrania Autorzy stosują algorytm EM z rzadkości nieznanego wektora celu oszacowania pikseli obrazu. Model podajel1l1l_1μμ\mu y=Aμ+e(1)(1)y=Aμ+ey=A\mu + e \tag{1} Oszacowanie podano w równaniu (8) as μ^=argmaxlnp(y|μ)+γlnp(μ)(2)(2)μ^=arg⁡maxln⁡p(y|μ)+γln⁡p(μ)\hat{\mu} = \arg max {\ln …

9 self-study bayesian maximum-likelihood expectation-maximization moving-average

1

Dlaczego współczynników regresji liniowej i logistycznej nie można oszacować przy użyciu tej samej metody?

Przeczytałem w książce dotyczącej uczenia maszynowego, że parametry regresji liniowej można oszacować (między innymi metodami) za pomocą spadku gradientu, podczas gdy parametry regresji logistycznej są zwykle szacowane przez oszacowanie maksymalnego prawdopodobieństwa. Czy można wyjaśnić nowicjuszowi (mi), dlaczego potrzebujemy różnych metod regresji liniowej / logistycznej. alias dlaczego nie MLE dla regresji …

9 regression logistic maximum-likelihood

1

Konwergencja z algorytmu EM z dwuwymiarowym rozkładem mieszanin

Mam model mieszanki, w którym chcę znaleźć estymator maksymalnego prawdopodobieństwa dla danego zestawu danych i zestawu częściowo zaobserwowanych danych . I realizowane zarówno E etapie (obliczenie oczekiwania dane i aktualnych parametrów ), i M-etapie, w celu zminimalizowania negatywnych log-Likelihood względu na spodziewany .xxxzzzzzzxxxθkθk\theta^kzzz Jak rozumiem, maksymalne prawdopodobieństwo wzrasta z każdą …

9 maximum-likelihood mixture expectation-maximization

1

Czy szacunek Bayesa z „uprzednim zryczałtowanym” jest taki sam jak szacunek maksymalnego prawdopodobieństwa?

W filogenetyce drzewa filogenetyczne są często konstruowane przy użyciu analizy MLE lub analizy bayesowskiej. W szacunkach bayesowskich często stosuje się płaski przeor. Jak rozumiem, oszacowanie bayesowskie jest oszacowaniem prawdopodobieństwa, które obejmuje uprzednie. Moje pytanie brzmi: jeśli użyjesz mieszkania wcześniej, czy różni się to od zwykłej analizy prawdopodobieństwa?

9 bayesian confidence-interval maximum-likelihood likelihood phylogeny

Pytania otagowane jako maximum-likelihood