Statystyki i duże zbiory danych maximum-likelihood

2

Skąd mam wiedzieć, którą metodę szacowania parametrów wybrać?

Istnieje wiele metod szacowania parametrów. MLE, UMVUE, MoM, teoretyka decyzyjna i inne wydają się mieć dość logiczne uzasadnienie, dlaczego są przydatne do szacowania parametrów. Czy jakakolwiek metoda jest lepsza od innych, czy może to tylko kwestia tego, jak zdefiniujemy, czym jest „najlepiej dopasowany” estymator (podobny do tego, w jaki sposób …

12 estimation mathematical-statistics maximum-likelihood method-of-moments umvue

1

Jakie są warunki prawidłowości testu ilorazu wiarygodności

Czy ktoś mógłby mi powiedzieć, jakie są warunki prawidłowości dla asymptotycznego rozkładu testu ilorazu wiarygodności? Gdziekolwiek spojrzę, jest napisane „W warunkach prawidłowości” lub „Zgodnie z probabilistycznymi prawidłowościami”. Jakie są dokładnie warunki? Czy istnieją pierwsze i drugie pochodne prawdopodobieństwa logarytmicznego, a matryca informacji nie jest równa zero? A może coś zupełnie …

12 maximum-likelihood likelihood-ratio asymptotics

1

Dokładny test Fishera i rozkład hipergeometryczny

Chciałem lepiej zrozumieć dokładny test Fishera, więc wymyśliłem następujący przykład zabawki, w którym f i m odpowiada płci męskiej i żeńskiej, a n i y odpowiada takiemu „zużyciu sody”: > soda_gender f m n 0 5 y 5 0 Oczywiście jest to drastyczne uproszczenie, ale nie chciałem, aby kontekst przeszkadzał. …

12 fishers-exact hypergeometric clustering supervised-learning modeling econometrics r regression residuals heteroscedasticity independence distributions self-study matlab libsvm self-study conditional-probability conditional-expectation hypothesis-testing self-study multiple-comparisons mode statistical-significance chi-squared multiple-comparisons maximum-likelihood poisson-process optimization uncertainty genetic-algorithms bayesian model-selection overfitting maximum-likelihood optimization approximation r prediction model-evaluation r machine-learning survival neural-networks cox-model machine-learning bayesian bayesian-network hierarchical-bayesian pooling

4

Porównywanie oszacowania maksymalnego prawdopodobieństwa (MLE) i twierdzenia Bayesa

W twierdzeniu bayesowskim , a z książki, którą czytam, nazywa się prawdopodobieństwo , ale zakładam, że to tylko prawdopodobieństwo warunkowe od podane , prawda? p(x|y)xyp(y|x)=p(x|y)p(y)p(x)p(y|x)=p(x|y)p(y)p(x)p(y|x) = \frac{p(x|y)p(y)}{p(x)}p(x|y)p(x|y)p(x|y)xxxyyy Do największej wiarygodności stara się maksymalizować , prawda? Jeśli tak, to jestem bardzo zdezorientowany, ponieważ są zmiennymi losowymi, prawda? Aby zmaksymalizować jest po …

12 bayesian maximum-likelihood

4

Jak duża powinna być próbka dla danej techniki szacowania i parametrów?

Czy istnieje ogólna zasada, a nawet jakikolwiek sposób określający, jak duża powinna być próbka, aby oszacować model o określonej liczbie parametrów? Na przykład, jeśli chcę oszacować regresję metodą najmniejszych kwadratów z 5 parametrami, jak duża powinna być próbka? Czy ma znaczenie, jakiej techniki szacowania używasz (np. Maksymalne prawdopodobieństwo, najmniejsze kwadraty, …

12 sample-size estimation least-squares maximum-likelihood

4

Jak istotny jest związek między MLE a entropią krzyżową w głębokim uczeniu się?

I rozumie, że dany zestaw niezależnych obserwacji największej wiarygodności Estymator (lub równoważnie MAP o płaskich / jednolity wcześniej), który identyfikuje Parametry \ mathbf {θ} , które wytwarzają model dystrybucji p_ {wzór} \ left (\, \ cdot \,; \ mathbf {θ} \ right) najlepiej pasujące do tych obserwacjimmmO ={ o( 1 …

12 maximum-likelihood deep-learning cross-entropy

1

Jak zrozumieć, że MLE wariancji jest tendencyjne w rozkładzie Gaussa?

Czytam PRML i nie rozumiem tego obrazu. Czy mógłbyś podać kilka wskazówek, aby zrozumieć obraz i dlaczego MLE wariancji w rozkładzie Gaussa jest stronniczy? wzór 1.55: wzór 1.56 σ 2 M L E =1μM.L E= 1N.∑n = 1N.xnμMLE=1N∑n=1Nxn \mu_{MLE}=\frac{1}{N} \sum_{n=1}^N x_n σ2)M.L E= 1N.∑n = 1N.( xn- μM.L E)2)σMLE2=1N∑n=1N(xn−μMLE)2 \sigma_{MLE}^2=\frac{1}{N}\sum_{n=1}^{N}(x_n-\mu_{MLE})^2

12 machine-learning self-study maximum-likelihood

1

Estymator maksymalnego prawdopodobieństwa - przedział ufności

Jak mogę zbudować asymptotyczny przedział ufności dla rzeczywistego parametru, zaczynając od MLE dla tego parametru?

12 confidence-interval mathematical-statistics maximum-likelihood inference

1

MLE dla rozkładu trójkątów?

Czy można zastosować zwykłą procedurę MLE do rozkładu trójkąta? - Próbuję, ale wydaje mi się, że jestem zablokowany na tym etapie matematyki przez sposób definiowania rozkładu. Próbuję wykorzystać fakt, że znam liczbę próbek powyżej i poniżej c (bez znajomości c): te 2 liczby to cn i (1-c) n, jeśli n …

12 distributions mathematical-statistics maximum-likelihood triangular-distribution

1

Związek między macierzą Hesji a macierzą kowariancji

Podczas gdy ja studiuję oszacowanie maksymalnego prawdopodobieństwa, aby wnioskować w oszacowaniu maksymalnego prawdopodobieństwa, musimy znać wariancję. Aby dowiedzieć się o wariancji, muszę poznać Dolną Granicę Kramera, która wygląda jak matryca Hesji z Drugim Pochyleniem krzywizny. Jestem trochę pomieszany, aby zdefiniować związek między macierzą kowariancji a macierzą hessian. Mam nadzieję usłyszeć …

12 machine-learning mathematical-statistics maximum-likelihood data-mining

2

Parametry maksymalnego prawdopodobieństwa odbiegają od rozkładów bocznych

Mam funkcję prawdopodobieństwa dla prawdopodobieństwa moich danych biorąc pod uwagę niektóre parametry modelu , które chciałbym oszacować. Zakładając płaskie priorytety parametrów, prawdopodobieństwo jest proporcjonalne do prawdopodobieństwa a posteriori. Używam metody MCMC, aby zbadać to prawdopodobieństwo.L(d|θ)L(d|θ)\mathcal{L}(d | \theta)dddθ∈RNθ∈RN\theta \in \mathbf{R}^N Patrząc na wynikowy zbieżny łańcuch, stwierdzam, że parametry maksymalnego prawdopodobieństwa nie …

11 bayesian maximum-likelihood optimization inference mcmc

4

Wnioskowanie wolne od prawdopodobieństwa - co to znaczy?

Niedawno uświadomiłem sobie, że w literaturze omawiane są metody „pozbawione prawdopodobieństwa”. Nie jestem jednak pewien, co to znaczy, że metoda wnioskowania lub optymalizacji jest wolna od prawdopodobieństwa . W uczeniu maszynowym celem jest zazwyczaj maksymalizacja prawdopodobieństwa, że niektóre parametry dopasują się do funkcji, np. Wagi w sieci neuronowej. Więc jaka …

11 machine-learning deep-learning maximum-likelihood generative-models abc

2

Dlaczego Ograniczone maksymalne prawdopodobieństwo daje lepsze (obiektywne) oszacowanie wariancji?

Czytam artykuł teoretyczny Douga Batesa o pakiecie R4, aby lepiej zrozumieć drobiazgowość mieszanych modeli, i natknąłem się na intrygujący wynik, który chciałbym lepiej zrozumieć, o zastosowaniu ograniczonego maksymalnego prawdopodobieństwa (REML) do oszacowania wariancji . W części 3.3 dotyczącej kryterium REML stwierdza, że zastosowanie REML do oszacowania wariancji jest ściśle związane …

11 maximum-likelihood mixed-model unbiased-estimator hierarchical-bayesian reml

1

Interpretacja geometryczna oszacowania maksymalnego prawdopodobieństwa

Czytałem książkę Franklin M. Fisher, The Identification Problem In Econometrics , i byłem zdezorientowany tym, że demonstruje on identyfikację poprzez wizualizację funkcji prawdopodobieństwa. Problem można uprościć, ponieważ: Dla regresji , gdzie u ∼ i . i . d . N ( 0 , Ď 2 I ) , i b …

11 mathematical-statistics maximum-likelihood geometry

1

Bayesowska, MDL lub ML interpretacja krzyżowej walidacji?

Czy jest jakaś znana interpretacja krzyżowa walidacji według Bayesa, ML lub MDL? Czy mogę zinterpretować weryfikację krzyżową jako wykonanie właściwej aktualizacji na specjalnie spreparowanym wcześniej?

11 bayesian cross-validation maximum-likelihood

Pytania otagowane jako maximum-likelihood