Statystyki i duże zbiory danych maximum-likelihood

1

Kiedy lepiej jest stosować oszacowanie maksymalnego prawdopodobieństwa zamiast zwykłych najmniejszych kwadratów? Jakie są zalety i ograniczenia każdego z nich? Staram się zebrać praktyczną wiedzę na temat tego, gdzie wykorzystać każdą z nich w typowych sytuacjach.

13 regression maximum-likelihood least-squares

1

Estymacja parametru LogLikelihood dla liniowego Gaussowskiego filtra Kalmana

Napisałem kod, który potrafi filtrować Kalmana (używając wielu różnych filtrów typu Kalmana [Information Filter i in.]) Dla liniowej analizy przestrzeni stanu gaussowskiego dla n-wymiarowego wektora stanu. Filtry działają świetnie i otrzymuję niezłą wydajność. Jednak oszacowanie parametru za pomocą oszacowania wiarygodności logicznej mnie dezorientuje. Nie jestem statystykiem, ale fizykiem, więc proszę …

13 maximum-likelihood algorithms kalman-filter likelihood

1

AIC / BIC: dla ilu parametrów liczy się permutacja?

Powiedzmy, że mam problem z wyborem modelu i próbuję użyć AIC lub BIC do oceny modeli. Jest to proste w przypadku modeli, które mają pewną liczbę parametrów o wartościach rzeczywistych.kkk Co jednak, jeśli jeden z naszych modeli (na przykład model Mallowsa ) ma permutację plus niektóre parametry o wartości rzeczywistej …

13 modeling maximum-likelihood aic fitting bic

1

Obliczanie prawdopodobieństwa z RMSE

Mam model przewidywania trajektorii (x w funkcji czasu) z kilkoma parametrami. W tej chwili obliczam błąd średniej kwadratowej (RMSE) między przewidywaną trajektorią a eksperymentalnie zarejestrowaną trajektorią. Obecnie minimalizuję tę różnicę (RMSE), używając simplex (fminsearch w Matlabie). Chociaż ta metoda działa dobrze, ale chcę porównać kilka różnych modeli, myślę, że muszę …

13 maximum-likelihood curve-fitting

2

Hesjan o prawdopodobieństwie profilu wykorzystany do standardowego oszacowania błędu

To pytanie jest motywowane tym . Poszukałem dwóch źródeł i oto, co znalazłem. A. van der Vaart, Statystyki asymptotyczne: Rzadko jest możliwe jednoznaczne obliczenie prawdopodobieństwa profilu, ale jego liczbowa ocena jest często wykonalna. Wówczas prawdopodobieństwo profilu może służyć do zmniejszenia wymiaru funkcji wiarygodności. Funkcje wiarygodności profilu są często używane w …

13 estimation maximum-likelihood likelihood asymptotics profile-likelihood

1

Czy estymacja MLE jest asymptotycznie normalna i skuteczna, nawet jeśli model nie jest prawdziwy?

Przesłanka: to może być głupie pytanie. Znam tylko stwierdzenia o właściwościach asymptotycznych MLE, ale nigdy nie badałem dowodów. Gdybym to zrobił, może nie zadawałbym tych pytań, a może zdałbym sobie sprawę, że te pytania nie mają sensu ... więc spokojnie. Często widziałem stwierdzenia, które mówią, że estymator MLE parametrów modelu …

13 maximum-likelihood model asymptotics

1

Czy możesz podać proste intuicyjne wyjaśnienie metody IRLS, aby znaleźć MLE GLM?

Tło: Staram się śledzić ocenę Princeton dotyczącą oszacowania MLE dla GLM . I zrozumieć podstawy szacowania MLE: likelihood, score, obserwowane i oczekiwane Fisher informationi Fisher scoringtechnika. I wiem, jak uzasadnić prostą regresję liniową estymacją MLE . Pytanie: Nie rozumiem nawet pierwszego wiersza tej metody :( Jaka intuicja kryje się za …

13 regression generalized-linear-model maximum-likelihood link-function irls

1

Poszukiwanie teoretycznego zrozumienia regresji logistycznej Firtha

Próbuję zrozumieć regresję logistyczną Firtha (metodę obsługi idealnego / pełnego lub quasi-pełnego rozdzielenia w regresji logistycznej), aby móc wyjaśnić to innym w uproszczony sposób. Czy ktoś ma ogólne wyjaśnienie, jakie modyfikacje wprowadza szacunek Firth w MLE? Przeczytałem, najlepiej jak potrafiłem, Firth (1993) i rozumiem, że do funkcji partytury stosowana jest …

13 logistic maximum-likelihood separation

3

Jaka jest metoda momentów i czym różni się od MLE?

Zasadniczo wydaje się, że metoda momentów polega jedynie na dopasowaniu obserwowanej średniej próbki lub wariancji do momentów teoretycznych w celu uzyskania oszacowań parametrów. Rozumiem, że jest to często to samo co MLE dla rodzin wykładniczych. Jednak trudno jest znaleźć jasną definicję metody momentów i jasną dyskusję na temat tego, dlaczego …

13 maximum-likelihood method-of-moments

3

Estymator największego prawdopodobieństwa wspólnego rozkładu, biorąc pod uwagę tylko marginalne liczby

Niech będzie łącznym rozkładem dwóch zmiennych kategorialnych , z . Powiedzmy, że próbek pobrano z tego rozkładu, ale podano nam tylko liczby krańcowe, mianowicie dla :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j),Sj=∑i=1nδ(Xi=l),Tj=∑i=1nδ(Yi=j), S_j = \sum_{i=1}^{n}{\delta(X_i=l)}, T_j = \sum_{i=1}^{n}{\delta(Y_i=j)}, Jaki jest estymator największej wiarygodności dla , biorąc uwagę ? Czy to jest znane? Wykonalne obliczeniowo? Czy …

12 categorical-data maximum-likelihood joint-distribution marginal maximum-entropy

1

Oblicz prawdopodobieństwo logarytmiczne „ręcznie” dla uogólnionej regresji nieliniowej metodą najmniejszych kwadratów (NLM)

Próbuję obliczyć prawdopodobieństwo logarytmiczne dla uogólnionej regresji nieliniowej metodą najmniejszych kwadratów dla funkcji zoptymalizowanej przez funkcja w pakiecie R , przy użyciu macierzy kowariancji wariancji generowanej przez odległości na drzewie filogenetycznym przy założeniu ruchu Browna ( z pakietu). Poniższy odtwarzalny kod R pasuje do modelu GNSS przy użyciu danych x, …

12 r maximum-likelihood least-squares nonlinear-regression mixed-model

1

Stosunek prawdopodobieństw do stosunku plików PDF

Korzystam z Bayesa, aby rozwiązać problem klastrowania. Po kilku obliczeniach kończę z koniecznością uzyskania stosunku dwóch prawdopodobieństw: P(A)/P(B)P(A)/P(B)P(A)/P(B) być w stanie uzyskać . Te prawdopodobieństwa są uzyskiwane przez integrację dwóch różnych wielowymiarowych KDE 2D, jak wyjaśniono w tej odpowiedzi :P(H|D)P(H|D)P(H|D) P(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A)=∬x,y:f^(x,y)<f^(ra,sa)f^(x,y)dxdyP(A) = \iint_{x, y : \hat{f}(x, y) < \hat{f}(r_a, s_a)} …

12 probability bayesian maximum-likelihood kernel-smoothing

2

Czy MLE zawsze oznacza, że znamy plik PDF naszych danych, a EM oznacza, że nie?

Mam kilka prostych pytań koncepcyjnych, które chciałbym wyjaśnić w odniesieniu do MLE (oszacowanie maksymalnego prawdopodobieństwa) i jaki ma związek z EM (maksymalizacja oczekiwań). Jak rozumiem, jeśli ktoś powie „Użyliśmy MLE”, czy to automatycznie oznacza, że ma wyraźny model pliku PDF swoich danych? Wydaje mi się, że odpowiedź na to pytanie …

12 estimation maximum-likelihood expectation-maximization

2

Integracja estymatora gęstości jądra w 2D

Pochodzę z tego pytania, na wypadek, gdyby ktoś chciał pójść szlakiem. Zasadniczo mam zestaw danych złożony z obiektów, w których do każdego obiektu przypisana jest dana liczba zmierzonych wartości (w tym przypadku dwóch):NΩΩ\OmegaN.N.N Ω = o1[ x1, y1] , o2)[ x2), y2)] , . . . , oN.[ xN., yN.]Ω=o1[x1,y1],o2)[x2),y2)],...,oN.[xN.,yN.]\Omega …

12 probability maximum-likelihood kernel-smoothing numerical-integration

6

Jeśli użyjesz oceny punktowej, która maksymalizuje

Gdyby ktoś powiedział „Ta metoda wykorzystuje MLE do oszacowania punktowego parametru, który maksymalizuje , dlatego jest częsty; a ponadto nie jest bayesowski.”P ( x | θ )P(x|θ)\mathrm{P}(x|\theta) zgodziłbyś się? Aktualizacja w tle : Niedawno przeczytałem artykuł, który twierdzi, że jest częsty. Nie zgadzam się z ich twierdzeniem, w najlepszym razie …

12 bayesian maximum-likelihood likelihood frequentist philosophical

Pytania otagowane jako maximum-likelihood