Wnioskowanie statystyczne przy błędnym określeniu


14

Klasyczne podejście wnioskowania statystycznego opiera się na założeniu, że istnieje poprawnie określona statystyka. Oznacza to, że rozkład P(Y) który wygenerował zaobserwowane dane y jest częścią modelu statystycznego : M

P(Y)M={Pθ(Y):θΘ}
Jednak w w większości sytuacji nie możemy zakładać, że to naprawdę prawda. Zastanawiam się, co stanie się z procedurami wnioskowania statystycznego, jeśli odrzucimy poprawnie określone założenie.

Pθ1=argminPθMKL(P,Pθ)
P

Co dzieje się z estymatorami zestawu zaufania? Podsumujmy estymatory zestawów ufności. Niech będzie estymatorem zestawu, gdzie jest przestrzenią próbki, a mocą ustawioną na przestrzeni parametrów \ Theta . Chcielibyśmy wiedzieć, że istnieje prawdopodobieństwo, że zestawy wygenerowane przez \ delta zawierają prawdziwy rozkład \ mathbb {P} ^ * , czyli \ mathbb {P} ^ * (\ mathbb {P} ^ * \ in \ {P_ \ theta: \ theta \ in \ delta (Y) \}): = A.δ:ΩY2ΘΩY2ΘΘδP

P(P{Pθ:θδ(Y)}):=A.

Jednak oczywiście nie znamy prawdziwej dystrybucji . Prawidłowo określone założenie mówi nam, że . Jednak nadal nie wiemy, która to dystrybucja modelu. Jednak jest dolną granicą dla prawdopodobieństwa . Równanie jest klasyczną definicją poziomu ufności dla estymatora zbioru ufności.PPM

infθΘPθ(θδ(Y)):=B
AB

Jeśli odrzucimy poprawnie określone założenie, niekoniecznie jest już dolną granicą dla , czyli terminu, którym tak naprawdę jesteśmy zainteresowani. Rzeczywiście, jeśli założymy, że model jest źle określony, co prawdopodobnie ma miejsce w najbardziej realistycznych sytuacjach, wynosi 0, ponieważ prawdziwy rozkład nie jest zawarty w modelu statystycznym .BAAPM

Z innej perspektywy można pomyśleć o tym, do czego odnosi się gdy model jest źle określony. To bardziej szczegółowe pytanie. Czy nadal ma znaczenie, jeśli model jest źle określony. Jeśli nie, dlaczego w ogóle zawracamy sobie głowę statystykami parametrycznymi?BB

Wydaje mi się, że White 1982 zawiera pewne wyniki w tych kwestiach. Niestety mój brak wiedzy matematycznej utrudnia mi zrozumienie wielu tam napisanych tekstów.


1
Znalazłem to pytanie + odpowiedzi stats.stackexchange.com/questions/149773/... . To jest bardzo podobne. Czytanie tych książek prawdopodobnie doprowadziłoby do odpowiedzi na to pytanie. Jednak nadal uważam, że podsumowanie kogoś, kto już to zrobił, byłoby bardzo pomocne.
Julian Karls,

2
Szkoda, że ​​to pytanie nie wzbudziło większego zainteresowania - link Juliana zawiera fajny materiał, ale chciałbym usłyszeć więcej przemyśleń na ten temat.
Florian Hartig

1
Zwykle robi się to, że rozkład statystyki testowej jest obliczany zgodnie z hipotezą zerową, zakładając, że model statystyczny jest poprawny. Jeśli wartość p jest wystarczająco niska, stwierdza się, że albo wynika to z przypadku, albo że wartość null jest fałszywa. Jeśli jednak model jest źle określony, jest to również wniosek, który można wyciągnąć logicznie. To samo dotyczy wszystkich innych wniosków: fakt, że model jest źle określony, stanowi alternatywny wniosek. Tak o tym myślę na podstawie przeczytania pracy Spanosa.
Toby

Zasadniczo wszystkie modele są błędne. Pomaga w ilościowym opracowaniu błędnej specyfikacji. W przypadku obrazu błędne podanie jest błędną rejestracją. Na przykład, dla błędu liczenia (np. Z rozpadu radioaktywnego) dla wystarczającej liczby zliczeń, błąd jest rozkładem Poissona. W takim przypadku błędna rejestracja szeregu czasowego jest błędem osi y pierwiastka kwadratowego obrazu, a szum występuje w tych samych jednostkach. Przykład tutaj .
Carl

Odpowiedzi:


2

Niech y1,,yn będą danymi obserwowanymi, co do których zakłada się, że jest realizacją sekwencji iid zmiennych losowych Y1,,Yn ze wspólną funkcją gęstości prawdopodobieństwa pe zdefiniowaną w odniesieniu do miary sigma-skończonej ν . Gęstość pe nazywa się gęstością procesu generowania danych (DGP).

W modelu prawdopodobieństwa badacza M{p(y;θ):θΘ} to zbiór funkcji gęstości prawdopodobieństwa, które są indeksowane przez wektor parametrów θ . Załóżmy, że każda gęstość w M jest określona w odniesieniu do wspólnej miary sigma-skończonej ν (np. Każda gęstość może być funkcją masy prawdopodobieństwa z tą samą przestrzenią próbki S ).

Ważne jest, aby zachować gęstość pe która faktycznie wygenerowała dane, koncepcyjnie odrębna od modelu prawdopodobieństwa danych. W klasycznych metodach statystycznych staranne oddzielenie tych pojęć jest ignorowane, a nie dokonywane lub od samego początku zakłada się, że model prawdopodobieństwa jest poprawnie określony.

Prawidłowo określony model M w odniesieniu do pe jest zdefiniowany jako model, w którym peM ν - prawie wszędzie. Gdy M jest źle określone w odniesieniu do pe odpowiada to przypadkowi, w którym model prawdopodobieństwa nie jest poprawnie określony.

Jeśli model prawdopodobieństwo jest prawidłowo ustawiona, to istnieje θ w przestrzeń parametru Θ tak, że pe(y)=p(y;θ) ν -almost wszędzie. Taki wektor parametrów nazywany jest „prawdziwym wektorem parametrów”. Jeśli model prawdopodobieństwa jest błędnie określony, prawdziwy wektor parametrów nie istnieje.

Model być błąd w obrębie ram White'a celem jest znalezienie oszacowanie parametru θ n który minimalizuje £ -l n ( θ ) ( 1 / n ) Ď n i = 1 log p ( y ja ; θ ) nad pewnym zwartej przestrzeni parametrów Θ . Zakłada się, że wyjątkowy surowe światowe Minimizer, θ * , oczekiwanej wartości £ -l n na Θ znajduje się we wnętrzu Θθ^n^n(θ)(1/n)i=1nlogp(yi;θ)Θθ^nΘΘ. W szczęśliwym przypadku, gdy model prawdopodobieństwa jest poprawnie określony, θ może być interpretowane jako „prawdziwa wartość parametru”.

W szczególnym przypadku, w którym model jest prawdopodobieństwo prawidłowo określony, θ n jest znane oszacowanie maksymalnej wiarygodności. Jeśli nie wiemy, mają absolutną wiedzę, że model prawdopodobieństwo jest poprawnie określona, wtedy θ n nazywana jest oszacowanie prawdopodobieństwa quasi-maksymalny, a celem jest oszacowanie θ * . Jeśli nam się poszczęści i model prawdopodobieństwa zostanie poprawnie określony, wówczas quasi-maksymalne oszacowanie prawdopodobieństwa zmniejsza się jako szczególny przypadek do znanego oszacowania maksymalnego prawdopodobieństwa i θ staje się prawdziwą wartością parametru.θ^nθ^nθθ

Spójność w ramach White'a (1982) odpowiada zbieżności z θ bez wymagania, że θ jest koniecznie prawdziwym wektorem parametrów. W ramach White'a nigdy nie oszacowalibyśmy prawdopodobieństwa zdarzenia, że ​​zbiory wytworzone przez δ zawierają rozkład PRAWDA P *. Zamiast tego zawsze szacowalibyśmy rozkład prawdopodobieństwa P **, który jest prawdopodobieństwem zdarzenia, że ​​zbiory wytworzone przez δ zawierają rozkład określony przez gęstość p(y;θ) .

Na koniec kilka komentarzy na temat błędnej specyfikacji modelu. Łatwo jest znaleźć przykłady, w których źle określony model jest niezwykle przydatny i bardzo przewidywalny. Rozważmy na przykład model regresji nieliniowej (a nawet liniowej) z terminem błędu resztkowego Gaussa, którego wariancja jest wyjątkowo mała, ale rzeczywisty błąd resztkowy w środowisku nie jest gaussowski.

Łatwo jest również znaleźć przykłady, w których poprawnie określony model nie jest użyteczny i nieprzewidywalny. Weźmy na przykład model losowego przejścia do przewidywania cen akcji, który przewiduje, że jutrzejsza cena zamknięcia jest ważoną sumą dzisiejszych cen zamknięcia i pewnego szumu gaussowskiego z bardzo dużą wariancją.

Celem ramowej specyfikacji błędów modelu nie jest zapewnienie ważności modelu, ale raczej zapewnienie niezawodności. Oznacza to, że błąd próbkowania związany z oszacowaniami parametrów, przedziałami ufności, testami hipotez i tak dalej jest poprawnie oszacowany, pomimo obecności małej lub dużej ilości błędnej specyfikacji modelu. Quasi-maksymalne oszacowania prawdopodobieństwa są asymptotycznie normalne wyśrodkowane na θ za pomocą estymatora macierzy kowariancji, który zależy zarówno od pierwszej, jak i drugiej pochodnej funkcji logarytmu ujemnego-prawdopodobieństwa. W szczególnym przypadku, gdy masz szczęście i model jest poprawny, wszystkie formuły redukują się do znanego klasycznego schematu statystycznego, w którym celem jest oszacowanie „prawdziwych” wartości parametrów.


3

Po pierwsze, powiem, że to naprawdę fascynujące pytanie; podziękowania dla Juliana za opublikowanie go. Moim zdaniem podstawowym problemem, jaki napotykasz w tego rodzaju analizach, jest to, że każde wnioskowanie dowolnego podzbioru jest wnioskiem na temat ograniczonej klasy miar prawdopodobieństwa w modelu M , więc kiedy zaczynasz pytać o prawdopodobieństwo wnioskowania o prawdziwości model, pod modelem, degeneruje się to do trywialnego pytania, czy na początku występuje błędna specyfikacja. Biały omija ten problem, sprawdzając, jak bliski jest model do prawdziwej miary prawdopodobieństwa, używając odpowiedniej miary odległości. To prowadzi go do miary prawdopodobieństwa P θ 1 , która jest najbliższym proxy dla P wΘMPθ1P . Ta metoda patrzenia na P θ 1 może zostać rozszerzona w celu uzyskania interesujących ilości odnoszących się do twojego pytania dotyczącego zbiorów ufności.MPθ1

Zanim do tego dojdziemy, warto zauważyć, że wartości i B są matematycznie dobrze zdefiniowane w twojej analizie (tj. Istnieją) i nadal mają znaczenie; niekoniecznie jest to bardzo użyteczne znaczenie. Wartość A w twojej analizie jest dobrze zdefiniowana; prawdziwe prawdopodobieństwo, że wyprowadzony zestaw miar prawdopodobieństwa zawiera prawdziwą miarę prawdopodobieństwa. Masz rację, że PM implikuje A = 0 , co oznacza, że ​​ta ilość jest trywialna w przypadku błędnej specyfikacji. Idąc śladem White'a, być może bardziej interesujące jest spojrzenie na ilość:ABAPMA=0

AA(Y)P(Pθ1{Pθ|θδ(Y)}).

Tutaj mamy zastąpić wewnętrzną wystąpienie z jego najbliższego pełnomocnika w modelu M , tak że ilość nie jest już świadczonych trywialne, gdy P *M . Teraz pytamy o prawdziwe prawdopodobieństwo, że wnioskowany zestaw miar prawdopodobieństwa zawiera najbliższe przybliżenie prawdziwej miary prawdopodobieństwa w modelu. Błędne określenie modelu nie trywializuje już tej ilości, ponieważ mamy P θ 1M z konstrukcji.PMPMPθ1M

White analizuje błędną specyfikację, pokazując, że MLE jest spójnym estymatorem . Jest to cenne, ponieważ mówi ci, że nawet jeśli istnieje błędna specyfikacja, nadal poprawnie szacujesz najbliższe proxy do prawdziwej miary prawdopodobieństwa w modelu. Naturalnym pytaniem uzupełniającym dotyczącym zbiorów ufności jest to, czy określona metoda wnioskowania δ nakłada dolną granicę na wielkość A lub dowolną zbieżność skutkującą granicą jako n Pθ1δAn. Jeśli możesz ustalić (dodatnią) dolną granicę lub (dodatni) wynik konwergencji, daje to pewną wartość w zagwarantowaniu, że nawet w przypadku błędnej specyfikacji, nadal poprawnie oszacujesz najbliższy serwer proxy z pewnym poziomem prawdopodobieństwa. Poleciłbym zbadanie tych kwestii, zgodnie z analizą przeprowadzoną przez White'a.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.