Jakie są nie bayesowskie metody wnioskowania predykcyjnego?

Według wnioskowania bayesowskiego rozkład predykcyjny dla przyszłych danych jest uzyskiwany przez zintegrowanie nieznanych parametrów; całkowanie z tylnym rozkładem tych parametrów daje tylny rozkład predykcyjny - rozkład dla przyszłych danych pod warunkiem tych, które już zaobserwowano. Jakie są nie-bayesowskie metody wnioskowania predykcyjnego, które uwzględniają niepewność w oszacowaniach parametrów (tj. Które nie uwzględniają jedynie szacunków największego prawdopodobieństwa lub czegoś innego w funkcji gęstości)?

Wszyscy wiedzą, jak obliczyć przedziały prognozowania po regresji liniowej, ale jakie są zasady obliczania i jak można je zastosować w innych sytuacjach (np. Obliczenie dokładnego przedziału prognoz dla nowej zmiennej wykładniczej po oszacowaniu parametru częstości na podstawie danych)?

Nie-bayesowskie wnioskowanie predykcyjne (oprócz przypadku SLR) jest stosunkowo nowym obszarem. Pod nagłówkiem „nie-bayesowski” możemy podzielić podejścia na te, które są „klasyczne” częstokroć, a te, które są oparte na „prawdopodobieństwie”.

Klasyczna prognoza dla częstokroć

Jak wiecie, „złotym standardem” w częstości jest osiągnięcie nominalnego zasięgu przy wielokrotnym próbkowaniu. Na przykład chcemy, aby 95% region zaufania zawierał prawdziwy parametr (parametry) w 95% próbek z tej samej populacji podstawowej. Lub oczekujemy popełnienia błędów typu I i II w teście hipotez średnio równym i β . Wreszcie, i najbardziej niemądry dla tego pytania, oczekujemy, że nasz 95% przedział prognozy będzie zawierał następny punkt próbki w 95% przypadków.$\alpha$$\beta$

Teraz ogólnie miałem problemy z tym, jak klasyczne PI są prezentowane i nauczane w większości kursów statystycznych, ponieważ przytłaczającą tendencją jest interpretowanie ich jako bayesowskich przedziałów predykcyjnych z tyłu, których zdecydowanie nie są. Przede wszystkim mówią o różnych prawdopodobieństwach! Bayesian nie rości sobie prawa do powtarzalnego pobierania próbek ich ilości (w przeciwnym razie byliby częstymi). Po drugie, bayesowski PI faktycznie osiąga coś bardziej podobnego w duchu do Klasycznego Przedziału Tolerancji niż do Klasycznego Przedziału Prognozowania.

Dla odniesienia: Przedziały tolerancji muszą być określone przez dwa prawdopodobieństwa: pewność i zakres. Pewność mówi nam, jak często jest poprawna w powtarzanych próbkach. Pokrycie mówi nam minimalną miarę prawdopodobieństwa przedziału przy prawdziwym rozkładzie (w przeciwieństwie do PI, co daje oczekiwaną miarę prawdopodobieństwa ... ponownie przy wielokrotnym próbkowaniu). Zasadniczo to właśnie próbuje zrobić Bayesian PI, ale bez powtarzających się twierdzeń o próbkowaniu.

Tak więc podstawową logiką Prostej Regresji Liniowej Stats 101 jest uzyskanie powtarzalnych właściwości próbkowania PI przy założeniu normalności. To częste + Gaussowskie podejście, które zwykle jest uważane za „klasyczne” i nauczane na lekcjach statystyki wprowadzającej. Jest to oparte na prostocie wynikowych obliczeń ( ładny przegląd znajduje się w Wikipedii ).

Niegaussowskie rozkłady prawdopodobieństwa są generalnie problematyczne, ponieważ mogą brakować kluczowych wielkości, które można starannie odwrócić, aby uzyskać przedział. Dlatego nie ma metody „dokładnej” dla tych rozkładów, często dlatego, że właściwości przedziału zależą od prawdziwych parametrów leżących u podstaw.

Uznając tę ​​niezdolność, pojawiła się kolejna klasa przewidywania (oraz wnioskowania i szacowania) z podejściem opartym na prawdopodobieństwie.

Wnioskowanie oparte na prawdopodobieństwie

Podejścia oparte na prawdopodobieństwie, podobnie jak wiele współczesnych koncepcji statystycznych, sięgają do Ronalda Fishera. Podstawową ideą tej szkoły jest to, że poza wyjątkowymi przypadkami, nasze wnioski statystyczne są logicznie słabsze niż w przypadku, gdy mamy do czynienia z wnioskami z rozkładu normalnego (którego oszacowania parametrów są ortogonalne ), gdzie możemy dokonywać dokładnych stwierdzeń prawdopodobieństwa. W tym świetle wnioskowania należy naprawdę unikać stwierdzeń dotyczących prawdopodobieństwa, z wyjątkiem konkretnego przypadku, w przeciwnym razie należy wydawać oświadczenia dotyczące prawdopodobieństwa i uznać, że nie znamy dokładnego prawdopodobieństwa błędu (w sensie częstokroć).

Dlatego możemy uznać prawdopodobieństwo za zbliżone do prawdopodobieństwa Bayesa, ale bez wymogów dotyczących integralności lub możliwego pomylenia z prawdopodobieństwem częstości. Jego interpretacja jest całkowicie subiektywna ... chociaż współczynnik wiarygodności 0,15 jest często zalecany do wnioskowania z jednego parametru.

Jednak często nie widuje się dokumentów, które wyraźnie podają „przedziały prawdopodobieństwa”. Czemu? Wydaje się, że jest to w dużej mierze kwestia socjologii, ponieważ wszyscy przyzwyczailiśmy się do opartych na prawdopodobieństwie stwierdzeń dotyczących zaufania. Zamiast tego często widzisz autora odnoszącego się do „przybliżonego” lub „asymptotycznego” przedziału ufności takiego i takiego. Przedziały te w dużej mierze pochodzą z metod wiarygodności, w których opieramy się na asymptotycznym rozkładzie chi-kwadrat stosunku prawdopodobieństwa w bardzo podobny sposób, w jaki polegamy na asymptotycznej normalności średniej próbki.

Dzięki tej „poprawce” możemy teraz budować „przybliżone” 95% regiony ufności z prawie taką samą logiczną spójnością jak Bayesianie.

Od CI do PI w ramach Likelihood Framework

Sukces i łatwość powyższego podejścia opartego na prawdopodobieństwie doprowadziły do ​​pomysłów, jak rozszerzyć go na prognozy. Bardzo ładny artykuł na ten temat znajduje się tutaj (nie będę odtwarzać jego doskonałego zasięgu). Można go przypisać Davidowi Hinkleyowi pod koniec lat siedemdziesiątych (patrz JSTOR ), który stworzył ten termin. Zastosował go do odwiecznego „ Dwumianowego problemu prognozowania Pearsona ”. Podsumuję podstawową logikę.

$y$$y$$y$

Podstawowe zasady usuwania parametrów „uciążliwych” w celu uzyskania prawdopodobieństwa przewidywania są następujące:

1. $\mu, \sigma$
2. Jeśli parametr jest losowy (np. Inne nieobserwowane dane lub „efekty losowe”), to integrujesz je (tak jak w podejściu bayesowskim).

Różnica między parametrem stałym i losowym jest unikalna dla wnioskowania o prawdopodobieństwie, ale ma powiązania z modelami efektów mieszanych, w których wydaje się, że ramy Bayesa, częstości i prawdopodobieństwa kolidują ze sobą.

Mam nadzieję, że to odpowiedziało na twoje pytanie dotyczące szerokiego zakresu prognoz „nie Bayesowskich” (i wnioskowanie w tej sprawie). Ponieważ hiperłącza mogą się zmieniać, stworzę też wtyczkę do książki „W całym prawdopodobieństwie: modelowanie statystyczne i wnioskowanie przy użyciu prawdopodobieństwa”, która szczegółowo omawia współczesne ramy prawdopodobieństwa, w tym sporo epistemologicznych kwestii prawdopodobieństwa w porównaniu do bayesowskiego i częstego wnioskowanie i przewidywanie.

Referencje

1. Przedziały prognostyczne: metody nieparametryczne . Wikipedia. Dostęp 9/13/2015.
2. Bjornstad, Jan F. Prognozowane prawdopodobieństwo: przegląd. Statystyk. Sci. 5 (1990), no. 2, 242--254. doi: 10.1214 / ss / 1177012175 http://projecteuclid.org/euclid.ss/1177012175 .
3. David Hinkley. Prognozowane prawdopodobieństwo . The Annals of Statistics Vol. 7, nr 4 (lipiec 1979), s. 718-728 Opublikowane przez: Institute of Mathematical Statistics Stabilny URL: http://www.jstor.org/stable/2958920
4. Yudi Pawitan. Według wszelkiego prawdopodobieństwa: modelowanie statystyczne i wnioskowanie przy użyciu prawdopodobieństwa. Oxford University Press; 1 wydanie (30 sierpnia 2001 r.). ISBN-10: 0198507658, ISBN-13: 978-0198507659. Zwłaszcza rozdziały 5.5–5.9, 10 i 16.

Odpowiem konkretnie na pytanie: „Jakie nie bayesowskie metody wnioskowania predykcyjnego uwzględniają niepewność w oszacowaniach parametrów?” Swoją odpowiedź zorganizuję wokół rozszerzenia znaczenia niepewności .

Mamy nadzieję, że analizy statystyczne zapewniają wsparcie dla różnego rodzaju roszczeń, w tym prognoz . Pozostajemy jednak niepewni co do naszych roszczeń i ta niepewność wynika z wielu źródeł. Statystyki częstokroć są zorganizowane w sposób charakterystyczny wokół tej części naszej niepewności, która wynika konkretnie z próbkowania . Pobieranie próbek mogło być głównym źródłem niepewności w eksperymentach w rolnictwie, które historycznie stanowiły znaczny bodziec do rozwoju statystyki dla osób często korzystających z tego systemu. Ale w wielu najważniejszych bieżących aplikacjach tak nie jest. Martwimy się teraz o wszelkiego rodzaju inne niepewności, takie jak błędne określenie modelu i różne formy stronniczości - z których najwyraźniej istnieją setki (!) Typów [1].

Sander Greenland ma wspaniały dokument do dyskusji [2], w którym wskazano, jak ważne może być uwzględnienie tych innych źródeł niepewności, i przepisuje analizę wielu uprzedzeń jako sposób na osiągnięcie tego. Rozwija teorię całkowicie w kategoriach bayesowskich, co jest naturalne. Jeśli ktoś chce kontynuować formalne, spójne podejście do niepewności co do parametrów modelu, naturalnie doprowadza się do (subiektywnego) rozkładu prawdopodobieństwa nad parametrami; w tym momencie jesteś albo zagubiony w Diablu Bayesowskim, albo wstąpiłeś do Bayesowskiego Królestwa Niebieskiego (w zależności od religii).

Na twoje pytanie, @Scortchi, czy można to zrobić za pomocą „metod nie bayesowskich”, obejście nie bayesowskie w [3]. Ale dla każdego, kto wie wystarczająco dużo o bayesianizmie, aby napisać twoje pytanie, leczenie będzie wyglądało raczej jak próba wdrożenia obliczeń bayesowskich „podstępnie”, że tak powiem. Rzeczywiście, jak przyznają autorzy (patrz str. 4), im bliżej do bardziej zaawansowanych metod pod koniec książki, tym bardziej metody te wyglądają dokładnie na integrację opisaną w pytaniu. Sugerują, że to, co odchodzą od bayesianizmu, ostatecznie polega jedynie na tym, że nie szacuje się wyraźnie ich parametrów przed ich oszacowaniem.

$\theta(\alpha)$$\alpha$$\theta$

1. Chavalarias, David i John PA Ioannidis. „Analiza mapowania naukowego charakteryzuje 235 błędów w badaniach biomedycznych.” Journal of Clinical Epidemiology 63, nr. 11 (listopad 2010 r.): 1205–15. doi: 10.1016 / j.jclinepi.2009.12.011.

2. Grenlandia, Sander. „Modelowanie wielokrotnych odchyleń do analizy danych obserwacyjnych (z dyskusją).” Journal of Royal Statistics Society: Series A (Statistics in Society) 168, no. 2 (marzec 2005): 267–306. doi: 10.1111 / j.1467-985X.2004.00349.x.

3. Lash, Timothy L., Matthew P. Fox i Aliza K. Fink. Zastosowanie ilościowej analizy uprzedzeń do danych epidemiologicznych. Statystyka dla biologii i zdrowia. New York, NY: Springer New York, 2009. http://link.springer.com/10.1007/978-0-387-87959-8 .