Czy Bayesian przyznałby, że istnieje jedna stała wartość parametru?

W analizie danych bayesowskich parametry są traktowane jak zmienne losowe. Wynika to z bayesowskiej subiektywnej koncepcji prawdopodobieństwa. Ale czy Bayesianie teoretycznie uznają, że istnieje jedna prawdziwa stała wartość parametru w „prawdziwym świecie”?

Wydaje się, że oczywistą odpowiedzią jest „tak”, ponieważ wówczas próba oszacowania parametru byłaby prawie bezsensowna. Docenione byłoby cytowanie akademickie tej odpowiedzi.

IMHO „tak”! Oto jeden z moich ulubionych cytatów autorstwa Grenlandii (2006: 767):

Często mówi się (niepoprawnie), że „parametry są traktowane jako ustalone przez częstego, ale tak losowe przez Bayesian”. W przypadku częstych i Bayesian wartość parametru mogła zostać ustalona od samego początku lub mogła zostać wygenerowana z fizycznie losowego mechanizmu. W obu przypadkach obaj przypuszczają, że przyjął on pewną stałą wartość, którą chcielibyśmy poznać. Bayesian stosuje formalne modele prawdopodobieństwa, aby wyrazić osobistą niepewność co do tej wartości. „Losowość” w tych modelach reprezentuje osobistą niepewność co do wartości parametru; nie jest to właściwość parametru (chociaż powinniśmy mieć nadzieję, że dokładnie odzwierciedla właściwości mechanizmów, które wytworzyły parametr).

Greenland, S. (2006). Perspektywy bayesowskie dla badań epidemiologicznych: I. Podstawy i podstawowe metody. International Journal of Epidemiology , 35 (3), 765–774.

Bayesowska koncepcja prawdopodobieństwa niekoniecznie jest subiektywna (por. Jaynes). Ważnym rozróżnieniem jest tutaj to, że Bayesian próbuje określić swój stan wiedzy na temat wartości parametru, łącząc wcześniejszy rozkład jego prawdopodobnej wartości z prawdopodobieństwem, które podsumowuje informacje zawarte w niektórych spostrzeżeniach. Dlatego jako Bayesian powiedziałbym, że cieszę się z idei, że parametr ma prawdziwą wartość, która nie jest dokładnie znana, a celem rozkładu późniejszego jest podsumowanie tego, co wiem o jego prawdopodobnych wartościach, na podstawie moich wcześniejszych założeń i obserwacji.

Teraz, kiedy tworzę model, model nie jest rzeczywistością. Tak więc w niektórych przypadkach dany parametr istnieje w rzeczywistości (np. Średnia waga wombata), a w niektórych pytaniach nie (np. Prawdziwa wartość parametru regresji - model regresji jest jedynie modelem wyniku prawa fizyczne rządzące systemem, które mogą nie zostać w pełni ujęte w modelu regresji). Stwierdzenie, że w świecie rzeczywistym istnieje jedna prawdziwa stała wartość parametru, niekoniecznie musi być prawdziwe.

Z drugiej strony, sugerowałbym, że najczęściej stwierdzający twierdzą, że istnieje jedna prawdziwa wartość dla statystyki, ale oni też nie wiedzą, co to jest, ale mają estymatory i przedziały ufności dla swoich szacunków, które (w pewnym sensie ) określa ich niepewność co do wiarygodności różnych wartości (ale częstokroć pojęcie prawdopodobieństwa uniemożliwia im wyrażenie tego bezpośrednio).

W twoim głównym punkcie, w analizie danych bayesowskich (wydanie trzecie, 93), Gelman również pisze

Z punktu widzenia analizy danych bayesowskich często możemy interpretować klasyczne oszacowania punktowe jako dokładne lub przybliżone podsumowania tylne w oparciu o jakiś domyślny model pełnego prawdopodobieństwa. Na granicy dużej liczebności próby możemy w rzeczywistości zastosować teorię asymptotyczną do skonstruowania teoretycznego uzasadnienia bayesowskiego dla klasycznego wnioskowania o maksymalnym prawdopodobieństwie.

Być może więc nie Bayesianie powinni „przyznać”, że tak naprawdę istnieją pojedyncze rzeczywiste wartości parametrów, ale częstokrzyści powinni odwoływać się do statystyki bayesowskiej, aby uzasadnić swoje procedury szacunkowe! (Mówię to z językiem mocno w policzek.)

Nawiasem mówiąc, sprzeciwiam się ogólnemu stwierdzeniu, że statystyki bayesowskie opierają się na subiektywnym prawdopodobieństwie, i sugeruję, że Bayes jest subiektywny, podczas gdy inne paradygmaty wnioskowania nie są. Jest to z pewnością jeden argument, który można postawić, być może obejmujący również perspektywę argumentu „koherencji zakładów”, ale zobacz Gelman, który tutaj definiuje „Bayesian” jako statystykę, która używa rozkładu tylnego , i tutaj argumentuje przeciwko zbyt restrykcyjnym definicjom.$\Pr(\theta|y)$

Ale idea, że ​​w przyrodzie lub w systemach społecznych istnieją pojedyncze parametry, jest jedynie uproszczeniem. Może być jakiś ozdobny proces generujący obserwowalne wyniki, ale odkrycie tego systemu jest niezwykle skomplikowane; założenie, że istnieje jedna stała wartość parametru, znacznie upraszcza problem. Myślę, że to dotyczy sedna twojego pytania: Bayesianie nie powinni „przyznawać się” do tego uproszczenia bardziej niż Częstotliwi.

Czy uważasz, że istnieje jeden „prawdziwy ustalony parametr” dla czegoś takiego jak wkład picia mleka we wzrost dziecka? A może dla zmniejszenia wielkości guza na podstawie ilości chemikaliów X, które wstrzykujesz do ciała pacjenta? Wybierz dowolny model, który znasz i zadaj sobie pytanie, czy naprawdę wierzysz, że istnieje jedna prawdziwa, uniwersalna, precyzyjna i stała wartość dla każdego parametru, nawet teoretycznie.

Zignoruj ​​błąd pomiaru, spójrz na swój model, jakby wszystkie pomiary były idealnie dokładne i nieskończenie precyzyjne. Biorąc pod uwagę twój model, czy uważasz, że każdy parametr ma konkretną wartość punktową?

Fakt, że masz model, oznacza, że ​​pomijasz niektóre szczegóły. Twój model będzie miał niedokładność, ponieważ uśredniasz parametry / zmienne, które pominąłeś w celu stworzenia modelu - uproszczone przedstawienie rzeczywistości. (Tak jak nie tworzysz mapy 1: 1 planety, ze wszystkimi szczegółami, ale raczej mapę 1: 10000000 lub jakieś takie uproszczenie. Mapa jest modelem).

Biorąc pod uwagę, że uśredniasz zmienne pominięte, parametrami zmiennych, które uwzględnisz w swoim modelu, będą rozkłady, a nie wartości punktowe.

To tylko część filozofii bayesowskiej - ignoruję niepewność teoretyczną, niepewność pomiaru, priory itp. - ale wydaje mi się, że pomysł, że twoje parametry mają rozkłady, ma intuicyjny sens, podobnie jak statystyki opisowe mają dystrybucja.

Ale czy Bayesianie teoretycznie przyznają, że istnieje jedna prawdziwa stała wartość parametru w „prawdziwym świecie”?

Moim zdaniem odpowiedź brzmi „tak”. Istnieje nieznana wartość parametru, a wcześniejszy rozkład opisuje naszą wiedzę / niepewność na jej temat. W bayesowskim modelowaniu matematycznym uważa się za realizację zmiennej losowej po wcześniejszym rozkładzie.$\theta_0$$\theta_0$

Jeśli pójdziemy w parze z bayesianizmem z deterministycznym wszechświatem (zanim powiesz coś ze słowem „kwant”, żartuj sobie i przypomnij sobie, że to nie jest fizyka. Zmiana stosu), otrzymamy ciekawe wyniki.

Wyraźnie przyjmując nasze założenia:

1. Mamy agenta bayesowskiego będącego częścią i obserwującego deterministyczny wszechświat.
2. Agent ma ograniczone zasoby obliczeniowe.

Teraz wszechświat deterministyczny może być takim, w którym atomy to newtonowskie małe kule bilardowe. Może być całkowicie niekwantowy. Powiedzmy, że tak.

Agent rzuca teraz uczciwą monetą. Pomyśl o tym przez chwilę, co stanowi uczciwa moneta w deterministycznym wszechświecie? Moneta o współczynniku prawdopodobieństwa 50/50?

Ale to jest deterministyczne! Przy wystarczającej mocy obliczeniowej możesz dokładnie obliczyć, w jaki sposób wyląduje moneta, wyłącznie poprzez symulację modelu monety rzucanej w ten sam sposób.

W deterministycznym wszechświecie uczciwa moneta byłaby metalowym dyskiem o jednolitej gęstości. Żadna siła nie zmusza go do spędzania więcej czasu z jedną twarzą w dół niż drugą (pomyśl o tym, jak działają ważone kości).

Agent rzuca uczciwą monetą. Jednak agent nie jest wystarczająco silny. Nie ma wystarczająco ostrych oczu, aby zmierzyć, jak moneta obraca się po obróceniu, widzi jedynie rozmycie.

I tak jest napisane: „Ta moneta trafi w głowę z 50% prawdopodobieństwem”. Brak informacji prowadzi do prawdopodobieństwa.

Możemy spojrzeć na przestrzeń fazową rzucania monetą. Duży wielowymiarowy układ współrzędnych z osiami odnoszącymi się do kierunku rzutu, siły rzutu, obrotu monety, prędkości i kierunku wiatru i tak dalej. Pojedynczy punkt w tej przestrzeni odpowiada jednemu możliwemu spinaczowi monet.

Jeśli poprosimy agenta wcześniej o pokolorowanie w układzie współrzędnych gradientem w skali szarości odpowiadającym przypisaniu przez agenta prawdopodobieństwa głów dla każdego rzutu, najbardziej pokoloruje to wszystko jednolitym odcieniem szarości.

Jeśli będziemy stopniowo udostępniać mu mocniejsze komputery wewnętrzne, za pomocą których będą obliczać prawdopodobieństwa głów, będzie w stanie tworzyć coraz bardziej wymagające kolory. Kiedy wreszcie damy mu najpotężniejszy wewnętrzny komputer, dzięki czemu będzie wszechwiedzący, skutecznie namaluje dziwną szachownicę.

Jasne monety nie są wykonane z prawdopodobieństw, są wykonane z metalu. Prawdopodobieństwa istnieją tylko w strukturach obliczeniowych. Tak mówi Bayesian.

Istnieją niewłaściwe priory, na przykład Jeffreys, który ma pewien związek z macierzą informacji Fishera. To nie jest subiektywne.