Jaki jest związek między Jeffreys Priors a transformacją stabilizującą wariancję?


17

Czytałem o przeorze Jeffreysa na wikipedii: Jeffreys Prior i zobaczyłem, że po każdym przykładzie opisuje, jak transformacja stabilizująca wariancję zamienia Jeffreysa przed mundurem.

Jako przykład w przypadku Bernoulliego stwierdza się, że dla monety, która jest główką z prawdopodobieństwem γ[0,1] , model próbny Bernoulliego daje, że Jeffreys przed parametrem γ wynosi:

p(γ)1γ(1γ)

Następnie stwierdza, że ​​jest to rozkład beta o α=β=12 . Stwierdza również, że jeśliγ=sin2(θ), to przed Jeffreys przedθjest jednolity w przedziale[0,π2].

Uznaję transformację za transformację stabilizującą wariancję. Co mnie dezorientuje to:

  1. Dlaczego transformacja stabilizująca wariancję miałaby jednolity przeor?

  2. Dlaczego mielibyśmy chcieć munduru przedtem? (ponieważ wydaje się, że może być bardziej podatne na niewłaściwe zachowanie)

Ogólnie nie jestem do końca pewien, dlaczego podano transformację sinusoidalną i jaką rolę odgrywa. Czy ktoś miałby jakieś pomysły?


2
Zadaję sobie pytanie jako samouk szarlatana, zadając to pytanie, ale: do jakiej transformacji stabilizującej warianty masz na myśli? ? 1sin2(θ)(1sin2(θ))
shadowtalker

2
Kwadratowy sinus jest zwykle niewłaściwym sposobem myślenia o transformacji. jest pierwiastkiem kwadratowym lub transformacją kątową. θ=arcsinγ
Nick Cox,

Odpowiedzi:


3

Przeor Jeffreys jest niezmienny w ramach reparametryzacji. Z tego powodu wielu Bayesian uważa to za „nieinformacyjny przeor”. (Hartigan pokazał, że istnieje cała przestrzeń takich pierwszeństw dla α + β = 1, gdzie J jest wcześniejszym Jeffreys i HJαHβα+β=1JH jest asymptotycznie lokalnie niezmiennym przeorem Hartigana. - Niezmienne uprzednie rozkłady )

Często powtarzanym fałszem jest to, że jednolity przełożony nie ma charakteru informacyjnego, ale po arbitralnej transformacji parametrów, a jednolity przełożony na nowe parametry oznacza coś zupełnie innego. Jeśli dowolna zmiana parametryzacji wpływa na twój przeor, wtedy twój przeor jest wyraźnie informacyjny.

  1. Korzystanie z Jeffreysa jest z definicji równoważne użyciu płaskiego przed zastosowaniem transformacji stabilizującej wariancję.

  2. Z matematycznego punktu widzenia wcześniejsze użycie Jeffreysa i płaskie wcześniejsze zastosowanie transformacji stabilizującej wariancję są równoważne. Z ludzkiego punktu widzenia ta ostatnia jest prawdopodobnie ładniejsza, ponieważ przestrzeń parametrów staje się „jednorodna” w tym sensie, że różnice są takie same we wszystkich kierunkach, bez względu na to, gdzie jesteś w przestrzeni parametrów.

Rozważ swój przykład Bernoulliego. Czy nie jest trochę dziwne, że ocena 99% na teście to ta sama odległość do 90%, a 59% do 50%? Po transformacji stabilizującej wariancje poprzednie pary są bardziej rozdzielone, tak jak powinny. Odpowiada naszej intuicji na temat rzeczywistych odległości w przestrzeni. (Matematycznie transformacja stabilizująca wariancję powoduje, że krzywizna utraty logarytmu jest równa macierzy tożsamości).


1. Zgadzam się, że jednolity uprzedni nie oznacza uprzedniego „nieinformacyjny”, ale mój komentarz na temat nieprzedstawiania określonej wartości nad inną wartością nadal obowiązuje (w ramach tej konkretnej parametryzacji). 2. Dobroć przeora jest bardzo niepokojąca . Jeśli masz niewłaściwych danych przed i mają, to nie gwarantuje, że będzie mieć odpowiednią tylnej. To bardzo niepokojące.
Greenparker,

1. Ale o to chodzi: parametryzacja jest dowolna, więc nie ma sensu mówić, że nie cenisz jednej wartości nad drugą. 2. W praktyce nigdy nie uważałem, że to dotyczy. To może dotyczyć innych ludzi.
Neil G,

1. Sprawiedliwy punkt. 2. Nie jestem pewien, z jakimi problemami się borykasz, ale nawet proste prawdopodobieństwo Gaussa z przeorem Jeffreysa może mieć niewłaściwy tył. Zobacz moją odpowiedź tutaj .
Greenparker,

@Greenparker Masz rację. Wyjaśnię, dlaczego nie dotyczy mnie to w mojej odpowiedzi.
Neil G,

Nie sądzę, aby edycja była poprawna. Jeśli tył jest niewłaściwy, MCMC z pewnością jest nonsensowna, ponieważ próbujesz czerpać z nieokreślonego rozkładu. Wyobraź sobie próbę próbkowania z Uniform przy użyciu dowolnego schematu próbkowania. Chociaż algorytm MCMC może nadal być ergodyczny (gdy masz zerową rekurencję), ale twoje próbki będą bezużyteczne. (0,)
Greenparker,

5

Podana strona Wikipedii tak naprawdę nie używa terminu „transformacja stabilizująca wariancję”. Termin „transformacja stabilizująca wariancję” jest ogólnie używany do wskazania transformacji, które sprawiają, że wariancja zmiennej losowej jest stała. Chociaż w przypadku Bernoulliego dzieje się tak z transformacją, nie jest to dokładnie ten cel. Celem jest uzyskanie jednolitego rozkładu, a nie tylko wariantu stabilizującego wariancję.

Przypomnij sobie, że jednym z głównych celów używania Jeffreysa przedtem jest niezmienność w trakcie transformacji. Oznacza to, że jeśli ponownie sparametryzujesz zmienną, pierwszeństwo się nie zmieni.

1.

W Jeffreys wcześniejsze w tym przypadku Bernoulliego, jak podkreślił, jest beta . p γ ( γ ) 1(1/2),1/2))

pγ(γ)1γ(1-γ).

Ponownie porównując z , możemy znaleźć rozkład θ . Najpierw zobaczmy, że θ = arcsin ( γ=grzech2)(θ)θ, a ponieważ0<γ<1,0<θ<π/2. Przypomnij sobie, żesin2(x)+cos2(x)=1. F θ ( x )θ=arcsin(γ)0<γ<10<θ<π/2)grzech2)(x)+sałata2)(x)=1

Fθ(x)=P(θ<x)=P(sin2(θ)<sin2(x))=P(γ<sin2(x))=Fγ(sin2(x))fθ(x)=dFγ(sin2(x)dx=2sin(x)cos(x)pγ(sin2(x))sin(x)cos(x)1sin2(x)(1sin2(x))=1.

Thus θ is the uniform distribution on (0,π/2). This is why the sin2(θ) transformation is used, so that the re-parametrization leads to a uniform distribution. The uniform distribution is now the Jeffreys prior on θ (since Jeffreys prior is invariant under transformation). This answers your first question.

2.

Often in Bayesian analysis one wants a uniform prior when there is not enough information or prior knowledge about the distribution of the parameter. Such a prior is also called a "diffuse prior" or "default prior". The idea is to not commit to any value in the parameter space more than other values. In such a case the posterior is then completely dependent on the data likelihood. Since,

q(θ|x)f(x|θ)f(θ)f(x|θ).

If the transformation is such that the transformed space is bounded, (like (0,π/2) in this example), then the uniform distribution will be proper. If the transformed space is unbounded, then the uniform prior will be improper, but often the resulting posterior will be proper. Although, one should always verify that this is the case.


This idea that you are "not committing to any value" by using a diffuse prior is wrong. The proof is that you can take any transformation of the space and the diffuse prior will mean something completely different.
Neil G

My comment on "not committing to any value" refers only to that particular parameterization. Of course, transformations will change how the mass is distributed (just like in this Bernoulli example).
Greenparker

Like I said below your other comment, the parametrization is arbitrary, which is why the statement "not committing to any value" is meaningless.
Neil G
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.