Wyprowadzenie transformacji normalizującej dla GLM


15

Jaka jest transformacja normalizująca dla rodziny wykładniczej pochodny? A()=duV1/3(μ)

Mówiąc dokładniej : Próbowałem postępować zgodnie ze szkicem rozszerzenia Taylora na stronie 3, slajd 1 tutaj, ale mam kilka pytań. Gdy z rodziny wykładniczej, transformacja h (X) i \ kappa _i oznaczają i ^ {th} kumulant, slajdy twierdzą, że: \ kappa _3 (h (\ bar {X})) \ ok h '(\ mu) ^ 3 \ frac {\ kappa _3 (\ bar {X})} {N ^ 2} + 3h '(\ mu) ^ 2h' '(\ mu) \ frac {\ sigma ^ 4} {N} + O (N ^ {- 3}) i pozostaje po prostu znaleźć h (X)Xh(X)κiith

κ3(h(X¯))h(μ)3κ3(X¯)N2+3h(μ)2h(μ)σ4N+O(N3),
h(X) tak, aby powyższe miało wartość 0.
  1. Moje pierwsze pytanie dotyczy arytmetyki: moja ekspansja Taylora ma różne współczynniki i nie mogę usprawiedliwić, że porzuciły wiele terminów.

    Since h(x)h(μ)+h(μ)(xμ)+h(x)2(xμ)2, we have:h(X¯)h(u)h(u))(X¯μ)+h(x)2(X¯μ)2E(h(X¯)h(u))3h(μ)3E(X¯μ)3+32h(μ)2h(μ)E(X¯μ)4+34h(μ)h(μ)2E(X¯μ)5+18h(μ)3E(X¯μ)6.

    Mogę dojść do czegoś podobnego, zastępując centralne momenty ich kumulatywnymi odpowiednikami, ale nadal się nie sumują.

  2. Drugie pytanie: dlaczego analiza zaczyna się od zamiast , czyli ilości, na której nam zależy?X¯X


Wydaje się, że kilkakrotnie gdzie znacząuμ
Glen_b -Reinstate Monica

Odpowiedzi:


2

Slajdy, do których prowadzą linki, są nieco mylące, pomijają kroki i robią kilka literówek, ale ostatecznie są poprawne. Pomoże odpowiedzieć najpierw na pytanie 2, potem 1, a następnie na końcu uzyskać transformację symetryczną .A(u)=u1[V(θ)]1/3dθ

Pytanie 2. Analizujemy ponieważ jest to średnia próbki wielkości iid zmiennych losowych . Jest to ważna ilość, ponieważ pobieranie próbek o tym samym rozkładzie i przyjmowanie średniej dzieje się cały czas w nauce. Chcemy wiedzieć, jak blisko jest do prawdziwej średniej . Twierdzenie Central Limit mówi, że zbiegnie się do jako ale chcielibyśmy poznać wariancję i skośność .X¯NX1,...,XNX¯μμNX¯

Pytanie 1. Twoje przybliżenie serii Taylora nie jest niepoprawne, ale musimy uważać na śledzenie vs. i potęgi aby dojść do tego samego wniosku co slajdy. Zaczniemy od definicji i centralnych momentów i wzór na :X¯XiNX¯Xiκ3(h(X¯))

X¯=1Ni=1NXi

E[Xi]=μ

V(Xi)=E[(Xiμ)2]=σ2

κ3(Xi)=E[(Xiμ)3]

Teraz najważniejsze momenty :X¯

E[X¯]=1Ni=1NE[Xi]=1N(Nμ)=μ

V(X¯)=E[(X¯μ)2]=E[((1Ni=1NXi)μ)2]=E[(1Ni=1N(Xiμ))2]=1N2(NE[(Xiμ)2]+N(N1)E[Xiμ]E[Xjμ])=1Nσ2

Ostatni krok następuje od , a . To może nie być najłatwiejsze wyprowadzenie , ale jest to ten sam proces, który musimy wykonać, aby znaleźć i , w którym dzielimy iloczyn sumy i liczymy liczbę terminów z potęgami różnych zmiennych. W powyższym przypadku istniało wyrażeń w formie i w formieE[Xiμ]=0E[(Xiμ)2]=σ2V(X¯)κ3(X¯)κ3(h(X¯))N(Xiμ)2N(N1)(Xiμ)(Xjμ) .

κ3(X¯)=E[(X¯μ)3)]=E[((1Ni=1NXi)μ)3]=E[(1Ni=1N(Xiμ))3]=1N3(NE[(Xiμ)3]+3N(N1)E[(Xiμ)E[(Xjμ)2]+N(N1)(N2)E[(Xiμ)]E[(Xjμ)]E[(Xkμ)]=1N2E[(Xiμ)3]=κ3(Xi)N2

Następnie rozwiniemy w serii Taylor, tak jak masz:h(X¯)

h(X¯)=h(μ)+h(μ)(X¯μ)+12h(μ)(X¯μ)2+13h(μ)(X¯μ)3+...

E[h(X¯)]=h(μ)+h(μ)E[X¯μ]+12h(μ)E[(X¯μ)2]+13h(μ)E[(X¯μ)3]+...=h(μ)+12h(μ)σ2N+13h(μ)κ3(Xi)N2+...

Przy odrobinie wysiłku możesz udowodnić, że pozostałe terminy to . Wreszcie, ponieważ , (co nie jest tym samym, co ), ponownie wykonujemy podobne obliczenia:O(N3)κ3(h(X¯))=E[(h(X¯)E[h(X¯)])3]E[(h(X¯)h(μ))3]

κ3(h(X¯))=E[(h(X¯)E[h(X¯)])3]=E[(h(μ)+h(μ)(X¯μ)+12h(μ)(X¯μ)2+O((X¯μ)3)h(μ)12h(μ)σ2NO(N2))3]

Interesują nas tylko warunki wynikające z kolejności , a przy dodatkowej pracy możesz pokazać, że nie potrzebujesz warunków „ „lub” ”przed przejęciem trzeciej potęgi, ponieważ spowodują one tylko w kolejności . Upraszczając, otrzymujemyO(N2)O((X¯μ)3)O(N2)O(N3)

κ3(h(X¯))=E[(h(μ)(X¯μ)+12h(μ)(X¯μ)212h(μ)σ2N))3]=E[h(μ)3(X¯μ)3+18h(μ)3(X¯μ)618h(μ)3σ6N3+32h(μ)2h(μ)(X¯μ)4+34h(μ)h(μ)(X¯μ)532h(μ)2h(μ)(X¯μ)2σ2N+O(N3)]

W tym produkcie pominąłem niektóre terminy, które były oczywiście . Musisz przekonać się, że warunki i toO(N3)E[(X¯μ)5]E[(X¯μ)6]O(N3) również. Jednak,

E[(X¯μ)4]=E[1N4(i=1N(X¯μ))4]=1N4(NE[(Xiμ)4]+3N(N1)E[(Xiμ)2]E[(Xjμ)2]+0)=3N2σ4+O(N3)

Następnie rozkładamy oczekiwanie na nasze równanie dlaκ3(h(X¯)) , mamy

κ3(h(X¯))=h(μ)3E[(X¯μ)3]+32h(μ)2h(μ)E[(X¯μ)4]32h(μ)2h(μ)E[(X¯μ)2]σ2N+O(N3)=h(μ)3κ3(Xi)N2+92h(μ)2h(μ)σ4N232h(μ)2h(μ)σ4N2+O(N3)=h(μ)3κ3(Xi)N2+3h(μ)2h(μ)σ4N2+O(N3)

To kończy wyprowadzenie . W końcu uzyskamy transformację symetryczną .κ3(h(X¯))A(u)=u1[V(θ)]1/3dθ

Dla tej transformacji ważne jest, aby pochodziła z wykładniczego rozkładu rodziny, w szczególności z naturalnej rodziny wykładniczej (lub została przekształcona w ten rozkład), w postaciXifXi(x;θ)=h(x)exp(θxb(θ))

W tym przypadku skumulowane rozkłady podane są przez . Więc , , a . Możemy zapisać parametr jako funkcję tylko biorąc odwrotność , pisząc . Następnieκk=b(k)(θ)μ=b(θ)σ2=V(θ)=b(θ)κ3=b(θ)θμbθ(μ)=(b)1(μ)

θ(μ)=1b((b)1(μ))=1b(θ))=1σ2

Następnie możemy zapisać wariancję jako funkcję i wywołać tę funkcję :μV¯

V¯(μ)=V(θ(μ))=b(θ(μ))

Następnie

ddμV¯(μ)=V(θ(μ))θ(μ)=b(θ)1σ2=κ3σ2

Więc jako funkcja , .μκ3(μ)=V¯(μ)V¯(μ)

Teraz, dla transformacji symetrycznej, chcemy zmniejszyć skośność , tworząc więc toh(X¯)h(μ)3κ3(Xi)N2+3h(μ)2h(μ)σ4N2=0h(X¯)O(N3) . Tak więc chcemy

h(μ)3κ3(Xi)+3h(μ)2h(μ)σ4=0

Podstawiając nasze wyrażenia do i jako funkcjiσ2κ3μ , mamy:

h(μ)3V¯(μ)V¯(μ)+3h(μ)2h(μ)V¯(μ)2=0

Więc , co prowadzi doh(μ)3V¯(μ)+3h(μ)2h(μ)V¯(μ)=0ddμ(h(μ)3V¯(μ))=0 .

Jednym rozwiązaniem tego równania różniczkowego jest:

h(μ)3V¯(μ)=1 ,

h(μ)=1[V¯(μ)]1/3

Więc , dla dowolnej stałej, . To daje nam transformację symetryczną , gdzie jest wariancją jako funkcja średniej w naturalnej rodzinie wykładniczej.h(μ)=cμ1[V¯(θ)]1/3dθcA(u)=u1[V(θ)]1/3dθV


1

nie mogę uzyskać tego samego wyniku, przybliżając momenty niecentralne a następnie obliczyć momenty centralne używając przybliżających momentów niecentralnych?EX¯kE(X¯EX¯)k

Ponieważ zmieniasz pochodne arbitralnie i upuszczasz termin pozostałości, co jest ważne. Jeśli nie znasz dużej notacji O i odpowiednich wyników, dobrym odniesieniem jest [Casella i Lehmann].

h(X¯)h(u)h(u)(X¯μ)+h(x)2(X¯μ)2+O[(X¯μ)3]

E[h(X¯)h(u)]h(u)E(X¯μ)+h(x)2E(X¯μ)2+(?)

Ale nawet jeśli nie upuścisz pozostałości, argumentując, że zawsze robisz (co jest niezgodne z prawem ...), następujący krok: mówi, żeN

\E(h(X¯)h(u))3h(μ)3\E(X¯μ)3+32h(μ)2h(μ)\E(X¯μ)4+34h(μ)h(μ)2\E(X¯μ)5+18h(μ)3\E(X¯μ)6.(1)
[h(x)h(x0)]3dx=[h(x0)(xx0)+12h(x0)(xx0)2+O((xx0)3)]3dx=(1)

jeśli nadal nie jest to jasne, możemy zobaczyć, że idzie algebra rozszerzania całki

[h(x0)(xx0)+12h(x0)(xx0)2+O((xx0)3)]3(2)

Niech , ,A=h(x0)(xx0)B=12h(x0)(xx0)2C=O((xx0)3) (2)=[A+B+C]3 [A3+3A2B+3AB2+B3]=[A+B]3=(1)

Twoim błędem jest pominięcie pozostałości przed ekspansją, co jest „klasycznym” błędem w dużej notacji O, a później stało się krytyką użycia dużej notacji O.

2.Dlaczego analiza zaczyna się od zamiastX¯X , czyli ilości, na której nam zależy?

Ponieważ chcemy oprzeć naszą analizę na wystarczających statystykach wprowadzanego modelu wykładniczego. Jeśli masz próbkę o rozmiarze 1, nie ma różnicy, czy analizujesz za pomocą LUBX¯=1ni=1nXiX1 .

To dobra lekcja na temat wielkiej notacji O, chociaż nie dotyczy GLM ...

Odnośnik [Casella i Lehmann] Lehmann, Erich Leo i George Casella. Teoria estymacji punktowej. Springer Science & Business Media, 2006.

Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.