Jaka jest siła regresji logistycznej i testu t?

Czy moc regresji logistycznej i testu t jest równoważna? Jeśli tak, powinny one być „ekwiwalentem gęstości danych”, przez co rozumiem, że ta sama liczba podstawowych obserwacji daje tę samą moc, biorąc pod uwagę stałą wartość alfa równą 0,05. Rozważ dwa przypadki:

1. [Parametryczny test t]: wykonuje się 30 losowań z obserwacji dwumianowej, a otrzymane wartości uśrednia się. Odbywa się to 30 razy dla grupy A (która ma dwumianowy Pr wynoszący 0,70) i ​​30 razy dla grupy B (która ma dwumianowy Pr 0,75 występujący). Daje to 30 średnich na grupę, które stanowią podsumowanie 1800 losowań z rozkładu dwumianowego. Przeprowadzono test t 58df w celu porównania średnich.
2. [Regresja logistyczna]: Regresję logistyczną wykonuje się przy użyciu sztucznie zakodowanego zbocza reprezentującego członkostwo w grupie i każde z 1800 losowań.

Moje pytanie składa się z dwóch części:

1. Czy przy tych wartościach alfa 0,05 siła tych metodologii będzie taka sama czy inna? Dlaczego? Jak mogę to udowodnić?
2. Czy odpowiedź na pytanie 1 jest wrażliwa na wielkość próby przechodzącej do testu t, wielkość próby każdej grupy w teście t, leżące u podstaw prawdopodobieństwa dwumianowe lub jakiś inny czynnik? Jeśli tak, to skąd mogę wiedzieć (bez symulacji), że moc jest rzeczywiście inna i jakie zmiany spowodują, jakie zmiany mocy? Ewentualnie podaj opracowany kod R, który rozwiązuje problem za pomocą symulacji.

Jeśli poprawnie obliczyłem, regresja logistyczna asymptotycznie ma taką samą moc jak test t. Aby to zobaczyć, zanotuj jego logarytm prawdopodobieństwa i oblicz oczekiwanie jego Hesji na jego maksimum globalnym (jego wartość ujemna szacuje macierz wariancji-kowariancji rozwiązania ML). Nie przejmuj się zwykłą parametryzacją logistyczną: łatwiej jest sparametryzować ją za pomocą dwóch omawianych prawdopodobieństw. Szczegóły będą zależeć od tego, jak dokładnie przetestujesz znaczenie współczynnika regresji logistycznej (istnieje kilka metod).

To, że testy te mają podobne moce, nie powinno być zbyt zaskakujące, ponieważ teoria chi-kwadrat dla oszacowań ML opiera się na normalnym przybliżeniu do prawdopodobieństwa log, a test t opiera się na normalnym przybliżeniu do rozkładów proporcji. Sedno sprawy polega na tym, że obie metody dokonują takich samych oszacowań dwóch proporcji, a obie oceny mają te same błędy standardowe.

---

Rzeczywista analiza może być bardziej przekonująca. Przyjmijmy ogólną terminologię dla wartości w danej grupie (A lub B):

• $p$ jest prawdopodobieństwem 1.
• $n$ jest rozmiarem każdego zestawu losowań.
• $m$ jest liczbą zestawów losowań.
• $N = m n$ to ilość danych.
• 0 1 j th i $k_{ij}$ (równy lub ) to wartość wyniku w zestawie losowań .$0$$1$$j^\text{th}$$i^\text{th}$
• i $k_i$ to całkowita liczba jedynek w zestawie losowań .$i^\text{th}$
• $k$ to całkowita liczba jedynek.

Regresja logistyczna jest zasadniczo estymatorem ML . Jego logarytm podaje$p$

$$\log(\mathbb{L}) = k \log(p) + (N-k) \log(1-p).$$

Jego pochodnymi w odniesieniu do parametru są$p$

$$\frac{\partial \log(\mathbb{L})}{ \partial p} = \frac{k}{p} - \frac{N-k}{1-p} \text{ and}$$

$$-\frac{\partial^2 \log(\mathbb{L})}{\partial p^2} = \frac{k}{p^2} + \frac{N-k}{(1-p)^2}.$$

Ustawienie pierwszego na zero daje oszacowanie ML a podłączenie go do odwrotności drugiego wyrażenia daje wariancję , który jest kwadratem błędu standardowego. P (1 - t )/${\hat{p} = k/N}$$\hat{p}(1 - \hat{p})/N$

T statystyczne będą uzyskane z estymatorów na podstawie danych pogrupowanych w zestawach zwraca; mianowicie, jako różnica średnich (jeden z grupy A i drugi z grupy B) podzielona przez błąd standardowy tej różnicy, który jest uzyskiwany ze standardowych odchyleń średnich. Spójrzmy zatem na średnią i odchylenie standardowe dla danej grupy. Średnia równa jest , co jest identyczne z estymatorem ML . Odchylenie standardowe, o którym mowa, jest odchyleniem standardowym środków wyciągających; to jest odchylenie standardowe zbioru . Oto sedno sprawy, więc zbadajmy kilka możliwości.P K I /$k/N$$\hat{p}$$k_i/n$

1. Załóżmy, że dane nie są pogrupowane zwraca w ogóle, to znaczy i . są środki ciągnienia. Ich wariancja próbki wynosi razy . Z tego wynika, że ​​błąd standardowy jest identyczny z błędem standardowym ML poza współczynnikiem , który wynosi zasadniczo gdy . Dlatego - oprócz tej niewielkiej różnicy - wszelkie testy oparte na regresji logistycznej będą takie same jak testy t i uzyskamy zasadniczo tę samą moc.m = N k I N / ( N - 1 ) P ( 1 - P ) $n = 1$$m = N$$k_{i}$$N/(N-1)$$\hat{p}(1 - \hat{p})$ 1N=$\sqrt{N/(N-1)}$$1$$N = 1800$

2. Kiedy dane są pogrupowane, (prawdziwa) wariancja jest równa ponieważ statystyki reprezentują sumę zmiennych Bernoulliego ( ), każda z wariancją . Zatem oczekiwany błąd standardowy średniej tych wartości jest pierwiastkiem kwadratowym z , tak jak poprzednio.p ( 1 - p ) / n k i n p p ( 1 - p ) m p ( 1 - p ) / n / m = p ( 1 - p ) /$k_i/n$$p(1-p)/n$$k_i$$n$$p$$p(1-p)$$m$$p(1-p)/n/m = p(1-p)/N$

Nr 2 wskazuje, że moc testu nie powinny różnić się znacząco w sposób opiera rozdziela się (to znaczy, z jak i są zróżnicowane zastrzeżeniem ), z wyjątkiem być może z dość niewielki wpływ z regulacją w próbce wariancji (chyba że byłeś tak głupi, że używałeś bardzo niewielu zestawów remisów w każdej grupie).n m n = $m$$n$$m n = N$

Ograniczone symulacje do porównania do (przy 10000 iteracji na sztukę) z udziałem (zasadniczo regresja logistyczna); ; im (maksymalizacja korekty wariancji próbki) to potwierdzają: moc (przy , jednostronna) w pierwszych dwóch przypadkach wynosi 0,59, podczas gdy w trzecim, gdzie współczynnik korygujący stanowi zmiana materiału (są teraz tylko dwa stopnie swobody zamiast 1798 lub 58), spada do 0,36. Kolejny test porównujący dop = 0,74 m = 900 , n = 1 m = n = 30 m = 2 , n = 450 α = 0,05 p = 0,50 p = $p = 0.70$$p = 0.74$$m = 900, n = 1$$m = n = 30$$m = 2, n = 450$$\alpha = 0.05$$p = 0.50$$p = 0.52$ daje moc odpowiednio 0,22, 0,21 i 0,15: ponownie obserwujemy tylko niewielki spadek z braku grupowania w losowania (= regresja logistyczna) do grupowania w 30 grupach i znaczny spadek do tylko dwóch grup.

Morały tej analizy są następujące:

1. Nie tracisz dużo, dzieląc swoje danych na dużą liczbę stosunkowo małych grup „losowań”.$N$$m$
2. Możesz stracić znaczną moc, używając małej liczby grup ( jest małe, - ilość danych na grupę - jest duża).$m$$n$
3. Najlepiej, jeśli w ogóle nie grupujesz swoich danych w „losowania”. Po prostu przeanalizuj je w obecnej postaci (za pomocą dowolnego rozsądnego testu, w tym regresji logistycznej i testów t).$N$

Oto kod w R, który przedstawia symulację whuber za odpowiedź . Informacje zwrotne na temat poprawy mojego kodu R są mile widziane.

N <- 900            # Total number data points
m <- 30;            # Size of draw per set
n <- 30;            # No of sets

p_null <- 0.70;     # Null hypothesis
p_alternate <- 0.74 # Alternate hypothesis
tot_iter <- 10000;

set.seed(1);        # Initialize random seed
null_rejected <- 0; # Set counter to 0
for (iter in 1:tot_iter)
{
    draws1 <- matrix(0,m,n);
    draws2 <- matrix(0,m,n);
    means1 <- matrix(0,m);
    means2 <- matrix(0,m);

    for (obs in 1:m)
    {
        draws1[obs,] <- rbinom(n,1,p_null);
        draws2[obs,] <- rbinom(n,1,p_alternate);

        means1[obs,] <- mean(draws1[obs,]);
        means2[obs,] <- mean(draws2[obs,]);
    }
    if (t.test(means1,means2,alternative="l")$p.value <= 0.05)
    {
        null_rejected <- null_rejected + 1; 
    }
}
power <- null_rejected / tot_iter