Jak wykonać test T z dużymi próbkami?

Mam dwie populacje, jedną z N = 38 704 (liczba obserwacji), a drugą z N = 1 313 662. Te zestawy danych mają ~ 25 zmiennych, wszystkie ciągłe. Wziąłem średnią z każdego z każdego zestawu danych i obliczyłem statystyki testowe przy użyciu wzoru

t = średnia różnica / błąd standardowy

Problemem jest stopień swobody. Zgodnie z formułą df = N1 + N2-2 będziemy mieć więcej swobody, niż może obsłużyć stół. Wszelkie sugestie na ten temat? Jak sprawdzić statystykę t tutaj. Wiem, że test t służy do obsługi próbek, ale co, jeśli zastosujemy to do dużych próbek.

chl wspominał już o pułapce wielokrotnych porównań przeprowadzając jednocześnie 25 testów z tym samym zestawem danych. Łatwym sposobem na poradzenie sobie z tym jest dostosowanie progu wartości p przez podzielenie ich przez liczbę testów (w tym przypadku 25). Bardziej precyzyjna formuła jest następująca: Skorygowana wartość p = 1 - (1 - wartość p) ^ (1 / n). Jednak te dwa różne wzory wyprowadzają prawie taką samą skorygowaną wartość p.

Jest jeszcze jeden poważny problem z testowaniem hipotez. Z całą pewnością napotkasz błąd typu I (fałszywie dodatni), w wyniku którego odkryjesz bardzo trywialne różnice, które są niezwykle istotne na poziomie 99,9999%. Dzieje się tak dlatego, że gdy mamy do czynienia z próbką o tak dużym rozmiarze (n = 1 313 662), otrzymamy standardowy błąd, który jest bardzo bliski 0. To dlatego, że pierwiastek kwadratowy z 1 313 662 = 1146. Odchylenie standardowe podzielisz przez 1,146. Krótko mówiąc, uchwycisz drobne różnice, które mogą być całkowicie nieistotne.

Sugerowałbym odejście od tej struktury testowania hipotez i zamiast tego przeprowadzenie analizy typu efektu wielkości. W tych ramach miarą odległości statystycznej jest odchylenie standardowe. W przeciwieństwie do błędu standardowego, odchylenie standardowe nie jest sztucznie zmniejszane przez wielkość próbki. Takie podejście pozwoli lepiej zrozumieć istotne różnice między zestawami danych. Wielkość efektu jest również znacznie bardziej skoncentrowana na przedziale ufności wokół średniej średniej różnicy, co jest znacznie bardziej pouczające niż testowanie hipotez koncentruje się na istotności statystycznej, która często wcale nie jest znacząca. Mam nadzieję, że to pomaga.

Studenta t -Dystrybucja staje się bliżej i bliżej rozkładu normalnego jako stopni swobody uzyskać większe. Przy 1313662 + 38704 - 2 = 1352364 stopni swobody, rozkład t będzie nie do odróżnienia od standardowego rozkładu normalnego, jak widać na poniższym obrazku (chyba że jesteś w skrajnym ogonie i jesteś zainteresowany odróżniając absolutnie małe wartości p od jeszcze mniejszych). Możesz więc użyć tabeli dla standardowego rozkładu normalnego zamiast tabeli dla rozkładu t .

Rozkład tendencję do rozkładu (gaussowskiego), gdy jest duże (w rzeczywistości, gdy , są prawie identyczne, patrz zdjęcie dostarczone przez @onestop). W twoim przypadku powiedziałbym, że jest BARDZO duże, więc możesz po prostu użyć testu- . W wyniku wielkości próby wszelkie BARDZO niewielkie różnice zostaną uznane za znaczące. Warto więc zadać sobie pytanie, czy te testy (z pełnym zestawem danych) są naprawdę interesujące.z n n > 30 n $t$$z$$n$$n>30$$n$$z$

Dla pewności, ponieważ zestaw danych zawiera 25 zmiennych, wykonujesz 25 testów? W takim przypadku prawdopodobnie trzeba poprawić wiele porównań, aby nie zawyżać wskaźnika błędów typu I (patrz pokrewny wątek na tej stronie).

BTW, oprogramowanie R daje wartości p, których szukasz, nie musisz polegać na tabelach:

> x1 <- rnorm(n=38704)
> x2 <- rnorm(n=1313662, mean=.1)
> t.test(x1, x2, var.equal=TRUE)

    Two Sample t-test

data:  x1 and x2 
t = -17.9156, df = 1352364, p-value < 2.2e-16
alternative hypothesis: true difference in means is not equal to 0 
95 percent confidence interval:
 -0.1024183 -0.0822190 
sample estimates:
  mean of x   mean of y 
0.007137404 0.099456039 

Możesz użyć następującej funkcji pytona, którą napisałem, która może obliczyć efekt rozmiaru. Test jest tutaj prosty

import numpy as np 
from scipy.stats import t

def Independent_tTest(x1, x2, std1, std2, n1, n2): 
    '''Independent t-test between two sample groups

    Note: 
        The test assumptions:
            H0: The two samples are not significantly different (from same population)
            H1: The two samples are siginficantly different (from two populations)
            - Accept the H1 if t-value > t-critical or p-value value < p-value critical
    Args: 
        x1(float): mean of the first sample group.
        x2(float): mean of the second sample group.
        std1(float): standard deviation of first sample group.
        std2(float): standard devation of second sample group.

    Return: 
        degree_of_freedome, t-statistics, p-value

    '''
    degree_of_freedom = n1 + n2  -2
    corrected_degree_of_freedom = (((std1**2/n1) + (std2**2/n2))**2)/(((std1**4)/((n1**2)*(n1-1)))+((std2**4)/((n2**2)*(n2-1))))

    poolvar = ((n1-1)*(std1**2)+ (n2-1)*(std2**2))/corrected_degree_of_freedom
    t_value = (x1 -x2)/np.sqrt(poolvar*((1/n1)+ (1/n2)))
    sig = 2 * (1-(t.cdf(abs(t_value), corrected_degree_of_freedom)))
    effect_size = np.sqrt((t_value**2)/(t_value**2+corrected_degree_of_freedom))
    return f"corrected degree of freedom {corrected_degree_of_freedom:0.4f} give a t-value = {t_value:0.4f}, with significant = {sig:0.4f} with effectsize ={effect_size:0.4f}"