Oto prosty przykład. Nie wiem, czy znasz R, ale mam nadzieję, że kod jest wystarczająco zrozumiały.
set.seed(9) # this makes the example reproducible
N = 36
# the following generates 3 variables:
x1 = rep(seq(from=11, to=13), each=12)
x2 = rep(rep(seq(from=90, to=150, by=20), each=3 ), times=3)
x3 = rep(seq(from=6, to=18, by=6 ), times=12)
cbind(x1, x2, x3)[1:7,] # 1st 7 cases, just to see the pattern
x1 x2 x3
[1,] 11 90 6
[2,] 11 90 12
[3,] 11 90 18
[4,] 11 110 6
[5,] 11 110 12
[6,] 11 110 18
[7,] 11 130 6
# the following is the true data generating process, note that y is a function of
# x1 & x2, but not x3, note also that x1 is designed above w/ a restricted range,
# & that x2 tends to have less influence on the response variable than x1:
y = 15 + 2*x1 + .2*x2 + rnorm(N, mean=0, sd=10)
reg.Model = lm(y~x1+x2+x3) # fits a regression model to these data
Teraz zobaczmy, jak to wygląda:
. . .
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) -1.76232 27.18170 -0.065 0.94871
x1 3.11683 2.09795 1.486 0.14716
x2 0.21214 0.07661 2.769 0.00927 **
x3 0.17748 0.34966 0.508 0.61524
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
. . .
F-statistic: 3.378 on 3 and 32 DF, p-value: 0.03016
Możemy skoncentrować się na sekcji „Współczynniki” wyniku. Każdy parametr oszacowany przez model otrzymuje własny wiersz. Rzeczywiste oszacowanie jest wymienione w pierwszej kolumnie. Druga kolumna zawiera standardowe błędy oszacowań, czyli oszacowanie, ile oszacowań „odbijałoby się” od próbki do próbki, gdybyśmy powtarzali ten proces w kółko. Mówiąc dokładniej, jest to oszacowanie standardowego odchylenia rozkładu próbkowania oszacowania. Jeśli podzielimy oszacowanie każdego parametru przez jego SE, otrzymamy wynik t , który jest wymieniony w trzeciej kolumnie; służy to do testowania hipotez, a konkretnie do sprawdzenia, czy oszacowanie parametru jest „znacząco” różne od 0. Ostatnia kolumna toWartość p powiązana z tym wynikiem t-score. Prawdopodobieństwo znalezienia wartości szacunkowej daleko od 0, jeśli hipoteza zerowa była prawdziwa. Zauważ, że jeśli hipoteza zerowa nie jest prawdziwa, nie jest jasne, czy ta wartość mówi nam cokolwiek znaczącego.
Jeśli spojrzymy w tę iz powrotem między tabelą współczynników a powyższym procesem generowania prawdziwych danych, zobaczymy kilka interesujących rzeczy. Przecięcie jest szacowane na -1,8, a jego SE wynosi 27, podczas gdy prawdziwa wartość wynosi 15. Ponieważ powiązana wartość p wynosi 0,95, nie byłaby uważana za „znacząco różną” od 0 ( błąd typu II ), ale jest jednak w obrębie jednej SE prawdziwej wartości. Dlatego nie ma nic strasznie ekstremalnego w tym oszacowaniu z punktu widzenia prawdziwej wartości i kwoty, którą powinna ona zmieniać; po prostu mamy niewystarczającą moc, aby odróżnić ją od 0. Ta sama historia, mniej więcej, dotyczyx1x2.21214≈.2x3x1przewiduje zmienną odpowiedzi lepiej niż sam przypadek. Innym sposobem na powiedzenie tego jest to, czy wszystkie oszacowania należy uznać za niemożliwe do odróżnienia od 0. Wyniki tego testu sugerują, że przynajmniej niektóre oszacowania parametrów nie są równe 0, inna poprawna decyzja. Ponieważ są 4 powyższe testy, bez tego nie mielibyśmy ochrony przed problemem wielokrotnych porównań . (Należy pamiętać, że ponieważ wartości p są zmiennymi losowymi - to, czy coś jest znaczące, różni się w zależności od eksperymentu, jeśli eksperyment zostałby ponownie przeprowadzony - możliwe jest, że będą one niespójne ze sobą. Omówiono to na CV tutaj: Istotność współczynników w regresji wielokrotnej: istotny test t vs. nieistotna statystyka F.i odwrotna sytuacja tutaj: w jaki sposób regresja może być znacząca, ale wszystkie predyktory mogą być nieistotne , a tutaj: statystyki F i t w regresji .) Być może, co ciekawe, w tym przykładzie nie ma błędów typu I. W każdym razie wszystkie 5 testów omówionych w tym akapicie są testami hipotez.
Z twojego komentarza, jak rozumiem, możesz również zastanawiać się, jak ustalić, czy jedna zmienna objaśniająca jest ważniejsza od drugiej. To bardzo częste pytanie, ale dość trudne. Wyobraź sobie, że chcesz przewidzieć potencjał sukcesu w sporcie na podstawie wzrostu i wagi sportowca i zastanawiasz się, co jest ważniejsze. Powszechną strategią jest sprawdzenie, który szacowany współczynnik jest większy. Jednak te szacunki są specyficzne dla użytych jednostek: na przykład współczynnik masy zmieni się w zależności od tego, czy zastosowane zostaną funty czy kilogramy. Ponadto nie jest jasne, jak zrównoważyć / porównać funty i cale lub kilogramy i centymetry. Jedną strategią stosowaną przez ludzi jest standaryzacjaR2r=r2−−√