Praktyczne zasady dotyczące minimalnej wielkości próby dla regresji wielokrotnej

W kontekście propozycji badań w naukach społecznych zadano mi następujące pytanie:

Zawsze ustalałem minimalną wielkość próby dla regresji wielokrotnej o 100 + m (gdzie m jest liczbą predyktorów). Czy to jest właściwe?

Często otrzymuję podobne pytania, często o różnych regułach. Często czytałem takie praktyczne zasady w różnych podręcznikach. Czasami zastanawiam się, czy popularność reguły pod względem cytowań zależy od tego, jak niski jest standard. Jestem jednak świadomy wartości dobrej heurystyki dla uproszczenia procesu decyzyjnego.

Pytania:

• Jaka jest użyteczność prostych reguł praktycznych dla minimalnych rozmiarów próbek w kontekście badaczy stosowanych opracowujących badania naukowe?
• Czy zasugerowałbyś alternatywną zasadę dotyczącą minimalnej wielkości próby dla regresji wielokrotnej?
• Alternatywnie, jakie alternatywne strategie sugerowałbyś do określenia minimalnej wielkości próby dla regresji wielokrotnej? W szczególności dobrze byłoby, gdyby wartość została przypisana do stopnia, w jakim dowolna strategia może być łatwo zastosowana przez statystykę niestatystyczną.

Nie jestem fanem prostych wzorów do generowania minimalnych rozmiarów próbek. Przynajmniej każda formuła powinna uwzględniać wielkość efektu i interesujące pytania. Różnica między obiema stronami granicy jest minimalna.

Rozmiar próbki jako problem optymalizacji

• Większe próbki są lepsze.
• Wielkość próby jest często określana przez względy pragmatyczne.
• Wielkość próby powinna być postrzegana jako jeden z czynników problemu optymalizacji, w którym koszt czasu, pieniędzy, wysiłku itp. W porównaniu do pozyskania dodatkowych uczestników jest porównywany z korzyściami wynikającymi z posiadania dodatkowych uczestników.

Surowa zasada kciuka

Jeśli chodzi o bardzo surowe reguły praktyczne w typowym kontekście obserwacyjnych badań psychologicznych obejmujących takie rzeczy, jak testy umiejętności, skale postaw, miary osobowości i tak dalej, czasami myślę o:

• n = 100 jako odpowiednie
• n = 200 tak dobrze
• n = 400 + tak wspaniale

Te podstawowe zasady opierają się na 95% przedziałach ufności związanych z korelacjami na tych odpowiednich poziomach oraz na stopniu precyzji, który chciałbym teoretycznie zrozumieć relacje interesów. Jest to jednak tylko heurystyka.

G Moc 3

• Zwykle używam G-Power 3 do obliczania mocy na podstawie różnych założeń, patrz mój post .
• Zobacz ten samouczek z witryny G Power 3 dotyczącej regresji wielokrotnej
• Moc Primer jest również użytecznym narzędziem dla stosowanych badaczy.

Regresja wielokrotna testuje wiele hipotez

• Wszelkie pytania dotyczące analizy mocy wymagają uwzględnienia wielkości efektu.

• Analiza mocy dla regresji wielokrotnej jest komplikowana przez fakt, że istnieje wiele efektów, w tym ogólny kwadrat r i jeden dla każdego indywidualnego współczynnika. Ponadto większość badań obejmuje więcej niż jedną regresję wielokrotną. Dla mnie jest to kolejny powód, aby polegać bardziej na ogólnej heurystyce i myśleć o minimalnym rozmiarze efektu, który chcesz wykryć.

• W odniesieniu do regresji wielokrotnej często myślę więcej w kategoriach stopnia precyzji w szacowaniu podstawowej macierzy korelacji.

Dokładność w szacowaniu parametrów

Lubię też dyskusję Kena Kelleya i kolegów na temat dokładności w szacowaniu parametrów.

• Zobacz stronę internetową Ken Kelley dla wydawnictw
• Jak wspomnieli @Dmitrij, Kelley i Maxwell (2003) DARMOWY PDF zawiera przydatny artykuł.
• Ken Kelley opracował MBESSpakiet w języku R do przeprowadzania analiz dotyczących wielkości próby i precyzji w szacowaniu parametrów.

$n$$R^2$$R^2$$R_{adj}^{2}$$R^2$$1 - (1 - R^{2})\frac{n-1}{n-p-1}$$R^2$

$p$$n-1$$R_{adj}^{2}$$k$$R^2$$k$

require(Hmisc)
dop <- function(k, type) {
  z <- list()
  R2 <- seq(.01, .99, by=.01)
  for(a in k) z[[as.character(a)]] <-
    list(R2=R2, pfact=if(type=='relative') ((1/R2) - a) / (1 - a) else
         (1 - R2 + a) /  a)
  labcurve(z, pl=TRUE, ylim=c(0,100), adj=0, offset=3,
           xlab=expression(R^2), ylab=expression(paste('Multiple of ',p)))
}
par(mfrow=c(1,2))
dop(c(.9, .95, .975), 'relative')
dop(c(.075, .05, .04, .025, .02, .01), 'absolute')

$R^{2}$$R^{2}$$R^{2}_{adj}$

Jeśli ktoś widział to już w druku, daj mi znać.

(+1) za rzeczywiście kluczowe, moim zdaniem, pytanie.

$4\cdot m$$4$

Większość wielkości próbek jest powiązana z siłą testów hipotezy, którą zamierzasz przetestować po dopasowaniu modelu regresji wielokrotnej.

Jest ładny kalkulator, który może być przydatny w modelach z wieloma regresjami i pewną formułą za kulisami. Wydaje mi się, że taki statystyczny kalkulator mógłby z łatwością zastosować statystyczny.

Prawdopodobnie artykuł K. Kelley i SEMaxwell może być pomocny w odpowiedzi na inne pytania, ale najpierw potrzebuję więcej czasu, aby przestudiować problem.

$m$$m=500$$500$$600$

$m$$m+1$$n-m-1$$m+1$$n$$O\left(\frac{m+1}{n}\right)$$n=k(m+1)$$k$$O\left(\frac{1}{k}\right)$$k$$k$$10-20$$30\equiv\infty$$1,2,\dots,26,27,28,29,\infty$

W psychologii:

$N > 50 + 8m$$N > 104 + m$

Inne zasady, których można użyć to ...

$50$

$10$$30$

Zgadzam się, że kalkulatory mocy są przydatne, szczególnie w celu zobaczenia wpływu różnych czynników na moc. W tym sensie kalkulatory zawierające więcej informacji wejściowych są znacznie lepsze. W przypadku regresji liniowej podoba mi się tutaj kalkulator regresji , który zawiera takie czynniki, jak błąd w X, korelacja między X i więcej.

$R^2$

( pdf )

Oczywiście, jak również potwierdzono w pracy, (względna) bezstronność niekoniecznie oznacza posiadanie wystarczającej mocy statystycznej. Jednak obliczenia mocy i wielkości próby są zwykle wykonywane przez określenie oczekiwanych efektów; w przypadku regresji wielokrotnej oznacza to hipotezę na temat wartości współczynników regresji lub macierzy korelacji między regresorami, a wynik musi zostać sformułowany. W praktyce zależy to od siły korelacji regresorów z wynikiem i między nimi (oczywiście im silniejsze, tym lepsza korelacja z wynikiem, podczas gdy sytuacja pogarsza się z wielokoliniowością). Na przykład, w skrajnym przypadku dwóch idealnie współliniowych zmiennych, nie można przeprowadzić regresji niezależnie od liczby obserwacji, a nawet przy tylko 2 współzmiennych.