Regresja z bardzo małą wielkością próby

Chcę przeprowadzić regresję z 4 do 5 zmiennymi objaśniającymi, ale mam tylko 15 obserwacji. Nie będąc w stanie założyć, że te zmienne są normalnie rozmieszczone, czy istnieje nieparametryczna lub inna poprawna metoda regresji?

regression small-sample

— Kok
źródło

Nie zakłada się, że którakolwiek ze zmiennych objaśniających jest normalna. Nie ma również założenia o krańcowym rozkładzie odpowiedzi. Jeśli wykonujesz testy CI lub testy hipotez, zwykłe wnioskowanie zakłada warunkową normalność odpowiedzi. Ważniejsze są założenia liniowości i stałej wariancji. Z czego składa się twoja odpowiedź (/ dlaczego nie będzie to normalne)?

— Glen_b

Nie. Nie masz wystarczającej ilości danych. To jest analiza eksploracyjna. Możesz dobrze widzieć sugestywne relacje. Należy jednak unikać wartości p, przedziałów ufności i testowania hipotez.

— Charles,

@Glen_b ma rację co do natury założenia normalności w regresji ¹ .

Myślę, że twoim większym problemem będzie brak wystarczających danych do obsługi od 4 do 5 zmiennych objaśniających. Standardowa zasada ² polega na tym, że powinieneś mieć co najmniej 10 danych na zmienną objaśniającą, tj. 40 lub 50 danych w twoim przypadku (i dotyczy to idealnych sytuacji, w których nie ma wątpliwości co do założeń). Ponieważ twój model nie byłby całkowicie nasycony ³(masz więcej danych niż parametrów do dopasowania), możesz uzyskać oszacowania parametrów (nachylenie itp.), aw idealnych okolicznościach oszacowania są asymptotycznie obiektywne. Jednak jest całkiem prawdopodobne, że twoje oszacowania będą dalekie od prawdziwych wartości, a twoje SE / CI będą bardzo duże, więc nie będziesz miał mocy statystycznej. Pamiętaj, że użycie nieparametrycznej lub innej alternatywnej analizy regresji nie wyciągnie Cię z tego problemu.

Musisz tutaj wybrać jedną zmienną objaśniającą (zanim spojrzysz na dane!) Na podstawie wcześniejszych teorii w twojej dziedzinie lub przeczuć albo powinieneś połączyć swoje zmienne objaśniające. Rozsądną strategią dla tej drugiej opcji jest uruchomienie analizy głównych składników (PCA) i użycie pierwszego podstawowego składnika jako zmiennej objaśniającej.

Odniesienia:
_{1. Co zrobić, jeśli reszty są normalnie rozłożone, ale Y nie jest?

2. Podstawowe zasady dotyczące minimalnej wielkości próby dla regresji wielokrotnej

3. Maksymalna liczba zmiennych niezależnych, które można wprowadzić do równania regresji wielokrotnej}

— gung - Przywróć Monikę
źródło