Dlaczego dopasowanie modelu z czynnikiem wielopoziomowym zajmuje dużo czasu?

12

Dopasowuję model o współczynniku z wieloma poziomami i dopasowanie R zajmuje naprawdę dużo czasu. Dlaczego to?

Na przykład, jeśli dopasuję regresję do przewidywania wynagrodzeń graczy i dołączę czynnik prognostyczny dla wszystkich narodowości graczy, zajęłoby to więcej czasu niż dopasowanie modelu wynagrodzeń graczy z ciągłym predyktorem, np. wysokości.

regression categorical-data

— Goldisfine
źródło

5

Pomocne może być uświadomienie sobie, że chociaż czynnik wygląda jak jedna zmienna (to jedna kolumna w ramce danych, jeden element w specyfikacji modelu itp.), Za kulisami będzie faktycznie traktowany jako wiązka oddzielnych predyktorów. Model jest zatem znacznie bardziej skomplikowany niż model z jednym (ciągłym) predyktorem.

— Gala

13

R jest typowy - podobnie jak większość pakietów statystycznych, wykorzystuje dekompozycję QR do regresji.

Dla stałej , gdzie , samo obliczenie samego rozkładu jest efektywnie kwadratowe w - podwojenie liczby predyktorów pomnoży czas obliczeń przez około 4. $n$ $p<<n$ $p$

Więc jeśli przejdziesz od (regresja liniowa) do powiedzenia , możesz oczekiwać, że zajmie to coś w obszarze 600 razy dłuższym (w rzeczywistości prawdopodobnie nieco mniejszym, z różnych powodów). $p=2$ $p=50$

Dodanie wielu predyktorów będzie oznaczało znacznie dłuższe oczekiwanie.

— Glen_b - Przywróć Monikę
źródło

7

To dlatego, że przy współczynniku mającym $k$ $k-1$ $k=50$ $49$

— Russ Lenth
źródło