Kiedy używać GAM kontra GLM

Zdaję sobie sprawę, że może to być potencjalnie szerokie pytanie, ale zastanawiałem się, czy istnieją uogólnione założenia, które wskazują na użycie GAM (Uogólniony model addytywny) w stosunku do GLM (Uogólniony model liniowy)?

Ktoś niedawno powiedział mi, że GAM należy używać tylko wtedy, gdy założę, że struktura danych jest „addytywna”, tj. Oczekuję, że dodanie x pozwoli przewidzieć y. Inna osoba zwróciła uwagę, że GAM wykonuje inny typ analizy regresji niż GLM i że GLM jest preferowany, gdy można założyć liniowość.

W przeszłości korzystałem z GAM do danych ekologicznych, np .:

ciągłe szeregi czasowe
gdy dane nie miały kształtu liniowego
Miałem wiele x, aby przewidzieć moje y, które, jak sądzę, miały pewne interakcje nieliniowe, które mogłem wizualizować za pomocą „wykresów powierzchniowych” wraz z testem statystycznym

Oczywiście nie bardzo rozumiem, co GAM robi inaczej niż GLM. Uważam, że jest to poprawny test statystyczny (i widzę wzrost wykorzystania GAM, przynajmniej w czasopismach ekologicznych), ale muszę wiedzieć lepiej, kiedy jego użycie jest wskazane w porównaniu z innymi analizami regresji.

regression generalized-linear-model gam

— mluerig
źródło

GAM są stosowane, gdy predyktor liniowy zależy liniowo od nieznanych funkcji gładkich niektórych zmiennych predykcyjnych.

— user2974951,

Rozróżnienie jest rozmyte, ponieważ można przedstawić zmienne liczbowe, np. Splajnem, również w GLM.

— Michael M,

Podczas gdy rozróżnienie jest rozmyte, gam może reprezentować interakcje również w sposób smae, ponieważ tak ścisła addytywność glm nie jest potrzebna, duża różnica polega na wnioskowaniu: gam potrzebuje specjalnych metod, ponieważ szacowanie nie odbywa się za pomocą projekcji, ale poprzez wygładzanie. Co to oznacza w praktyce, nie rozumiem.

— kjetil b halvorsen

GLM GAM.

\subset

$\subset$

— usεr11852

Odpowiedzi:

Główną różnicą imho jest to, że podczas gdy „klasyczne” formy modeli liniowych lub uogólnionych modeli liniowych przyjmują ustaloną liniową lub jakąś inną parametryczną formę związku między zmienną zależną a zmiennymi towarzyszącymi, GAM nie przyjmuje z góry żadnej konkretnej postaci tego związek, i można go wykorzystać do ujawnienia i oszacowania nieliniowego wpływu współzmiennej na zmienną zależną. Bardziej szczegółowo, podczas gdy w (uogólnionych) modelach liniowych predyktorem liniowym jest ważona suma zmiennych towarzyszących, , w GAM ten termin jest zastępowany sumą funkcji gładkiej, np. , gdzie $n$ $\sum_{i=1}^n \beta_i x_i$ $\sum_{i=1}^n \sum_{j=1}^q \beta_i \, s_j \left( x_i \right)$ $s_1(\cdot),\dots,s_q(\cdot)$ są gładkimi funkcjami podstawowymi (np. splajny sześcienne), a jest wymiarem podstawowym. Łącząc podstawowe funkcje, GAM mogą reprezentować dużą liczbę funkcjonalnych relacji (w tym celu opierają się na założeniu, że prawdziwa relacja prawdopodobnie będzie gładka, a nie perwersyjna). Są w zasadzie przedłużeniem GLMs, jednak są one zaprojektowane w sposób, który czyni je szczególnie przydatnymi do odkrywania nieliniowych efektów towarzyszących zmiennych liczbowych, a za to w „automatycznym” fashion (od Hastie i Tibshirani oryginalnego artykułu, mają zwanej dalej” zaletą bycia całkowicie zautomatyzowanym, tzn. statystycy nie potrzebują pracy „detektywistycznej” ). $q$

— matteo
źródło

Cóż, ale jak powiedziano w komentarzach, wszystko to można zrobić także z glm's ... Podejrzewam, że główna różnica jest pragmatyczna. Wdrożenie R mgcvzawiera wiele rzeczy, z którymi nie można zrobić glm, ale można było to zrobić również w tym środowisku ...

— kjetil b halvorsen,

Tak, zgadzam się z tobą, gry są rozszerzeniem GLM. Pytanie dotyczyło jednak tego, kiedy używać GAM, a kiedy GLM. Wydawało mi się, że operacja oznacza „klasyczne” formy GLM, które zwykle nie zawierają zestawu funkcji bazowych jako predyktorów i nie są używane do ujawnienia / przybliżona nieznana nieliniowa zależność.

— matteo,

dzięki - to jest pomocne. i tak, mówiłem o klasycznych GLM

— ach

@ matteo tylko dwie inne rzeczy: i) co dokładnie masz na myśli mówiąc, że „prawdziwy związek prawdopodobnie będzie gładki, a nie perłowy”? oraz ii) „szczególnie przydatne do odkrywania nieliniowych efektów zmiennych numerycznych” - jak opisać / określić ilościowo nieliniowość (np. za pomocą mgcv)?

— mluerig,

Prawdziwy związek może nie być tak naprawdę gładki, jednak GAM zazwyczaj kontrolują złożoność modelu, dodając karę „kręcenia się” podczas procesu maksymalizacji prawdopodobieństwa (zwykle realizowana jako część zintegrowanego kwadratu drugiej pochodnej szacowanej funkcji). Nieliniowe efekty współzmiennych liczbowych oznaczają, że wpływ określonej zmiennej liczbowej na zmienną zależną może, na przykład, nie zwiększać / zmniejszać monotonicznie z wartością zmiennej, ale mieć nieznany kształt, np. Z lokalnymi maksimami, minimami, punktami przegięcia. ..

— matteo,

Chciałbym podkreślić, że GAMy są znacznie bardziej elastyczne niż GLM, a zatem wymagają większej uwagi w ich użyciu. Z większą mocą wiąże się większa odpowiedzialność.

Wspominasz o ich zastosowaniu w ekologii, co również zauważyłem. Byłem w Kostaryce i widziałem jakieś badania w lesie deszczowym, gdzie niektórzy studenci wrzucili pewne dane do GAM i zaakceptowali jego szalone kompleksowe wygładzanie, ponieważ oprogramowanie tak mówi. To było dość przygnębiające, z wyjątkiem dowcipnego / godnego podziwu faktu, że rygorystycznie załączyli przypis, który dokumentował fakt, że użyli GAM i wysokiej jakości wygładzaczy, które z tego wynikły.

Nie musisz dokładnie rozumieć, jak działają GAM, aby z nich korzystać, ale naprawdę musisz pomyśleć o swoich danych, aktualnym problemie, automatycznym wyborze parametrów oprogramowania, takich jak płynniejsze zamówienia, twoje wybory (co wygładzasz, interakcje, jeśli wygładzenie jest uzasadnione itp.) oraz wiarygodność wyników.

Wykonuj wiele wykresów i patrz na swoje wygładzające krzywe. Czy wariują w obszarach z małą ilością danych? Co się stanie, gdy wybierzesz wygładzanie niskiego rzędu lub całkowicie usuniesz wygładzanie? Czy dla tej zmiennej poziom 7 jest płynniejszy, czy jest ona zbyt duża, pomimo zapewnień, że weryfikuje ona swoje wybory? Czy masz wystarczającą ilość danych? Czy jest wysokiej jakości czy głośny?

Lubię GAMS i uważam, że są niedoceniane za eksplorację danych. Są po prostu superelastyczne i jeśli pozwolisz sobie na naukę bez rygoru, zabiorą cię w głąb statystycznego pustkowia niż prostsze modele, takie jak GLM.

— Wayne
źródło

Wyobrażam sobie, że najczęściej robię to, co zrobili studenci: wrzucam moje dane do gry i mgcvjestem oszołomiony tym, jak dobrze radzę sobie z danymi. Staram się być oszczędny w stosunku do moich parametrów i sprawdzam, jak dobrze przewidywane wartości pasują do moich danych. twoje komentarze są dobrym przypomnieniem, aby być bardziej rygorystycznym - i być może w końcu zdobądź książkę Simona Wooda!

— mluerig,

Do licha, posunę się tak daleko, że użyję wygładzacza do zbadania zmiennej, a następnie albo ustawię stopnie swobody na niskiej wartości, albo wyeliminuję wygładzenie i użyję, powiedzmy, kwadratu, jeśli wygładzacz był w zasadzie kwadratowy. Na przykład kwadrat ma sens dla efektu wieku.

— Wayne,

@Wayne, przyszedłem tutaj właśnie po odpowiedź na temat eksploracji danych w odniesieniu do GAM i widziałem, że zwróciłaś na to uwagę. Jak korzystasz z GAM do eksploracji danych? I jak zdecydujesz, czy GAM jest potrzebna, czy wystarczy GLM. Czy ma sens po prostu uruchomienie prostej GAM, w której uruchamiasz odpowiedź, a każdy z potencjalnych predyktorów z kolei planuje to i sprawdza, czy związek uzasadnia GAM (tj. Związek nieliniowy i nie-monotoniczny)?

— Tilen

Nie mam reputacji, aby po prostu dodać komentarz. Całkowicie zgadzam się z komentarzem Wayne'a: z większą mocą wiąże się większa odpowiedzialność . Gry mogą być bardzo elastyczne i często uzyskujemy / widzimy wygładzone kompleksy . Następnie zdecydowanie zalecam badaczom ograniczenie stopni swobody (liczby węzłów) funkcji gładkich i przetestowanie różnych struktur modelu (interakcje / brak interakcji itp.).

GAM można rozważyć pomiędzy podejściami opartymi na modelu (chociaż granica jest rozmyta, w tej grupie uwzględniałbym GLM) i podejściami opartymi na danych (np. Sztuczne sieci neuronowe lub losowe lasy, które zakładają w pełni oddziaływanie efektów zmiennych nieliniowych). Zgodnie z tym, nie do końca zgadzam się z Hastie i Tibshirani, ponieważ gry wciąż potrzebują pracy detektywistycznej (mam nadzieję, że nikt mnie nie zabije za to powiedzenie).

Z ekologicznego punktu widzenia zaleciłbym użycie oszustwa z pakietem R , aby uniknąć tych nierzetelnych zmiennych wygładzających kompleksów . Został opracowany przez Natalię Pya i Simona Wooda i pozwala ograniczyć gładkie krzywe do pożądanych kształtów (np. Jednomodalnych lub monotonicznych), nawet w przypadku interakcji dwukierunkowych. Myślę, że GLM staje się niewielką alternatywą po ograniczeniu kształtu płynnych funkcji, ale to tylko moja osobista opinia.

Pya, N., Wood, SN, 2015. Modele addytywne o ograniczonym kształcie. Stat. Comput. 25 (3), 543–559. 10.1007 / s11222-013-9448-7

— Rafa_Mas
źródło