Dlaczego uwzględnianie szerokości i długości geograficznej na koncie GAM w celu autokorelacji przestrzennej?

60

Stworzyłem uogólnione modele dodatków do wylesiania. Aby uwzględnić autokorelację przestrzenną, uwzględniłem szerokość i długość geograficzną jako wygładzony termin interakcji (tj. S (x, y)).

Oparłem to na przeczytaniu wielu artykułów, w których autorzy mówią: „aby uwzględnić przestrzenną autokorelację, współrzędne punktów zostały uwzględnione jako wygładzone terminy”, ale nigdy nie wyjaśniły, dlaczego tak naprawdę to wyjaśnia. To dość frustrujące. Przeczytałem wszystkie książki, które mogę znaleźć na GAM, w nadziei na znalezienie odpowiedzi, ale większość (np. Uogólnione modele addytywne, wprowadzenie do R, SN Wood) po prostu porusza ten temat bez wyjaśnienia.

Byłbym naprawdę wdzięczny, gdyby ktoś mógł wyjaśnić DLACZEGO uwzględnienie kont szerokości i długości geograficznej dla autokorelacji przestrzennej i co tak naprawdę oznacza „rozliczenie” - czy wystarczy po prostu włączyć to do modelu, czy też należy porównać model z s (x, y) i model bez? I czy odchylenie wyjaśnione tym terminem wskazuje na zakres autokorelacji przestrzennej?

— gisol
źródło

Jeśli jest to istotne, użyłem funkcji „bam” z pakietu „mgcv” w R.

— gisol,

Testowałem także autokorelację przestrzenną przy użyciu I. Morana

— gisol

możliwy duplikat Czy można użyć funkcji splajnu współrzędnych przestrzennych do sterowania autokorelacją przestrzenną?

— Makro

3

Biorąc pod uwagę odpowiedzi tutaj, możemy oflagować inne linki Q @Macro jako duplikat tego, aby ludzie, którzy go napotkali, zobaczyli tutaj odpowiedzi, szczególnie te z whuber.

— Gavin Simpson,

+1 @GavinSimpson - nawiasem mówiąc, pamiętaj, że masz moc oddawania bliskich głosów, których wystarczająca liczba doprowadzi do połączenia dwóch pytań.

— Makro

38

Głównym problemem w każdym modelu statystycznym są założenia leżące u podstaw każdej procedury wnioskowania. W opisywanym modelu resztki są przyjmowane jako niezależne. Jeśli mają jakąś zależność przestrzenną i nie jest to modelowane w sytematycznej części modelu, reszty z tego modelu będą również wykazywać zależność przestrzenną, lub innymi słowy, będą autokorelowane przestrzennie. Taka zależność unieważniłaby na przykład teorię, która wytwarza wartości p ze statystyk testowych w GAM; nie można ufać wartościom p, ponieważ zostały one obliczone przy założeniu niezależności.

Masz dwie główne opcje przetwarzania takich danych; i) modeluje zależność przestrzenną w systematycznej części modelu, lub ii) rozluźnia założenie niezależności i szacuje korelację między resztami.

i) próbuje się wprowadzić gładką lokalizację przestrzenną w modelu. ii) wymaga oszacowania macierzy korelacji reszt często podczas dopasowania modelu przy użyciu procedury podobnej do uogólnionego najmniejszego kwadratu. To, jak dobrze którekolwiek z tych podejść poradzi sobie z zależnością przestrzenną, będzie zależeć od charakteru i złożoności zależności przestrzennej oraz od tego, jak łatwo można ją modelować.

Podsumowując, jeśli można modelować zależność przestrzenną między obserwacjami, wówczas reszty są bardziej prawdopodobne, że są niezależnymi zmiennymi losowymi, a zatem nie naruszają założeń jakiejkolwiek procedury wnioskowania.

— Gavin Simpson
źródło

Dzięki za jasną odpowiedź Gavin. Co sprawia, że autokorelacja przestrzenna zasadniczo różni się od gradientu nieuwzględnionego w modelu? Powiedzmy, że twój obszar badań znajdował się na pochyłym wzgórzu, a gatunek będący przedmiotem zainteresowania wolał siedlisko niższe niż siedlisko wyższe. Pominięcie wzniesienia w modelu pozostawiłoby strukturę w resztkach, prawda? Czy to po prostu, że autokorelacja przestrzenna jest (lub była) zapomniana lub nie była brana pod uwagę? (PS być może jest to kiepski przykład, ponieważ włączenie lat, long również tłumaczy ten efekt).

— gisol

4

Tak. Podejrzewam, że w przykładach, które badałeś, składnik przestrzenny był interesujący, więc został wymodelowany jawnie za pomocą gładkości lat / lon lub składnik przestrzenny był uciążliwym terminem, ale musiał zostać wymodelowany, aby pozostawić resztki tam, gdzie „ „komponent jest lepiej modelowany za pomocą innej zmiennej (np. wysokość w Twoim komentarzu), wówczas zamiast lokalizacji przestrzennych zostanie zastosowana gładka tej zmiennej.

— Gavin Simpson

1

Dlaczego wygładzony? Co dokładnie oznacza „wygładzony”?

— Julian

1

@Julian Wartości odpowiedzi są wygładzane względem 2 współrzędnych przestrzennych. Innymi słowy, efekt przestrzenny jest oceniany jako płynna funkcja 2-d. Przez gładki rozumiemy pewną niepewność mierzoną przez zintegrowaną kwadratową drugą pochodną splajnu. Wiggliness jest wybierany w celu zrównoważenia dopasowania i złożoności modelu. Jeśli chcesz wiedzieć, jak powstają funkcje gładkie (splajny), warto zadać konkretne pytanie.

— Gavin Simpson

55

$\mathbf{z}$

$\mathbf{z}$ $y(\mathbf{z})$ $y$ $\mathbf{z}$ $(z_1,z_2)$ $\varepsilon$

y (z) = β_{0} + β_{1} z_{1} + β_{2} z_{2} + ε (z)

$y(\mathbf{z}) = \beta_0 + \beta_1 z_1 + \beta_2 z_2 + \varepsilon(\mathbf{z})$

$\beta_1$ $\beta_2$ $y(\mathbf{z})$ $y(\mathbf{z}')$ $\mathbf{z}$ $\mathbf{z}'$ $y(\mathbf{z})$ $y(\mathbf{z}')$ $E[|y(\mathbf{z}) - y(\mathbf{z}')|]$

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = E [{(β_{0} + β_{1} z_{1} + β_{2} z_{2} + ε (z) - (β_{0} + β_{1} z_{1}^{'} + β_{2} z_{2}^{'} + ε (z^{'})))}^{2}] \\ = E [{(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'} + ε (z) - ε (z^{'}))}^{2}] \\ = E [{(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} \\ + 2 (β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'}) (ε (z) - ε (z^{'})) \\ + {(ε (z) - ε (z^{'}))}^{2}] \\ = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + E [{(ε (z) - ε (z^{'}))}^{2}] \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= E[\left(\beta_0 + \beta_1 z_1 + \beta_2 z_2 + \varepsilon(\mathbf{z}) - \left(\beta_0 + \beta_1 z_1' + \beta_2 z_2' + \varepsilon(\mathbf{z}')\right)\right)^2] \\ &=E[\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)' + \varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=E[\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 \\ &\quad+ 2\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)\\ &\quad+ \left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] }$

$y(\mathbf{z})$ $y(\mathbf{z}')$

$\varepsilon(\mathbf{z})$

y (z) = β_{0} + ε (z)

$y(\mathbf{z}) = \beta_0 + \varepsilon(\mathbf{z})$

$\varepsilon$ $\varepsilon(\mathbf{z})$ $\varepsilon(\mathbf{z}')$ $E[\varepsilon(\mathbf{z})\varepsilon(\mathbf{z}')]$ $\varepsilon$ $\mathbf{z}$ $\mathbf{z}'$ $C(\mathbf{z}, \mathbf{z}')$ $y(\mathbf{z})$ $y(\mathbf{z}')$

ρ (y (z), y (z^{'})) = \frac{C (z, z^{'})}{\sqrt{C (z, z) C (z^{'}, z^{'})}} .

$\rho(y(\mathbf{z}), y(\mathbf{z}')) = \frac{C(\mathbf{z}, \mathbf{z}')}{\sqrt{C(\mathbf{z}, \mathbf{z})C(\mathbf{z}', \mathbf{z}')}}.$

$y$

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + E [{(ε (z) - ε (z^{'}))}^{2}] \\ = {(β_{1} (z_{1} - z_{1}^{'}) + β_{2} (z_{2} - z_{2})^{'})}^{2} + C_{1} (z, z) + C_{1} (z^{'}, z^{'}) \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= \left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2 + C_1(\mathbf{z}, \mathbf{z}) + C_1(\mathbf{z}', \mathbf{z}') }$

$\mathbf{z} \ne \mathbf{z}'$ $\varepsilon$ $C_1$ $C$

$\varepsilon$ $y$ $\mathbf{z}$ $\mathbf{z}'$ $\beta_0$ $\beta_1$

$y$

\begin{aligned} E [{(y (z) - y (z^{'}))}^{2}] & = E [{(β_{0} + ε (z) - (β_{0} + ε (z^{'})))}^{2}] \\ = E [{(ε (z) - ε (z^{'}))}^{2}] \\ = E [ε (z)^{2} - 2 ε (z) ε (z^{'}) + ε (z^{'})^{2}] \\ = C_{2} (z, z) - 2 C_{2} (z, z^{'}) + C_{2} (z^{'}, z^{'}) . \end{aligned}

$\eqalign{ E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2] &= E[\left(\beta_0 + \varepsilon(\mathbf{z}) - \left(\beta_0 + \varepsilon(\mathbf{z}')\right)\right)^2] \\ &=E[\left(\varepsilon(\mathbf{z}) - \varepsilon(\mathbf{z}')\right)^2] \\ &=E[\varepsilon(\mathbf{z})^2 - 2 \varepsilon(\mathbf{z})\varepsilon(\mathbf{z}') + \varepsilon(\mathbf{z}')^2] \\ &=C_2(\mathbf{z}, \mathbf{z}) - 2C_2(\mathbf{z}, \mathbf{z}') + C_2(\mathbf{z}', \mathbf{z}'). }$

$C_2(\mathbf{z}, \mathbf{z}')$ $\mathbf{z}$ $\mathbf{z}'$ $y$

$E[\left(y(\mathbf{z}) - y(\mathbf{z}')\right)^2]$ $\left(\beta_1 (z_1-z_1') + \beta_2 (z_2-z_2)'\right)^2$ $-2C_2(\mathbf{z}, \mathbf{z}')$ $C_i(\mathbf{z}, \mathbf{z})$

$\varepsilon$ ). W praktyce modele zawierają obie metody. To, który wybierzesz, zależy od tego, co chcesz osiągnąć z modelem i od tego, jak powstaje przestrzenna autokorelacja - czy wynika to z leżących u podstaw trendów, czy odzwierciedla warianty, które chcesz rozważyć losowo. Żaden z nich nie ma zawsze racji i, w danym problemie, często możliwe jest użycie obu rodzajów modeli do analizy danych, zrozumienia zjawiska i przewidywania jego wartości w innych lokalizacjach (interpolacja).

— Whuber
źródło

2

+1 - miło widzieć związek między dwoma podejściami do obsługi zależności przestrzennej. Świetna odpowiedź, kurwa!

— Makro

Bardzo obszerne, dziękuję. Zajmie mi to chwilę, aby przemyśleć to wszystko.

— gisol

6

Gdyby całe pisanie statystyczne było tego rodzaju, na świecie byłoby o wiele bardziej przejrzyste zastosowanie pracy statystycznej. Pięknie zrobione.

— Ari B. Friedman,

Czy rozumiem tę odpowiedź poprawnie, gdy z niej wywnioskuję, że zwykłe dodanie współrzędnych X / Y jako zmiennych niezależnych do dowolnego (?!) modelu w pewnym stopniu uwzględni przestrzenną autokorelację?

— Julian

1

@Julian: Mówimy o konstruowaniu różnych modeli dla tych samych danych. Jeśli uwzględnisz współrzędne X i Y jako zmienne objaśniające, ale poza tym nie uwzględnisz korelacji przestrzennej, wówczas „korelacja przestrzenna” nie ma sensu dla tego modelu, więc musimy uważać na to, co rozumiemy przez „uwzględnienie korelacji przestrzennej”. Ale jeśli zrozumiemy twoje pytanie, aby zadać pytanie, czy uwzględnienie współrzędnych jako zmiennych objaśniających może być tak samo skuteczne, jak skonstruowanie modelu, w którym korelacja przestrzenna jest wyraźnie reprezentowana, wtedy moja odpowiedź brzmi „tak, często tak jest”.

— whuber

0

Inne odpowiedzi są dobre. Chciałem tylko dodać coś o „rozliczaniu” autokorelacji przestrzennej. Czasami twierdzenie to jest wzmocnione zgodnie z zasadą „rozliczania autokorelacji przestrzennej, która nie jest wyjaśniona przez zmienne towarzyszące”.

Może to przedstawiać mylący obraz tego, co robi gładka przestrzenna. To nie jest tak, że istnieje pewna uporządkowana kolejka, w której prawdopodobieństwo, że wygładzenie cierpliwie czeka, aż zmienne towarzyszące odejdą, a następnie wygładzenie „niewyjaśnionych” części. W rzeczywistości wszyscy mają szansę wyjaśnić dane.

Ten artykuł z trafnie nazwanym tytułem bardzo wyraźnie przedstawia ten problem, chociaż z punktu widzenia modelu CAR zasady dotyczą gładzi GAM.

Dodanie błędów skorelowanych przestrzennie może zepsuć ustalony efekt, który kochasz

„Rozwiązaniem” w papierze jest wygładzenie resztek zamiast wygładzania przestrzeni. Pozwoliłoby to twoim współzmiennym wyjaśnić, co potrafią. Oczywiście istnieje wiele aplikacji, w których nie byłoby to pożądane rozwiązanie.

— ASeaton
źródło

-2

Korelacja przestrzenna jest po prostu tym, jak współrzędne xiy odnoszą się do wielkości powstałej powierzchni w przestrzeni. Tak więc autokorelację między współrzędnymi można wyrazić jako funkcjonalną zależność między sąsiednimi punktami.

— Michael Chernick
źródło

1

Cześć Michael, dziękuję za odpowiedź. Wydaje mi się, że rozumiem to, co powiedziałeś, ale wydaje się, że jest to raczej opis autokorelacji przestrzennej, a nie tego, w jaki sposób uwzględnia to włączenie współrzędnych - może jednak nie rozumiem tego. Powiedzmy na przykład, że mam 2 modele, pierwszy (A) z pojedynczym terminem - wylesianie jako funkcja odległości od stolicy, a drugi (B) z odległością do stolicy, ale także długość i długość semestr. Czy mógłbyś powtórzyć swoją odpowiedź w tym kontekście? Być może mógłbym to lepiej zrozumieć.

— gisol

1

Myślę, że jeśli w modelu nie ma terminu interakcji, przestrzenna autokorelacja między sąsiednimi punktami wynosi 0. Gdy masz iterację, warunek ten określa wartość autokorelacji przestrzennej.

— Michael Chernick

4

@Michael, autokorelacja przestrzenna oznacza, że korelacja między punktami zależy od ich lokalizacji przestrzennych. Myślę, że ta odpowiedź byłaby bardziej przydatna, gdybyś mógł wyjaśnić, dlaczego zastosowanie płynnego oszacowania funkcji, z położeniami przestrzennymi jako danymi wejściowymi, bierze to pod uwagę. Na powierzchni wydaje się, że podejście do funkcji gładkiej modeluje średnią, natomiast autokorelacja przestrzenna odnosi się do struktury kowariancji . Wiem, że istnieje związek między funkcją kowariancji płynnego procesu a płynnym szacowaniem funkcji, ale bez wykonania tego połączenia odpowiedź wydaje się niepełna.

— Makro

1

@Michael, z pewnością widać, że wpływ współrzędnych na długość / szerokość ma inny wpływ na modelowanie korelacji między dwoma punktami w przestrzeni ... OP zapytał, jak modelować autokorelację przestrzenną, i myślę, że część argumentu - część, która wyjaśnia dokładnie, w jaki sposób dopasowanie gładkiej powierzchni przestrzennej (co zrobiłby uogólniony model addytywny we współrzędnych) modeluje autokorelację przestrzenną. Istnieje związek między grami a funkcjami kowariancji (nie wiem wystarczająco, by być bardziej precyzyjnym), ale odwoływanie się do tego związku wydaje się być tym, co jest wymagane tutaj.

— Makro

1

@Marco Rzuciłbym okiem na książkę Simona Wooda, ponieważ możesz, ponieważ zawiera ona szczegóły i cytuje odpowiednią literaturę na temat wygładzania jako bit efektów losowych.

— Gavin Simpson