Jaki jest związek między ortogonalnym, korelacją i niezależnością?

Czytałem artykuł mówiący, że przy użyciu planowanych kontrastów w celu znalezienia środków, które różnią się pod jednym względem ANOVA, kontrasty powinny być ortogonalne, aby były nieskorelowane i zapobiegały zawyżeniu błędu typu I.

Nie rozumiem, dlaczego ortogonalny miałby oznaczać nieskorelowany w żadnych okolicznościach. Nie mogę znaleźć wizualnego / intuicyjnego wyjaśnienia tego, więc próbowałem zrozumieć te artykuły / odpowiedzi

https://www.psych.umn.edu/faculty/waller/classes/FA2010/Readings/rodgers.pdf

Co oznacza ortogonalny w kontekście statystyki?

ale dla mnie zaprzeczają sobie. Pierwsza mówi, że jeśli dwie zmienne są nieskorelowane i / lub ortogonalne, to są one liniowo niezależne, ale fakt, że są one liniowo niezależne, nie oznacza, że są one nieskorelowane i / lub ortogonalne.

Teraz na drugim łączu znajdują się odpowiedzi, które stwierdzają, że „ortogonalny oznacza nieskorelowany” i „Jeśli X i Y są niezależne, to są one ortogonalne. Ale odwrotność nie jest prawdziwa”.

Kolejny interesujący komentarz w drugim łączu stwierdza, że współczynnik korelacji między dwiema zmiennymi jest równy cosinus kąta między dwoma wektorami odpowiadającymi tym zmiennym, co oznacza, że dwa wektory ortogonalne są całkowicie nieskorelowane (co nie jest tym, co w pierwszym artykule roszczenia).

Jaki jest zatem prawdziwy związek między niezależnością, ortogonalnością i korelacją? Może coś przeoczyłem, ale nie mogę się dowiedzieć, co to jest.

correlation independence

— Carl Levasseur
źródło

Czy żadna z odpowiedzi na pytania oznaczone jako „Połączone” i „Powiązane” po prawej stronie tego pytania nie jest dla Ciebie wystarczająca?

— Dilip Sarwate,

Dwa linki, które podałem, wydają się zapewniać solidne odpowiedzi, ale stwierdzają różne rzeczy, a kiedy patrzę na powiązane pytania, widzę, że ludzie udzielający odpowiedzi są daleki od porozumienia się ze sobą

— Carl Levasseur

Zamieszanie / postrzegana sprzeczność może być całkowicie spowodowana różnicą między niezależnością liniową a niezależnością statystyczną.

— jona

Myślę, że przeciwieństwa (ANOVA) powinny być ortogonalne, jest istotnym aspektem tego pytania: nie dotyczy to tylko zmiennych losowych. Istnieje również dodatkowy nacisk na „niezależność” w porównaniu z ściśle powiązanym pytaniem, które Xian zasugerował jako możliwą duplikat (w tym pytaniu PO stwierdził, że rozumie „niezależność”, co w dużej mierze było oczywiste w odpowiedziach). Sugeruję więc, że nie jest to duplikat, a po drugie @jona, że zamieszanie może być owinięte w wiele znaczeń „niezależności”.

— Silverfish,

Wierzę też, że to nie jest duplikat. Pytanie to nie dotyczy korelacji, a odpowiedź nie wyszczególnia możliwej różnicy między ortogonalnością i nieskorelacją. Ponadto, jak wskazał plakat, istnieją różne sprzeczne odpowiedzi na różne powiązane pytania.

— A. Donda,

Odpowiedzi:

Niezależność jest pojęciem statystycznym. Dwie losowe zmienne i są statystycznie niezależne, jeśli ich łączny rozkład jest iloczynem rozkładów krańcowych, tj. jeśli każda zmienna ma gęstość , lub bardziej ogólnie gdzie oznacza funkcję skumulowanego rozkładu każdej zmiennej losowej. $X$ $Y$

fa (x, y) = fa (x) fa (y)

$f(x, y) = f(x) f(y)$

f

$f$

fa (x, y) = fa (x) fa (y)

$F(x, y) = F(x) F(y)$

F

$F$

Korelacja jest słabszą, ale powiązaną koncepcją statystyczną. Korelacja (Pearsona) dwóch zmiennych losowych jest oczekiwaną iloczynem zmiennych standardowych, tj. Zmienne są nieskorelowane, jeśli . Można wykazać, że dwie zmienne losowe, które są niezależne, są koniecznie nieskorelowane, ale nie odwrotnie.

ρ = mi [\frac{X - mi [X]}{\sqrt{mi [(X - mi [X])^{2)}]}} \frac{Y - mi [Y]}{\sqrt{mi [(Y - mi [Y])^{2)}]}}] .

$\newcommand{\E}{\mathbf E} \rho = \E \left [ \frac{X - \E[X]}{\sqrt{\E[(X - \E[X])^2]}} \frac{Y - \E[Y]}{\sqrt{\E[(Y - \E[Y])^2]}} \right ].$

ρ = 0

$\rho = 0$

Ortogonalność to koncepcja, która wywodzi się z geometrii i została uogólniona w algebrze liniowej i powiązanych dziedzinach matematyki. W algebrze liniowej ortogonalność dwóch wektorów i jest zdefiniowana w wewnętrznych przestrzeniach produktu , tj. Przestrzeniach wektorowych z iloczynem wewnętrznym , jako warunek, że Produkt wewnętrzny można zdefiniować na różne sposoby (co skutkuje różnymi wewnętrznymi przestrzeniami produktu). Jeśli wektory podano w postaci sekwencji liczb, , wówczas typowym wyborem jest iloczyn iloczynu , $u$ $v$ $\langle u, v \rangle$

⟨ u, przeciwko ⟩ = 0.

$\langle u, v \rangle = 0.$

u = (u_{1}, u_{2}, \dots u_{n})

$u = (u_1, u_2, \ldots u_n)$

⟨ u, v ⟩ = \sum_{i = 1}^{n} u_{i} v_{i}

$\langle u, v \rangle = \sum_{i = 1}^n u_i v_i$ .

Ortogonalność nie jest zatem sama w sobie pojęciem statystycznym, a obserwowane zamieszanie prawdopodobnie wynika z różnych tłumaczeń koncepcji algebry liniowej na statystyki:

a) Formalnie przestrzeń zmiennych losowych można uznać za przestrzeń wektorową. Możliwe jest wówczas zdefiniowanie produktu wewnętrznego w tej przestrzeni na różne sposoby. Jednym powszechnym wyborem jest zdefiniowanie go jako kowariancji: Ponieważ korelacja dwóch zmiennych losowych wynosi zero dokładnie, jeśli kowariancja wynosi zero, zgodnie z tą definicją nieskorelacja jest taka sama jak ortogonalność. (Inną możliwością jest zdefiniowanie iloczynu wewnętrznego zmiennych losowych po prostu jako oczekiwanego iloczynu ).

⟨ X, Y ⟩ = do o przeciwko (X, Y) = mi [(X - mi [X]) (Y - mi [Y])] .

$\langle X, Y \rangle = \mathrm{cov} (X, Y) = \E [ (X - \E[X]) (Y - \E[Y]) ].$

b) Nie wszystkie zmienne, które uwzględniamy w statystykach, są zmiennymi losowymi. Zwłaszcza w regresji liniowej mamy zmienne niezależne, które nie są uważane za losowe, ale wstępnie zdefiniowane. Niezależne zmienne są zwykle podawane jako ciągi liczb, dla których ortogonalność jest naturalnie określona przez iloczyn punktowy (patrz wyżej). Następnie możemy zbadać statystyczne konsekwencje modeli regresji, w których zmienne niezależne są ortogonalne. W tym kontekście ortogonalność nie ma konkretnej definicji statystycznej, a nawet więcej: nie ma zastosowania do zmiennych losowych.

Dodatek odpowiadający komentarzowi Silverfisha: Ortogonalność jest ważna nie tylko w odniesieniu do oryginalnych regresorów, ale także w odniesieniu do kontrastów, ponieważ (zestawy) prostych kontrastów (określonych przez wektory kontrastowe) można postrzegać jako transformacje macierzy projektowej, tj. Zestawu zmiennych niezależnych, w nowy zestaw zmiennych niezależnych. Ortogonalność kontrastów jest definiowana za pomocą iloczynu punktowego. Jeśli oryginalne regresory są wzajemnie ortogonalne, a jeden stosuje kontrasty ortogonalne, nowe regresory również są wzajemnie ortogonalne. Zapewnia to, że zestaw kontrastów może być postrzegany jako opisujący rozkład wariancji, np. Na główne efekty i interakcje, idea leżąca u podstaw ANOVA .

Ponieważ zgodnie z wariantem a) nieskorelacja i ortogonalność to po prostu różne nazwy dla tej samej rzeczy, moim zdaniem najlepiej unikać tego terminu. Jeśli chcemy porozmawiać o nieskorelowaniu zmiennych losowych, powiedzmy to i nie komplikujmy spraw, używając innego słowa z innym tłem i różnymi implikacjami. Uwalnia to również termin „ortogonalność”, który ma być stosowany zgodnie z wariantem b), co jest bardzo przydatne, zwłaszcza przy omawianiu regresji wielokrotnej. I odwrotnie, powinniśmy unikać stosowania terminu korelacja do zmiennych niezależnych, ponieważ nie są to zmienne losowe.

Prezentacja Rodgersa i in. Jest w dużej mierze zgodna z tym poglądem, zwłaszcza że rozumieją ortogonalność jako odrębną od nieskorelowanej. Jednak stosują one pojęcie korelacji do zmiennych nieprzypadkowych (ciągów liczb). Ma to sens jedynie statystycznie w odniesieniu do współczynnika korelacji próbki . Nadal zalecałbym unikanie tego użycia tego terminu, chyba że sekwencja liczb jest uważana za sekwencję realizacji zmiennej losowej. $r$

W powyższym tekście rozrzuciłem linki do odpowiedzi na dwa powiązane pytania, które powinny pomóc ci umieścić je w kontekście tej odpowiedzi.

— A. Donda
źródło

+1 Rozróżnienia, które tu wprowadzasz, są bardzo jasne i pomocne - lubiłem czytać cały post.

— whuber

+1 Podobało mi się, jak wymieszałeś pozostałe odpowiedzi, które w przeciwnym razie mogłyby wydawać się sprzeczne. Być może w części (b) miło byłoby wspomnieć coś konkretnie o projekcie eksperymentalnym lub ANOVA (ponieważ zostało to wspomniane w pytaniu PO) - nie jest od razu oczywiste, w kontekście twojej odpowiedzi, dlaczego „ortogonalność” może być interesująca lub rzeczywiście pożądana właściwość zmiennej niezależnej.

— Silverfish,

@Silverfish, masz rację, postaram się to dodać.

— A. Donda,

Pragnę różnić się od pochwalnych komentarzy Whubera. Definicja niezależności jest okropna: wydaje się sugerować, że zmienne losowe i mają tę samą funkcję skumulowanego rozkładu prawdopodobieństwa (CDF lub cdf), która jest tu oznaczona przez . I nie, a nie oznaczają różne cdfs z i . jest funkcją wartości rzeczywistej zmiennej rzeczywistej, a i oznaczają wartości tej funkcji przy liczbach i

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

X

$X$

Y

$Y$

F (\cdot)

$F(\cdot)$

F (x)

$F(x)$

F (y)

$F(y)$

x

$x$

y

$y$ . Prawidłowe sformułowanie to

{fa}_{X, Y} (x, y) = {fa}_{X} (x) {fa}_{Y} (y) dla wszystkich x i y, - \infty < x, y < \infty .

$F_{X,Y}(x,y) = F_X(x)F_Y(y)~\text{for all}~ x~\text{and}~y, -\infty < x,y < \infty.$

— Dilip Sarwate,

@DilipSarwate, puh-lease ...

— A. Donda

Oto mój intuicyjny pogląd: stwierdzenie, że xiy są nieskorelowane / ortogonalne, to oba sposoby stwierdzenia, że znajomość wartości x lub y nie umożliwia przewidywania innych - xiy są od siebie niezależne - zakładając że jakikolwiek związek jest liniowy.

Współczynnik korelacji wskazuje, jak dobrze znajomość x (lub y) pozwala nam przewidzieć y (lub x). Zakładając zależności liniowe.

W płaszczyźnie wektor wzdłuż osi X może być zmieniany pod względem wielkości bez zmiany jego komponentu wzdłuż osi Y - osie X i Y są ortogonalne, a wektor wzdłuż X jest ortogonalny względem dowolnego wzdłuż Y. Zmieniając wielkość wektora nie wzdłuż X spowoduje, że zarówno X, jak i Y będą się różnić. Wektor nie jest już prostopadły do Y.

Jeśli dwie zmienne są nieskorelowane, są one ortogonalne, a jeśli dwie zmienne są ortogonalne, są nieskorelowane. Korelacja i ortogonalność są po prostu różne, choć równoważne - algebraiczne i geometryczne - sposoby wyrażania pojęcia liniowej niezależności. Jako analogię rozważ rozwiązanie pary równań liniowych w dwóch zmiennych, wykreślając (geometryczne) i wyznaczniki (algebraiczne).

W odniesieniu do założenia liniowości - niech x będzie czasem, niech y będzie funkcją sinus. W jednym okresie xiy są zarówno ortogonalne, jak i nieskorelowane przy użyciu zwykłych środków do obliczania obu. Jednak znajomość x pozwala nam dokładnie przewidzieć y. Liniowość jest kluczowym aspektem korelacji i ortogonalności.

Chociaż nie jest to część pytania, zauważam, że korelacja i nieortogonalność nie są równoznaczne z przyczynowością. xiy mogą być skorelowane, ponieważ oba mają pewną, prawdopodobnie ukrytą zależność od trzeciej zmiennej. Spożycie lodów rośnie latem, ludzie częściej chodzą na plażę latem. Oba są ze sobą skorelowane, ale żadne z nich „nie powoduje” drugiego. Więcej informacji na ten temat można znaleźć na stronie https://en.wikipedia.org/wiki/Correlation_does_not_imply_causation .

— James R. Matey
źródło

Brak korelacji i ortogonalność to różne rzeczy. Możesz to sprawdzić tutaj - terpconnect.umd.edu/~bmomen/BIOM621/LineardepCorrOrthogonal.pdf

— Yurii

Oto zależność: jeśli X i Y są nieskorelowane, to XE [X] jest ortogonalne do YE [Y].

W przeciwieństwie do tego niezależność jest silniejszym pojęciem nieskorelowanym, tzn. Niezależność doprowadzi do nieskorelowanego, (nie) ortogonalnego i (nie) skorelowanego może się zdarzyć w tym samym czasie.

W tym semestrze jestem doradcą prawnym, dlatego nagrywam krótkie wideo o niezależności, korelacji i ortogonalności.

https://youtu.be/s5lCl3aQ_A4

Mam nadzieję, że to pomoże.

— Linan Huang
źródło

To nie odpowiada na pytanie.

— Michael R. Chernick

— Poprawiam

@linanhuang Ludzie z Larx?

— YHH