Statystyki i duże zbiory danych covariance

10

Jak wyjaśniłbyś kowariancję komuś, kto rozumie tylko średnią?

... zakładając, że jestem w stanie poszerzyć swoją wiedzę na temat wariancji w intuicyjny sposób (intuicyjnie rozumiem „wariancję” ) lub mówiąc: Jest to średnia odległość wartości danych od „średniej” - i ponieważ wariancja jest kwadratowa jednostki, bierzemy pierwiastek kwadratowy, aby utrzymać te same jednostki, co nazywa się odchyleniem standardowym. Załóżmy, …

207 variance covariance intuition

7

PCA o korelacji lub kowariancji?

Jakie są główne różnice między przeprowadzaniem analizy składowych głównych (PCA) na macierzy korelacji a macierzą kowariancji? Czy dają takie same wyniki?

153 correlation pca covariance factor-analysis

6

Jak wyjaśniłbyś różnicę między korelacją a kowariancją?

W odpowiedzi na to pytanie, jak wyjaśniłbyś kowariancję komuś, kto rozumie tylko środek? , który dotyczy kwestii wyjaśniania kowariancji świeckim, przywołał podobne pytanie. Jak wyjaśnić statystykom różnicę między kowariancją a korelacją ? Wygląda na to, że oba odnoszą się do zmiany jednej zmiennej powiązanej z inną zmienną. Podobnie jak w …

109 correlation covariance

2

Czym jest kowariancja w prostym języku?

Co to jest kowariancja w prostym języku i w jaki sposób jest ona powiązana ze strukturą zależności , korelacji i struktury wariancji-kowariancji w odniesieniu do schematów powtarzanych pomiarów?

92 correlation repeated-measures terminology covariance independence

9

Jak i dlaczego działa normalizacja i skalowanie funkcji?

Widzę, że wiele algorytmów uczenia maszynowego działa lepiej przy średnim anulowaniu i wyrównaniu kowariancji. Na przykład sieci neuronowe mają tendencję do szybszego konwergencji, a K-Means zazwyczaj zapewnia lepszą klastrowanie z wstępnie przetworzonymi funkcjami. Nie widzę intuicji za tymi krokami wstępnego przetwarzania, które prowadzą do poprawy wydajności. Czy ktoś może mi …

61 machine-learning neural-networks covariance normalization

4

Kowariancja i niezależność?

Z podręcznika przeczytałem, że nie gwarantuje, że X i Y są niezależne. Ale jeśli są niezależni, ich kowariancja musi wynosić 0. Nie potrafiłem jeszcze wymyślić żadnego właściwego przykładu; czy ktoś mógłby to zapewnić?cov(X,Y)=0cov(X,Y)=0\text{cov}(X,Y)=0

54 independence covariance

2

Czy każda macierz kowariancji jest dodatnia?

Myślę, że odpowiedź powinna brzmieć „tak”, ale nadal czuję, że coś jest nie tak. W literaturze powinny być jakieś ogólne wyniki, czy ktoś mógłby mi pomóc?

48 covariance matrix covariance-matrix linear-algebra

2

Co mówi odwrotność macierzy kowariancji o danych? (Intuicyjnie)

Jestem ciekawy natury Σ−1Σ−1\Sigma^{-1} . Czy ktoś może powiedzieć coś intuicyjnego na temat „Co Σ−1Σ−1\Sigma^{-1} mówi o danych?” Edytować: Dziękuję za odpowiedzi Po wzięciu świetnych kursów chciałbym dodać kilka punktów: Jest to miara informacji, tj. to ilość informacji wzdłuż kierunku x .xTΣ−1xxTΣ−1xx^T\Sigma^{-1}xxxx Dwoistość: Od jest dodatnio określona, więc jest Σ …

46 bayesian maximum-likelihood covariance matrix

6

Dlaczego mianownik estymatora kowariancji nie powinien być n-2, a nie n-1?

Mianownik (obiektywnego) estymatora wariancji jest ponieważ istnieje obserwacji i szacowany jest tylko jeden parametr.n−1n−1n-1nnn V(X)=∑ni=1(Xi−X¯¯¯¯)2n−1V(X)=∑i=1n(Xi−X¯)2n−1 \mathbb{V}\left(X\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1} Z tego samego powodu zastanawiam się, dlaczego mianownik kowariancji nie powinien wynosić n−2n−2n-2 gdy szacuje się dwa parametry? Cov(X,Y)=∑ni=1(Xi−X¯¯¯¯)(Yi−Y¯¯¯¯)n−1Cov(X,Y)=∑i=1n(Xi−X¯)(Yi−Y¯)n−1 \mathbb{Cov}\left(X, Y\right)=\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(Y_{i}-\overline{Y}\right)}{n-1}

36 self-study variance covariance descriptive-statistics unbiased-estimator

5

Czy przykładowa macierz kowariancji jest zawsze symetryczna i dodatnia?

Czy przy obliczaniu macierzy kowariancji próbki można uzyskać macierz symetryczną i dodatnią? Obecnie mój problem obejmuje próbkę 4600 wektorów obserwacyjnych i 24 wymiary.

33 sampling covariance

3

Dlaczego inwersja macierzy kowariancji daje częściowe korelacje między zmiennymi losowymi?

Słyszałem, że częściowe korelacje między zmiennymi losowymi można znaleźć, odwracając macierz kowariancji i pobierając odpowiednie komórki z takiej wynikowej macierzy precyzji (fakt ten jest wspomniany w http://en.wikipedia.org/wiki/Partial_correlation , ale bez dowodu) . Dlaczego tak jest?

32 covariance covariance-matrix linear-algebra partial-correlation matrix-inverse

4

Jak zapewnić właściwości macierzy kowariancji przy dopasowywaniu wielowymiarowego modelu normalnego przy maksymalnym prawdopodobieństwie?

Załóżmy, że mam następujący model yi=f(xi,θ)+εiyi=f(xi,θ)+εiy_i=f(x_i,\theta)+\varepsilon_i where yi∈RKyi∈RKy_i\in \mathbb{R}^K , xixix_i is a vector of explanatory variables, θθ\theta is the parameters of non-linear function fff and εi∼N(0,Σ)εi∼N(0,Σ)\varepsilon_i\sim N(0,\Sigma), where ΣΣ\Sigma naturally is K×KK×KK\times K matrix. The goal is the usual to estimate θθ\theta and ΣΣ\Sigma. The obvious choice is maximum …

22 maximum-likelihood optimization covariance

3

Co mówi mi o danych dodatnia nieokreślona macierz kowariancji?

Mam wiele obserwacji na wielu odmianach i chciałbym ocenić gęstość prawdopodobieństwa dla wszystkich zmiennych. Zakłada się, że dane są zwykle dystrybuowane. Przy niskiej liczbie zmiennych wszystko działa tak, jakbym się spodziewał, ale przejście do większej liczby powoduje, że macierz kowariancji staje się niejednoznaczna. Zmniejszyłem problem w Matlabie do: load raw_data.mat; …

21 normal-distribution multivariate-analysis covariance

2

Kiedy kowariancja odległości jest mniej odpowiednia niż kowariancja liniowa?

Właśnie zostałem (niejasno) wprowadzony do kowariancji / korelacji odległości . Wydaje się to szczególnie przydatne w wielu sytuacjach nieliniowych, gdy testuje się zależność. Ale nie wydaje się, aby był używany bardzo często, chociaż kowariancja / korelacja są często stosowane w przypadku danych nieliniowych / chaotycznych. To sprawia, że myślę, że …

21 correlation covariance distance-covariance

2

Kowariancja losowego wektora po transformacji liniowej

Jeśli jest losowym wektorem, a jest stałą macierzą, ktoś mógłby wyjaśnić, dlaczego A c o v [ A Z ] = A c o v [ Z ] A ⊤ .ZZ\mathbf {Z}AAAcov[AZ]=Acov[Z]A⊤.cov[AZ]=Acov[Z]A⊤.\mathrm{cov}[A \mathbf {Z}]= A \mathrm{cov}[\mathbf {Z}]A^\top.

20 covariance

Pytania otagowane jako covariance