Statystyki i duże zbiory danych linear-algebra

9

Zauważyłem ostatnio, że wiele osób opracowuje ekwiwalenty tensora wielu metod (faktoryzacja tensora, jądra tensora, tensory do modelowania tematów itp.) Zastanawiam się, dlaczego świat jest nagle zafascynowany tensorami? Czy pojawiły się ostatnio ostatnie artykuły / standardowe wyniki, które są szczególnie zaskakujące? Czy jest obliczeniowo dużo tańszy niż wcześniej podejrzewano? Nie jestem …

171 machine-learning references matrix linear-algebra tensor

9

Podręcznik do algebry liniowej zastosowanej do statystyki?

Pracowałem trochę w R i miałem do czynienia z takimi rzeczami, jak PCA, SVD, rozkład QR i wiele innych wyników algebry liniowej (podczas sprawdzania szacowania ważonych regresji itp.), Więc chciałem wiedzieć, czy ktoś ma zalecenie dotyczące dobrego obszerna książka o algebrze liniowej, która nie jest zbyt teoretyczna, ale jest matematycznie …

54 references matrix linear-algebra weighted-regression

5

Jakie jest intuicyjne wyjaśnienie, w jaki sposób PCA zmienia się z problemu geometrycznego (z odległościami) w problem algebry liniowej (z wektorami własnymi)?

Dużo czytałem o PCA, w tym różne tutoriale i pytania (takie jak ten , ten , ten i ten ). Geometryczny problem, który PCA próbuje zoptymalizować, jest dla mnie jasny: PCA próbuje znaleźć pierwszy główny składnik, minimalizując błąd rekonstrukcji (projekcji), który jednocześnie maksymalizuje wariancję rzutowanych danych. Kiedy po raz pierwszy …

54 pca optimization linear-algebra intuition

3

Jaka jest intuicja stojąca za SVD?

Czytałem o rozkładzie wartości pojedynczej (SVD). W prawie wszystkich podręcznikach wspomniano, że rozkłada macierz na trzy macierze o podanej specyfikacji. Ale jaka jest intuicja dzielenia macierzy w takiej formie? PCA i inne algorytmy redukcji wymiarów są intuicyjne w tym sensie, że algorytm ma ładną właściwość wizualizacji, ale w przypadku SVD …

50 matrix linear-algebra svd intuition

2

Czy każda macierz kowariancji jest dodatnia?

Myślę, że odpowiedź powinna brzmieć „tak”, ale nadal czuję, że coś jest nie tak. W literaturze powinny być jakieś ogólne wyniki, czy ktoś mógłby mi pomóc?

48 covariance matrix covariance-matrix linear-algebra

3

Dlaczego inwersja macierzy kowariancji daje częściowe korelacje między zmiennymi losowymi?

Słyszałem, że częściowe korelacje między zmiennymi losowymi można znaleźć, odwracając macierz kowariancji i pobierając odpowiednie komórki z takiej wynikowej macierzy precyzji (fakt ten jest wspomniany w http://en.wikipedia.org/wiki/Partial_correlation , ale bez dowodu) . Dlaczego tak jest?

32 covariance covariance-matrix linear-algebra partial-correlation matrix-inverse

3

Dlaczego macierz kowariancji próbki jest pojedyncza, gdy wielkość próby jest mniejsza niż liczba zmiennych?

Powiedzmy, że mam wymiarowy wielowymiarowy rozkład Gaussa. Biorę obserwacji (każdy z nich -vector), z tego rozkładu i obliczyć próbki kowariancji . W tym artykule autorzy stwierdzają, że macierz kowariancji próbki obliczona za pomocą jest pojedynczą.pppnnnpppSSSp>np>np > n Jak to jest prawda lub pochodne? Jakieś wyjaśnienia?

30 covariance-matrix linear-algebra

4

Dlaczego Andrew Ng woli używać SVD, a nie EIG macierzy kowariancji do PCA?

Studiuję PCA z kursu Andrew Ng Coursera i innych materiałów. W pierwszym zadaniu cs224n na kursie NLP w Stanford oraz w filmie wykładowym Andrew Ng dokonują dekompozycji wartości pojedynczej zamiast dekompozycji wektorów własnych macierzy kowariancji, a Ng twierdzi nawet, że SVD jest liczbowo bardziej stabilny niż skład eigend. Z mojego …

29 pca linear-algebra svd eigenvalues numerics

3

Rozkład produktów skalarnych dwóch losowych wektorów jednostkowych w wymiarach

Jeśli i są dwoma niezależnymi wektorami jednostek losowych w (równomiernie rozmieszczonymi na kuli jednostkowej), jaki jest rozkład ich iloczynu skalarnego (iloczyn skalarny) ?xx\mathbf{x}yy\mathbf{y}RreRD\mathbb{R}^Dx ⋅ yx⋅y\mathbf x \cdot \mathbf y Wydaje mi się, że gdy szybko rośnie rozkład (?) Staje się normalny z zerową średnią i wariancją malejącą w wyższych wymiarach …

27 mathematical-statistics linear-algebra beta-distribution

3

Dziwne korelacje w wynikach SVD danych losowych; czy mają wyjaśnienie matematyczne, czy jest to błąd LAPACK?

Obserwuję bardzo dziwne zachowanie w wynikach losowych danych SVD, które mogę odtworzyć zarówno w Matlabie, jak i R. Wygląda to na jakiś problem numeryczny w bibliotece LAPACK; czy to jest Rysuję próbek z wymiarowego Gaussa z zerową średnią i kowariancją tożsamości: . I zamontować je w dane matrycy . (Opcjonalnie …

21 pca svd linear-algebra numerics

7

Dlaczego macierze symetryczne z dodatnim określeniem (SPD) są tak ważne?

Znam definicję macierzy symetrycznej dodatniej określonej (SPD), ale chcę zrozumieć więcej. Dlaczego są tak ważne, intuicyjnie? Oto co wiem. Co jeszcze? Dla danych danych macierzą współwariancji jest SPD. Macierz współwariancji jest ważnym miernikiem, zobacz ten doskonały post dla intuicyjnego wyjaśnienia. Forma kwadratowa 12x⊤Ax−b⊤x+c12x⊤Ax−b⊤x+c\frac 1 2 x^\top Ax-b^\top x +cjest wypukły, …

20 mathematical-statistics optimization covariance-matrix intuition linear-algebra

1

Geometryczne rozumienie PCA w badanej (podwójnej) przestrzeni

Próbuję uzyskać intuicyjne zrozumienie działania analizy głównych składników (PCA) w przestrzeni przedmiotowej (podwójnej) . Rozważ zestaw danych 2D z dwiema zmiennymi, x1x1x_1 i x2x2x_2 oraz punktami danych (macierz danych wynosi i zakłada się, że jest wyśrodkowana). Typowa prezentacja PCA polega na tym, że bierzemy pod uwagę punktów w , zapisujemy …

19 pca linear-algebra intuition geometry

1

Jak wybielić dane za pomocą analizy głównych składników?

Chcę przekształcić moje dane tak, aby wariancje były równe jeden, a kowariancje były równe zero (tzn. Chcę wybielić dane). Ponadto średnie powinny wynosić zero.XX\mathbf X Wiem, że się tam dostanę, wykonując standaryzację Z i transformację PCA, ale w jakiej kolejności mam to zrobić? Powinienem dodać, że skomponowana transformacja wybielająca powinna …

18 pca linear-algebra

2

Dlaczego matryca Fisher Information jest pozytywnie półfinałowa?

Niech . Matrycę informacji Fisher definiuje się jako:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log⁡(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Jak mogę udowodnić, że Matryca Informacyjna Fishera jest dodatnia półfinałowa?

18 inference linear-algebra fisher-information

1

Wieloczynnikowy normalny tylny

To bardzo proste pytanie, ale nie mogę znaleźć pochodnej nigdzie w Internecie ani w książce. Chciałbym zobaczyć pochodną tego, jak jeden Bayesian aktualizuje wielowymiarowy rozkład normalny. Na przykład: wyobraź sobie to P(x|μ,Σ)P(μ)==N(μ,Σ)N(μ0,Σ0).P(x|μ,Σ)=N(μ,Σ)P(μ)=N(μ0,Σ0). \begin{array}{rcl} \mathbb{P}({\bf x}|{\bf μ},{\bf Σ}) & = & N({\bf \mu}, {\bf \Sigma}) \\ \mathbb{P}({\bf \mu}) &= & N({\bf …

18 bayesian normal-distribution matrix posterior linear-algebra

Pytania otagowane jako linear-algebra