Podręczniki na rachunku macierzowym?

20

Krótka historia: Przeczytałem Elementy uczenia statystycznego i denerwowałem się, gdy próbowałem zweryfikować niektóre wyniki, np. Biorąc pod uwagę a następnie

RSS (β) = {(y - X β)}^{T.} (y - X β),

$\text{RSS}(\beta) = \left(\mathbf{y}-\mathbf{X}\beta\right)^{T}\left(\mathbf{y}-\mathbf{X}\beta\right)\text{,}$

Szukam macierzowego rachunku różniczkowego, który jest napisany jak tradycyjny rachunek różniczkowy (tj. Dowody twierdzeń, przykłady, ćwiczenia z obliczeń itp.). Widziałem jużto pytaniei uważam, że tekst Magnusa i Neudeckera zbytnio koncentruje się na teorii, a tekst, który mam wGentle,zbyt mało koncentruje się na teorii, a zbytnio na obliczeniach.

\begin{aligned} \frac{\partial RSS}{\partial β} = - 2) X^{T.} (y - X β) \\ \frac{\partial^{2)} RSS}{\partial β \partial β^{T.}} = 2) X^{T.} X . \end{aligned}

$\begin{align}&\dfrac{\partial\text{RSS}}{\partial \beta} = -2\mathbf{X}^{T}\left(\mathbf{y}-\mathbf{X}\beta\right) \\ &\dfrac{\partial^2\text{RSS}}{\partial \beta\text{ }\partial \beta^{T}} = 2\mathbf{X}^{T}\mathbf{X}\text{.} \end{align}$

Czy istnieje jakieś szczęśliwe medium, które jest dostępne dla kogoś z doświadczeniem w analizie licencjackiej?

references matrix matrix-calculus

— Klarnecista
źródło

4

Czy rozważałeś Harville'a, Matrix Algebra z punktu widzenia statystyk ? Pierwsze rozdziały powinny być względnie elementarne, ale potem zaczynają.

— usεr11852 mówi: Przywróć Monic

2

amazon.com/Matrix-Algebra-Econometric-Exercises-Vol/dp/…

— Khashaa

1

Często używam tego wpisu z Wikipedii, aby znaleźć tożsamości problemów z rachunkiem macierzowym: en.wikipedia.org/wiki/Matrix_calculus

— Tommy L

9

W przypadku większości pytań dotyczących matrycy zawsze najpierw odnoszę się do „Matrycowej książki kucharskiej” (patrz tutaj ).

Jest regularnie aktualizowany ze względu na opinie z różnych źródeł. Są w nim zawarte dowody, jednak jest to głównie podręcznik.

— Laurens van de Wiel
źródło

3

Jeśli znalazłeś zbyt wiele teorii w książce Magnusa i Neudeckera, polecam tę, również autorstwa Magnusa:

Abadir, KM i Magnus, JR Matrix Algebra Cambridge University Press, 2005

który kładzie większy nacisk na zastosowania rachunku macierzowego.

— Arrigo Benedetti
źródło

2

Użytkownik sam usunął następującą pomocną odpowiedź, którą tutaj w całości odtwarzam, aby jej informacje nie zostały utracone:

Tak naprawdę nie potrzebujesz wielu wyników dotyczących pochodnych wektorów i macierzy dla ML, a praca Toma Minki obejmuje większość z nich, ale ostatecznym traktowaniem jest Matrycowy rachunek różniczkowy Magnusa i Neudeckera z zastosowaniami w statystyce i ekonometrii .

Rzeczywiście, Magnus i Neudecker mają doskonałe recenzje na temat artykułu Amazona i Toma Minki ( Old and New Matrix Algebra Useful for Statistics , 2000) zawiera wiele przydatnych formuł, chociaż ostrzega, że „jest to zaawansowany materiał”.

— whuber
źródło

1

Gorąco poleciłbym ten 26-stronicowy artykuł z Uniwersytetu Stanforda:

„ Przegląd i odniesienie do algebry liniowej ” Zico Koltera

Naprawdę koncentruje się na typowych obliczeniach Suma z dużą ilością i i wszędzie i mówi o odpowiednich obliczeniach macierzy (tj. Przy użyciu ich „wektorowej” implementacji).

Pomaga od razu rozpoznać, jaki typ formuły macierzowej należy napisać, aby wykonać obliczenia.

— tmangin
źródło