Udowodnić związek między odległością Mahalanobis a dźwignią?

Widziałem formuły na Wikipedii. które odnoszą się do odległości i dźwigni Mahalanobisa:

Odległość Mahalanobisa jest ściśle związana ze statystyką dźwigni, , ale ma inną skalę: $h$
${re}^{2)} = (N. - 1) (h - \frac{1}{N.}) .$ $D^2 = (N - 1)(h - \tfrac{1}{N}).$

W powiązanym artykule Wikipedia opisuje w następujących terminach: $h$

W tym modelu regresji liniowej, wynik dźwigni dla jednostki danych, jest zdefiniowane jako: diagonalny element macierzy Hat , gdzie oznacza transpozycję macierzy. $i^{th}$
$h_{ja ja} = (H.)_{ja ja},$ $h_{ii}=(H)_{ii},$ $i^{th}$ $H=X(X^{\top}X)^{-1}X^{\top}$ $^{\top}$

Nigdzie nie mogę znaleźć dowodu. Próbowałem zacząć od definicji, ale nie mogę zrobić żadnego postępu. Czy ktoś może podpowiedzieć?

— dave2d
źródło

Mój opis odległości Mahalanobis od dołu do góry wyjaśnienie odległości Mahalanobis? zawiera dwa kluczowe wyniki:

Z definicji nie zmienia się, gdy regresory są równomiernie przesuwane.
Kwadratowa odległość Mahalanobisa między wektorami $x$ i $y$ jest dana przez
${re}^{2)} (x, y) = (x - y)^{'} Σ^{- 1} (x - y)$ $D^2(x,y) = (x-y)^\prime \Sigma^{-1}(x-y)$ gdzie $\Sigma$ jest kowariancją danych.

(1) pozwala założyć, że wszystkie regresory są zerowe. Pozostaje obliczyć $h_i$ . Jednak, aby twierdzenie było prawdziwe, musimy dodać jeszcze jedno założenie:

Model musi zawierać punkt przecięcia.

Pozwalając na to, niech będzie $k \ge 0$ regresory i $n$ danych, pisanie wartość REGRESSOR $j$ do obserwacji $i$ jako $x_{ij}$ . Niech wektor kolumna z tych $n$ wartości dla REGRESSOR $j$ być napisany $\mathbf{x}_{,j}$ , a wektor rzędu tych $k$ wartości dla obserwacji $i$ być napisane $\mathbf{x}_i$ . Zatem macierz modelu jest

X = (\begin{matrix} 1 & x_{11} & \dots & x_{1 k} \\ 1 & x_{21} & \dots & x_{2) k} \\ ⋮ & ⋮ & ⋮ & ⋮ \\ 1 & x_{n 1} & \dots & x_{n k} \end{matrix})

$X = \pmatrix{ 1 &x_{11} &\cdots &x_{1k} \\ 1 &x_{21} &\cdots &x_{2k} \\ \vdots &\vdots &\vdots &\vdots \\ 1 &x_{n1} &\cdots &x_{nk}}$

a z definicji macierz kapelusza jest

H. = X (X^{'} X)^{- 1} X^{'},

$H = X(X^\prime X)^{-1} X^\prime,$

skąd wpis $i$ wzdłuż przekątnej jest

\begin{matrix} (1) & h_{i} = h_{i i} = (1; x_{i}) (X^{'} X)^{- 1} (1; x_{i})^{'} . \end{matrix}

$h_i = h_{ii} = (1; \mathbf{x}_i) (X^\prime X)^{-1} (1; \mathbf{x}_i)^\prime.\tag{1}$

Nie ma nic innego, jak wypracować odwrotną macierz centralną - ale dzięki pierwszemu kluczowemu wynikowi jest to łatwe, szczególnie, gdy piszemy to w postaci macierzy blokowej:

X^{'} X = n (\begin{matrix} 1 & 0^{'} \\ 0 & C \end{matrix})

$X^\prime X = n\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C}$

gdzie $\mathbf{0} = (0,0,\ldots,0)^\prime$ i

{do}_{jot k} = \frac{1}{n} \sum_{ja = 1}^{n} x_{ja jot} x_{ja k} = \frac{n - 1}{n} Cov (x_{jot}, x_{k}) = \frac{n - 1}{n} Σ_{jot k} .

$C_{jk} = \frac{1}{n} \sum_{i=1}^n x_{ij} x_{ik} = \frac{n-1}{n}\operatorname{Cov}(\mathbf{x}_j, \mathbf{x}_k) = \frac{n-1}{n}\Sigma_{jk}.$

(Napisałem $\Sigma$ dla przykładowej macierzy kowariancji regresorów.) Ponieważ jest to przekątna bloku, jej odwrotność można znaleźć po prostu odwracając bloki:

(X^{'} X)^{- 1} = \frac{1}{n} (\begin{matrix} 1 & 0^{'} \\ 0 & {do}^{- 1} \end{matrix}) = (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) .

$(X^\prime X)^{-1} = \frac{1}{n}\pmatrix{1 & \mathbf{0}^\prime \\ \mathbf{0} & C^{-1}} = \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}.$

Z definicji $(1)$ otrzymujemy

\begin{aligned} h_{ja} & = (1; x_{ja}) (\begin{matrix} \frac{1}{n} & 0^{'} \\ 0 & \frac{1}{n - 1} Σ^{- 1} \end{matrix}) (1; x_{ja})^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} x_{ja} Σ^{- 1} x_{ja}^{'} \\ = \frac{1}{n} + \frac{1}{n - 1} {re}^{2)} (x_{ja}, 0) . \end{aligned}

$\eqalign{ h_i &= (1; \mathbf{x}_i) \pmatrix{\frac{1}{n} & \mathbf{0}^\prime \\ \mathbf{0} & \frac{1}{n-1}\Sigma^{-1}}(1; \mathbf{x}_i)^\prime \\ &=\frac{1}{n} + \frac{1}{n-1}\mathbf{x}_i \Sigma^{-1}\mathbf{x}_i^\prime \\ &=\frac{1}{n} + \frac{1}{n-1} D^2(\mathbf{x}_i, \mathbf{0}). }$

Rozwiązanie dla kwadratowej długości Mahalanobisa $D_i^2 = D^2(\mathbf{x}_i, \mathbf{0})$ daje

{re}_{ja}^{2)} = (n - 1) (h_{ja} - \frac{1}{n}),

$D_i^2 = (n-1)\left(h_i - \frac{1}{n}\right),$

QED .

Patrząc wstecz, możemy prześledzić addytywny termin $1/n$ $X$ $n-1$ $n-1$ $n$

$i$

Kod R, aby pokazać, że relacja rzeczywiście zawiera:

x <- mtcars

# Compute Mahalanobis distances
h <- hat(x, intercept = TRUE); names(h) <- rownames(mtcars)
M <- mahalanobis(x, colMeans(x), cov(x))

# Compute D^2 of the question
n <- nrow(x); D2 <- (n-1)*(h - 1/n)

# Compare.
all.equal(M, D2)               # TRUE
print(signif(cbind(M, D2), 3))

— Whuber
źródło

Doskonała odpowiedź, bardzo dobrze zaokrąglona z dyscypliną i intuicją. Twoje zdrowie!

— cgrudz

Dzięki za post @whuber! Dla kontroli poczytalności, oto kod R, który pokazuje, że relacja rzeczywiście zawiera: x <- nazwy rtcars (x) <- NULL colnames (x) <- NULL n <- nrow (x) h <- hat (x, T) mahalanobis (x, colMeans (x), cov (x)) (n-1) * (h - 1 / n) all.equal (mahalanobis (x, colMeans (x), cov (x)), (n-1 ) * (h - 1 / n))

— Tal Galili

@Tal Nie sądziłem, że potrzebuję kontroli poczytalności - ale dziękuję za kod. :-) Wprowadziłem modyfikacje, aby wyjaśnić to trochę i jego wynik.

— whuber

@ Whuber chciałem przykład, który pokazuje, jak sprawić, by równość działała (dając mi do zrozumienia, że prawidłowo założyłem założenia). Rozszerzyłem również odpowiedni wpis Wiki: en.wikipedia.org/wiki/... (krępuj się również wydać na niego tam, jak widać pasuje :))

— Tal Galili