Dlaczego mianownik estymatora kowariancji nie powinien być n-2, a nie n-1?

Mianownik (obiektywnego) estymatora wariancji jest ponieważ istnieje obserwacji i szacowany jest tylko jeden parametr.$n-1$$n$

Z tego samego powodu zastanawiam się, dlaczego mianownik kowariancji nie powinien wynosić $n-2$ gdy szacuje się dwa parametry?

Kowariancje są wariancjami.

Od tożsamości polaryzacji

mianowniki muszą być takie same.

Specjalny przypadek powinien dać ci intuicję; pomyśl o następujących kwestiach:

Cieszysz się, że ten ostatni to powodu Korekta Bessela.$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)^{2}}{n-1}$

Ale zastąpienie przez w dla pierwszego daje , więc jak myślisz, co może teraz najlepiej wypełnić puste miejsce?$Y$$X$$\hat{\mathbb{Cov}}\left(X, Y\right)$$\frac{\sum_{i=1}^{n}\left(X_{i}-\overline{X}\right)\left(X_{i}-\overline{X}\right)}{\text{mystery denominator}}$

Szybka i brudna odpowiedź ... Rozważmy najpierw $\text{var}(X)$ ; gdybyś miał $n$ obserwacji o znanej oczekiwanej wartości $E(X) = 0$ , użyłbyś aby oszacować wariancję.${1\over n}\sum_{i=1}^n X_i^2$

Ponieważ wartość oczekiwana jest nieznana, możesz przekształcić swoje obserwacji w n - 1 ze znaną wartością oczekiwaną, przyjmując A i = X i - X 1 dla i = 2 , … , n . Otrzymasz wzór z n - 1 w mianowniku - jednak A i nie są niezależne i musisz to wziąć pod uwagę; na końcu znajdziesz zwykłą formułę.$n$$n-1$$A_i = X_i - X_1$$i = 2, \dots,n$$n-1$$A_i$

Teraz dla kowariancji możesz zastosować ten sam pomysł: jeśli oczekiwana wartość wynosiła ( 0 , 0 ) , miałbyś $(X,Y)$$(0,0)$ we wzorze. Odejmując(X1,Y1)od wszystkich innych obserwowanych wartości, otrzymujeszn-1obserwacji o znanej oczekiwanej wartości ... i${1\over n}$$(X_1,Y_1)$$n-1$ we wzorze - ponownie wprowadza to pewną zależność do wzięcia pod uwagę.${1\over n-1}$

PS sposobem na to jest wybranie ortonormalnej podstawy ⟨ ( 1 , … , 1 ) ′ ⟩ ⊥ , czyli n - 1 wektorów c 1 , … , c n - 1 ∈ R n takich, że$\big\langle (1, \dots, 1)' \big\rangle^{\perp}$$n-1$$c_1, \dots, c_{n-1} \in \mathbb R^n$

• dla wszystkich i ,$\sum_j c_{ij}^2 = 1$$i$
• dla wszystkich i ,$\sum_j c_{ij} = 0$$i$
• dla wszystkich i 1 ≠ i 2 .$\sum_j c_{i_1j} c_{i_2j} = 0$$i_1 \ne i_2$

Następnie można zdefiniować zmienne A i = ∑ j c i j X j oraz B i = ∑ j c i j Y j . Wartości ( A i , B i ) są niezależne, mają oczekiwaną wartość ( 0 , 0 ) i mają taką samą wariancję / kowariancję jak zmienne pierwotne.$n-1$$A_i = \sum_j c_{ij} X_j$$B_i = \sum_j c_{ij} Y_j$$(A_i,B_i)$$(0,0)$

Chodzi o to, że jeśli chcesz pozbyć się nieznanego oczekiwania, porzucisz jedną (i tylko jedną) obserwację. Działa to tak samo w obu przypadkach.

Oto dowód, że estymator kowariancji kowariancji p-variation próbki o mianowniku jest obiektywnym estymatorem macierzy kowariancji:$\frac{1}{n-1}$

.$x' = (x_1,...,x_p)$

$\Sigma= E((x-\mu)(x-\mu)')$

$S = \frac{1}{n} \sum (x_i - \bar{x})(x_i - \bar{x})'$

To show: $E(S) = \frac{n-1}{n}\Sigma$

Proof: $S= \frac{1}{n}\sum x_ix_i' - \bar{x}\bar{x}'$

Next:

(1) $E(x_ix_i') = \Sigma + \mu\mu'$

(2) $E(\bar{x}\bar{x}') = \frac{1}{n} \Sigma+ \mu\mu'$

Therefore: $E(S) = \Sigma + \mu\mu' - (\frac{1}{n} \Sigma+ \mu\mu') = \frac{n-1}{n} \Sigma$

And so $S_u = \frac{n}{n-1}S$, with the final denominator $\frac{1}{n-1}$, is unbiased. The off-diagonal elements of $S_u$ are your individual sample covariances.

Additional remarks:

1. The n draws are independent. This is used in (2) to calculate the covariance of the sample mean.

2. Step (1) and (2) use the fact that $Cov(x)= E[xx']-\mu\mu'$

3. Step (2) uses the fact that $Cov(\bar{x})= \frac{1}{n}\Sigma$

I guess one way to build intuition behind using 'n-1' and not 'n-2' is - that for calculating co-variance we do not need to de-mean both X and Y, but either of the two, i.e.

1) Start $df=2n$.

2) Sample covariance is proportional to $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$. Lose two $df$; one from $\bar{X}$, one from $\bar{Y}$ resulting in $df=2(n-1)$.

3) However, $\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$ only contains $n$ separate terms, one from each product. When two numbers are multiplied together the independent information from each separate number disappears.

As a trite example, consider that

$24=1*24=2*12=3*8=4*6=6*4=8*3=12*2=24*1$,

and that does not include irrationals and fractions, e.g. $24=2\sqrt{6}*2\sqrt{6}$, so that when we multiply two number series together and examine their product, all we see are the $df=n-1$ from one number series, as we have lost half of the original information, that is, what those two numbers were before the pair-wise grouping into one number (i.e., multiplication) was performed.

In other words, without loss of generality we can write

$(X_i-\bar{X})(Y_i-\bar{Y})=z_i-\bar{z}$ for some $z_i$ and $\bar{z}$,

i.e., $z_i=X_iY_i-\bar{X}Y_i-X_i\bar{Y}$, and, $\bar{z}=\bar{X}\bar{Y}$. From the $z$'s, which then clearly have $df=n-1$, the covariance formula becomes

$\Sigma_{i=1}^n\frac{z_i-\bar{z}}{n-1}=$

$\Sigma_{i=1}^n\frac{[(X_i-\bar{X})(Y_i-\bar{Y})]}{n-1}=$

$\frac{1}{n-1}\Sigma_{i=1}^n(X_i-\bar{X})(Y_i-\bar{Y})$.

Thus, the answer to the question is that the $df$ are halved by grouping.