Estymator współczynnika korelacji (który w przypadku dwuwymiarowej normy normalnej jest równy kowariancji)
r~= 1n∑i = 1nxjayja
to estymator metody momentu, kowariancja próbki. Zobaczymy, czy to zbiega się z estymatora największej .ρ^
Łączna gęstość dwuwymiarowej normy normalnej ze współczynnikiem korelacji wynosiρ
fa( x , y) = 12 π1 - ρ2)-----√exp{ - x2)+ y2)- 2 ρ x y2 ( 1 - ρ2))}
a zatem logarytmiczne prawdopodobieństwo próbki średniej wielkości wynosin
lnL = - n ln( 2 π) - n2)ln( 1 - ρ2)) - 12 ( 1 - ρ2))∑i = 1n( x2)ja+ y2)ja- 2 ρ xjayja)
(tutaj założenie iid dotyczy oczywiście każdego losowania z dwuwymiarowej populacji)
Biorąc pochodną względem i ustawiając ją na zero, otrzymujemy wielomian 3d stopni w ρ :ρρ
ρ^: n ρ^3)- ( ∑i = 1nxjayja) ρ^2)- ( 1 - 1n∑i = 1n( x2)ja+ y2)ja) ) n ρ^- ∑i = 1nxjayja= 0
To, czy obliczenia są prawidłowe, można zweryfikować, jeśli weźmie się oczekiwaną wartość pochodnej obliczonej przy prawdziwym współczynniku -it będzie równa zero.ρ
Dla zwięzłości, zapisu , która jest sumą próbki wariancje X i Y . Jeśli podzielimy wyrażenie 1. pochodnej przez n, pojawi się estymator MoM, w szczególności( 1 / n ) ∑ni = 1( x2)ja+ y2)ja) = ( 1 / n ) S.2)XYn
ρ^: ρ^3)- r~ρ^2)+ [ ( 1 / n ) S.2)- 1 ] ρ^- r~= 0
⇒ ρ^( ρ^2)- r~ρ^+ [ ( 1 / n ) S.2)- 1 ] ) = r~
Robi to algebraiczną to nie jest trudne do wniosku, że otrzymamy ρ = ~ R , wtedy i tylko wtedy, gdy ( 1 / n ) S 2 = 2 , to znaczy tylko wtedy, gdy dzieje się tak, że suma próbki odchylenia jest równa sumie prawdziwych wariancji. Tak ogólnieρ^= r~( 1 / n ) S.2)= 2
ρ^≠ r~
Co się tu dzieje? Ktoś mądrzejszy to wyjaśni, na razie spróbujmy symulacji: wygenerowałem próbkę iid dwóch standardowych normalnych o współczynniku korelacji . Wielkość próbki wynosiła n = 1000 . Przykładowe wartości toρ = 0,6n = 1.000
∑i = 1nxjayja= 522,05 ,S.2)= 1913.28
Podaje nam estymator metody momentów
r~= 522,051000= 0,522
Co dzieje się z prawdopodobieństwem dziennika? Wizualnie mamy
Mamy liczbowo
ρ0,50,510,520,530,540,550,560,570,580,590,61. pochodna- 70,92- 59,41- 47,7- 35,78- 23,64- 11,291.2914.127,1540,4453,98llL- 783,65- 782,47- 781,48- 780,68- 780,1- 779,75- 779,64- 779,81- 780,27- 781,05- 782,18
ρ = 0,56( ρ^= 0,558985 )ρ
Ta symulacja jest zatem zgodna z wynikiem, że estymator największego prawdopodobieństwa nie jest równy metodzie estymatora momentów (czyli kowariancji próbki między dwoma wartościami RV).
Wygląda jednak na to, że „wszyscy” mówią, że powinien … więc ktoś powinien coś wyjaśnić.
AKTUALIZACJA
Odnośnik, który dowodzi, że MLE jest estymatorem metody momentu: Anderson, TW i Olkin, I. (1985). Oszacowanie maksymalnego prawdopodobieństwa parametrów wielowymiarowego rozkładu normalnego. Algebra liniowa i jej zastosowania, 70, 147-171.
Czy to ważne, że tutaj wszystkie środki i wariancje mogą się zmieniać i nie są ustalone?
... Prawdopodobnie tak, ponieważ komentarz @ faceta w innej (już usuniętej) odpowiedzi mówi, że przy danych parametrach średniej i wariancji norma dwuwymiarowa staje się członkiem zakrzywionej rodziny wykładniczej (a więc niektóre wyniki i właściwości się zmieniają) ... który wydaje się być jedynym sposobem na pogodzenie tych dwóch wyników.