Ważona wariancja, jeszcze raz

Bezstronna ważona wariancja została już omówiona tutaj i gdzie indziej, ale nadal wydaje się, że istnieje zaskakująca ilość zamieszania. Wydaje się, że istnieje zgoda co do formuły przedstawionej w pierwszym linku, a także w artykule w Wikipedii . To również wygląda na wzór używany przez R, Mathematica i GSL (ale nie MATLAB). Jednak artykuł w Wikipedii zawiera również następujący wiersz, który wygląda jak świetny test poprawności dla implementacji ważonej wariancji:

Na przykład, jeśli wartości {2,2,4,5,5,5} są rysowane z tego samego rozkładu, wówczas możemy traktować ten zestaw jako próbkę nieważoną lub możemy traktować go jako próbkę ważoną {2,4, 5} o odpowiednich wagach {2,1,3} i powinniśmy uzyskać te same wyniki.

Moje obliczenia podają wartość 2.1667 dla wariancji wartości pierwotnych i 2.9545 dla wariancji ważonej. Czy naprawdę powinienem oczekiwać, że będą takie same? Dlaczego lub dlaczego nie?

Tak, należy spodziewać się, że oba przykłady (nieważone vs. ważone) dadzą te same wyniki.

Zaimplementowałem dwa algorytmy z artykułu z Wikipedii.

Ten działa:

Jeżeli wszystkie $x_i$ pochodzą z tego samego rozmieszczenia i ciężarach całkowitych $w_i$ pokazuje częstotliwości występowania w próbce, wówczas nieobciążonym estymatorem ważonej wariancja populacyjna jest dana przez:

$s^2\ = \frac {1} {V_1 - 1} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2,$

Jednak ten (przy użyciu wag ułamkowych) nie działa dla mnie:

$x_i$$1/w_i$

$s^2\ = \frac {V_1} {V_1^2-V_2} \sum_{i=1}^N w_i \left(x_i - \mu^*\right)^2$

Nadal badam przyczyny, dla których drugie równanie nie działa zgodnie z przeznaczeniem.

/ EDYCJA: Znalazłem powód, dla którego drugie równanie nie działało tak, jak myślałem: możesz użyć drugiego równania tylko wtedy, gdy masz znormalizowane wagi lub wariancje („niezawodność”) i NIE jest to obiektywne, ponieważ jeśli nie używaj wag „powtarzających się” (licząc, ile razy obserwacja była obserwowana i dlatego powinna być powtarzana w operacjach matematycznych), tracisz zdolność do zliczania całkowitej liczby obserwacji, a zatem nie możesz użyć współczynnika korekcji.

To wyjaśnia różnicę w wynikach za pomocą wariancji ważonej i nieważonej: obliczenia są tendencyjne.

Dlatego jeśli chcesz mieć obiektywną wariancję ważoną, użyj tylko „powtarzalnych” wag i użyj pierwszego równania, które opublikowałem powyżej. Jeśli to nie jest możliwe, cóż, nie możesz na to poradzić.

Zaktualizowałem również artykuł w Wikipedii, jeśli chcesz uzyskać więcej informacji: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

I powiązany artykuł na temat obiektywnej kowariancji ważonej (która w rzeczywistości jest tą samą wariancją ze względu na tożsamość polaryzacji ): Poprawne równanie dla ważonej obiektywnej kowariancji próbnej