Korekta odchylenia w wariancji ważonej

Dla wariancji nieważonej istnieje wariancja próbki skorygowana o błąd systematyczny, gdy średnią oszacowano na podstawie tych samych danych:

Var (X) : = \frac{1}{n} \sum_{ja} (x_{ja} - μ)^{2)}

$\text{Var}(X):=\frac{1}{n}\sum_i(x_i - \mu)^2$

Var (X) : = \frac{1}{n - 1} \sum_{ja} (x_{ja} - mi [X])^{2)}

$\text{Var}(X):=\frac{1}{n-1}\sum_i(x_i - E[X])^2$

Patrzę na ważoną średnią i wariancję i zastanawiam się, jaka jest odpowiednia korekta odchylenia dla ważonej wariancji. Używając:

oznaczać (X) : = \frac{1}{\sum_{ja} ω_{ja}} \sum_{ja} ω_{ja} x_{ja}

$\text{mean}(X):=\frac{1}{\sum_i \omega_i}\sum_i \omega_i x_i$

„Naiwna”, niepoprawiona wariancja, której używam, jest następująca:

Var (X) := \frac{1}{\sum_{i} ω_{i}} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

Zastanawiam się więc, czy poprawny jest sposób korygowania błędu systematycznego

Var (X) := \frac{1}{\sum_{i} ω_{i} - 1} \sum_{i} ω_{i} (x_{i} - mean (X))^{2}

$\text{Var}(X):=\frac{1}{\sum_i \omega_i - 1}\sum_i\omega_i(x_i - \text{mean}(X))^2$

lub B)

Var (X) : = \frac{n}{n - 1} \frac{1}{\sum_{ja} ω_{ja}} \sum_{ja} ω_{ja} (x_{ja} - oznaczać (X))^{2)}

$\text{Var}(X):=\frac{n}{n-1}\frac{1}{\sum_i \omega_i}\sum_i\omega_i(x_i - \text{mean}(X))^2$

lub C)

Var (X) : = \frac{\sum_{ja} ω_{ja}}{(\sum_{ja} ω_{ja})^{2)} - \sum_{ja} ω_{ja}^{2)}} \sum_{ja} ω_{ja} (x_{ja} - oznaczać (X))^{2)}

$\text{Var}(X):=\frac{\sum_i \omega_i}{(\sum_i \omega_i)^2-\sum_i \omega_i^ 2}\sum_i\omega_i(x_i - \text{mean}(X))^2$

A) nie ma dla mnie sensu, gdy ciężary są małe. Wartość normalizacyjna może wynosić 0 lub nawet być ujemna. Ale co powiesz na B) ( to liczba obserwacji) - czy jest to prawidłowe podejście? Czy masz jakieś referencje, które to pokazują? Wierzę „Aktualizacja szacunków średnich i wariancji: ulepszona metoda”, DHD West, 1979 używa tego. Trzeci, C) to moja interpretacja odpowiedzi na to pytanie: /mathpro/22203/un Niezależnie- oszacowanie-wariancji-----minormalizowanej- ważonej- $n$

Dla C) Właśnie zdałem sobie sprawę, że mianownik wygląda bardzo podobnie . Czy jest tu jakieś ogólne połączenie? Myślę, że to nie do końca się zgadza; i oczywiście istnieje związek, który próbujemy obliczyć wariancję ... $\text{Var}(\Omega)$

Wszystkie trzy wydają się „przetrwać” kontrolę rozsądku ustawienia wszystkich . Którego powinienem użyć, w jakich lokalach? '' Aktualizacja: '' whuber zasugerował, aby również przeprowadzić kontrolę poczytalności z i wszystkimi pozostałymi $\omega_i=1$ $\omega_1=\omega_2=.5$ małe. Wydaje się, że wyklucza to A i B. $\omega_i=\epsilon$

— Anony-Mus
źródło

Jeśli weźmiesz pod uwagę przypadki, w których dwie największe wagi są równe, a cała reszta staje się znikomo mała, zarówno (A), jak i (B) spadają ze sporu (ponieważ nie zgadzają się ze znanymi wynikami dla

). (C) wydaje się być przybliżeniem; Podejrzewam, że poprawny czynnik jest znacznie bardziej skomplikowaną funkcją wag.

n = 2

$n=2$

— whuber

@whuber ThePawn poniżej sugeruje, że jest to C. Czy masz bardziej szczegółowe obawy?

— Anony-Mousse,

Rozwiązanie (A) działa, wdrożyłem je w przeszłości i mogę potwierdzić z testów empirycznych, że daje prawidłowe wyniki. Musisz jednak używać tylko liczb całkowitych dla wag i> 0

— gaboryczny

Dzięki! To bardzo pomogło mi wejść na właściwy tor, gdy ciężary są wykładniczą średnią ruchomą! Okazuje się, że naiwny sposób obliczania wariancji faktycznie przecenia ją o stały współczynnik 2, oprócz małej korekty (1-1 / n), która pokazuje się analogicznie do prostej kalkulacji średniej ruchomej. To szczególnie szalony specjalny przypadek!

— saolof

Odpowiedzi:

Przeszedłem matematykę i skończyłem z wariantem C:

V. za r (X) = \frac{(\sum_{ja} ω_{ja})^{2)}}{(\sum_{ja} ω_{ja})^{2)} - \sum_{ja} ω_{ja}^{2)}} \bar{V.}

$Var(X) = \frac{(\sum_i \omega_i)^2}{(\sum_i \omega_i)^2 - \sum_i \omega_i^2}\overline V$

\bar{V}

$\overline V$

ω_{i}

$\omega_i$

$\lambda_i = \frac{\omega_i}{\sum_i \omega_i}$

\bar{V.} = \sum_{ja} λ_{ja} (x_{ja} - \sum_{jot} λ_{jot} x_{jot})^{2)}

$\overline V = \sum_i \lambda_i (x_i - \sum_j \lambda_j x_j)^2$

(x_{ja} - \sum_{jot} λ_{jot} x_{jot})^{2)} = x_{ja}^{2)} + \sum_{jot, k} λ_{jot} λ_{k} x_{jot} x_{k} - 2) \sum_{jot} λ_{jot} x_{ja} x_{jot}

$(x_i - \sum_j \lambda_j x_j)^2 = x_i^2 + \sum_{j, k} \lambda_j \lambda_k x_j x_k - 2 \sum_j \lambda_j x_i x_j$

$E[x_i x_j] = Var(X)1_{i = j} + E[X]^2$ $E[X]$ jest obecny w każdym z nich, to ulega skasowaniu i otrzymujemy:

mi [\bar{V.}] = V. za r (X) \sum_{ja} λ_{ja} (1 + \sum_{jot} λ_{jot}^{2)} - 2) λ_{ja})

$E[\overline V] = Var(X) \sum_i \lambda_i (1 + \sum_j \lambda_j^2- 2 \lambda_i )$

mi [\bar{V.}] = V. za r (X) (1 - \sum_{jot} λ_{jot}^{2)})

$E[\overline V] = Var(X) (1 - \sum_j \lambda_j^2)$

λ_{i}

$\lambda_i$

ω_{i}

$\omega_i$

— ThePawn
źródło

To jest wariant C powyżej, prawda?

— Anony-Mousse,

O tak, to jest wariant C.

— ThePawn

Sprawdziłem to rozwiązanie empirycznie i NIE działa ... Jedyne, które to robi, to rozwiązanie (A), które sam

— wdrożyłem

To równanie jest błędne według Wikipedii, Matlaba, R i innych, którzy wdrażają to równanie. Licznik tutaj jest podniesiony do kwadratu, ale NIE powinien, powinien być taki sam jak (C) zaproponowany przez PO. Zobacz en.wikipedia.org/wiki/…

— gaborous

@rajatkhanduja Nie mówiłem o dowodzie, ale o ostatecznym równaniu pochodnym (najwyższym w tej odpowiedzi). Ale rzeczywiście jest poprawny, licznik jest po prostu podniesiony do kwadratu, ponieważ mnożymy przez V, więc licznik kończy się bez sprawdzenia. W każdym razie ten estymator pozostaje stronniczy, jak wyjaśniam w mojej odpowiedzi poniżej, ponieważ opiera się na wagach typu „niezawodność”.

— gaboryczny

Zarówno A, jak i C są poprawne, ale to, którego użyjesz, zależy od rodzaju używanych wag:

Musi używać wag typu „powtórz” (liczby całkowite zliczające liczbę wystąpień dla każdej obserwacji) i jest bezstronna .
C wymaga użycia wag typu „niezawodność” (normalizowanych lub każdej wariancji dla każdej obserwacji) i jest tendencyjny . To nie może być bezstronne.

Powodem, dla którego C jest koniecznie stronniczy, jest to, że jeśli nie użyje się wag typu „powtórz”, tracisz możliwość zliczenia całkowitej liczby obserwacji (wielkości próbki), a zatem nie możesz użyć współczynnika korekcji.

Aby uzyskać więcej informacji, sprawdź niedawno opublikowany artykuł w Wikipedii: http://en.wikipedia.org/wiki/Weighted_arithmetic_mean#Weighted_sample_variance

— gaboryczny
źródło