Obliczanie nowego odchylenia standardowego przy użyciu starego odchylenia standardowego po zmianie zestawu danych

Mam tablicę $n$ wartości rzeczywistych, co ma średnią $\mu_{old}$ i odchylenie standardowe $\sigma_{old}$ . Jeśli element tablicy $x_i$ zostanie zastąpiony innym elementem , wówczas nowa średnia będzie $x_j$

$\mu_{new}=\mu_{old}+\frac{x_j-x_i}{n}$

Zaletą tego podejścia jest to, że wymaga ciągłego obliczania niezależnie od wartości . Czy istnieje jakieś podejście do obliczania przy użyciu podobnie jak obliczenia przy użyciu ? $n$ $\sigma_{new}$ $\sigma_{old}$ $\mu_{new}$ $\mu_{old}$

standard-deviation online

— użytkownik
źródło

Czy to zadanie domowe? Bardzo podobne zadanie zostało zadane w naszym kursie statystyki matematycznej ...

— krlmlr

@ user946850: Nie, to nie zadanie domowe. Prowadzę pracę magisterską na temat algorytmu ewolucyjnego . Chcę użyć odchylenia standardowego jako miary różnorodności populacji. Po prostu szukam bardziej wydajnego rozwiązania.

— użytkownik

SD jest pierwiastkiem kwadratowym wariancji, która jest tylko średnią kwadratową wartością (skorygowaną o wielokrotność kwadratowej średniej, którą już wiesz, jak zaktualizować). Dlatego te same metody, które zastosowano do obliczenia średniej bieżącej, można zastosować bez żadnych fundamentalnych zmian w celu obliczenia wariancji bieżącej. W rzeczywistości o wiele bardziej wyrafinowane statystyki można obliczyć w trybie online przy użyciu tych samych pomysłów: na przykład zobacz wątki na stats.stackexchange.com/questions/6920 i stats.stackexchange.com/questions/23481 .

— whuber

@whuber: Zostało to wspomniane w artykule Wikipedii dotyczącym wariancji , ale także z uwagą na temat katastrofalnego anulowania (lub utraty znaczenia), które mogą wystąpić. Czy jest to przereklamowane, czy stanowi prawdziwy problem dla wariancji bieżącej?

— krlmlr

To świetne pytanie. Jeśli gromadzisz wariancje naiwnie, bez uprzedniego ich centrowania, naprawdę możesz wpaść w kłopoty. Problem występuje, gdy liczby są ogromne, ale ich wariancja jest niewielka. Weźmy na przykład szereg dokładnych pomiarów prędkości światła wm / s, jak w 299792458.145, 299792457.883, 299792457.998, ...: ich wariancja, która wynosi około 0,01, jest tak mała w porównaniu do ich kwadratów, która wynosi około , nieostrożne obliczenia (nawet z podwójną precyzją) spowodują zerową wariancję: wszystkie znaczące cyfry znikną.

10^{17}

$10^{17}$

— whuber

Odpowiedzi:

Część artykułu w Wikipedii „Algorytmy obliczania wariancji” pokazuje, jak obliczyć wariancję, jeśli do twoich obserwacji zostaną dodane elementy. (Przypomnij, że odchylenie standardowe jest pierwiastkiem kwadratowym wariancji.) Załóżmy, że dodajesz do tablicy, a następnie $x_{n+1}$

σ_{n e w}^{2} = σ_{o l d}^{2} + (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \sigma_{old}^2 + (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$

EDYCJA : Powyższa formuła wydaje się nieprawidłowa, patrz komentarz.

Teraz zastąpienie elementu oznacza dodanie obserwacji i usunięcie kolejnego; oba można obliczyć za pomocą powyższego wzoru. Należy jednak pamiętać, że mogą wystąpić problemy ze stabilnością liczbową; cytowany artykuł proponuje również warianty stabilne numerycznie.

Aby wyprowadzić formułę samodzielnie, oblicz używając definicji wariancji próbki i podstawiając wzorem podanym w razie potrzeby. To daje ci na końcu, a zatem wzór na danym i $(n-1)(\sigma_{new}^2 - \sigma_{old}^2)$ $\mu_{new}$ $\sigma_{new}^2 - \sigma_{old}^2$ $\sigma_{new}$ $\sigma_{old}$ . W moim zapisie, zakładam wymienić element przez : $\mu_{old}$ $x_n$ $x_n'$

\begin{array}{rcl} σ^{2} & = & (n - 1)^{- 1} \sum_{k} (x_{k} - μ)^{2} \\ (n - 1) (σ_{n e w}^{2} - σ_{o l d}^{2}) & = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{n e w})^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{n e w})^{2} - (x_{n} - μ_{o l d})^{2}) \\ = & \sum_{k = 1}^{n - 1} ((x_{k} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{k} - μ_{o l d})^{2}) \\ + ((x_{n}^{'} - μ_{o l d} - n^{- 1} (x_{n}^{'} - x_{n}))^{2} - (x_{n} - μ_{o l d})^{2}) \end{array}

$\begin{eqnarray*} \sigma^2 &=& (n-1)^{-1} \sum_k (x_k - \mu)^2 \\ (n-1)(\sigma_{new}^2 - \sigma_{old}^2) &=& \sum_{k=1}^{n-1} ((x_k - \mu_{new})^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{new})^2 - (x_n - \mu_{old})^2) \\ &=& \sum_{k=1}^{n-1} ((x_k - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_k - \mu_{old})^2) \\ &&+\ ((x_n' - \mu_{old} - n^{-1}(x_n'-x_n))^2 - (x_n - \mu_{old})^2) \\ \end{eqnarray*}\\$

w sumie przekształcić w coś zależnego od , ale będziesz musiał pracować równania nieco więcej czerpać schludny wynik. To powinno dać ci ogólny pomysł. $x_k$ $\mu_{old}$

— krlmlr
źródło

pierwsza formuła, którą podałeś, nie wydaje się poprawna, cóż, oznacza to, że jeśli

jest mniejszy / większy niż od nowej i starej średniej, wariancja zawsze rośnie, co nie ma żadnego sensu. Może się zwiększać lub zmniejszać w zależności od dystrybucji.

x_{n + 1}

$x_{n+1}$

— Emmet B

@EmmetB: Tak, masz rację - prawdopodobnie powinno to być

σ_{n e w}^{2} = \frac{n - 1}{n} σ_{o l d}^{2} + \frac{1}{n} (x_{n + 1} - μ_{n e w}) (x_{n + 1} - μ_{o l d}) .

$\sigma_{new}^2 = \frac{n-1}{n} \sigma_{old}^2 + \frac{1}{n} (x_{n+1} - \mu_{new})(x_{n+1} - \mu_{old}).$ Unfortunately, this renders void my whole discussion from there, but I'm leaving it for historic purposes. Feel free to edit, though.

— krlmlr

Based on what i think i'm reading on the linked Wikipedia article you can maintain a "running" standard deviation:

real sum = 0;
int count = 0;
real S = 0;
real variance = 0;

real GetRunningStandardDeviation(ref sum, ref count, ref S, x)
{
   real oldMean;

   if (count >= 1)
   {
       real oldMean = sum / count;
       sum = sum + x;
       count = count + 1;
       real newMean = sum / count;

       S = S + (x-oldMean)*(x-newMean)
   }
   else
   {
       sum = x;
       count = 1;
       S = 0;         
   }

   //estimated Variance = (S / (k-1) )
   //estimated Standard Deviation = sqrt(variance)
   if (count > 1)
      return sqrt(S / (count-1) );
   else
      return 0;
}

Although in the article they don't maintain a separate running sum and count, but instead have the single mean. Since in thing i'm doing today i keep a count (for statistical purposes), it is more useful to calculate the means each time.

— Ian Boyd
źródło

Given original $\bar x$ , $s$ , and $n$ , as well as the change of a given element $x_n$ to $x_n'$ , I believe your new standard deviation $s'$ will be the square root of

s^{2} + \frac{1}{n - 1} (2 n Δ \bar{x} (x_{n} - \bar{x}) + n (n - 1) (Δ \bar{x})^{2}),

$s^2 + \frac{1}{n-1}\left(2n\Delta \bar x(x_n-\bar x) +n(n-1)(\Delta \bar x)^2\right),$ where

Δ \bar{x} = {\bar{x}}^{'} - \bar{x}

$\Delta \bar x = \bar x' - \bar x$ , with

{\bar{x}}^{'}

$\bar x'$ denoting the new mean.

Maybe there is a snazzier way of writing it?

I checked this against a small test case and it seemed to work.

— Whistling in the Dark
źródło

@john / whistling in the Dark: I liked your answer, it seems work properly in my small dataset. Is there any mathematical foundation/reference on it? Could you kindly help?

— Alok Chowdhury

The question was all @Whistling in the Dark, I just cleaned it up for the site. You should pose a new question referencing the question and answer here. And also you should upvote this answer if you feel that way.

— John