Czy można znaleźć połączone odchylenie standardowe?

Załóżmy, że mam 2 zestawy:

Zestaw A : liczba pozycji , , $n= 10$ $\mu = 2.4$ $\sigma = 0.8$

Zestaw B : liczba pozycji , , $n= 5$ $\mu = 2$ $\sigma = 1.2$

Mogę łatwo znaleźć połączoną średnią ( ), ale jak mam znaleźć połączone odchylenie standardowe? $\mu$

standard-deviation

— kype
źródło

en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Tak więc, jeśli chcesz po prostu połączyć dwie z tych próbek w jedną, masz:

$s_1 = \sqrt{\frac{1}{n_1}\Sigma_{i = 1}^{n_1} (x_i - \bar{y}_1)^2}$

$s_2 = \sqrt{\frac{1}{n_2}\Sigma_{i = 1}^{n_2} (y_i - \bar{y}_2)^2}$

gdzie i są średnimi próbkami, a i są przykładowymi odchyleniami standardowymi. $\bar{y}_1$ $\bar{y}_2$ $s_1$ $s_2$

Aby je dodać, masz:

$s = \sqrt{\frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} (z_i - \bar{y})^2}$

co nie jest takie proste, ponieważ nowa średnia różni się od i : $\bar{y}$ $\bar{y}_1$ $\bar{y}_2$

$\bar{y} = \frac{1}{n_1 + n_2}\Sigma_{i = 1}^{n_1 + n_2} z_i = \frac{n_1 \bar{y}_1 + n_2 \bar{y}_2}{n_1 + n_2}$

Ostateczna formuła to:

$s = \sqrt{\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }}$

W przypadku powszechnie stosowanej wersji odchylenia standardowego z poprawką Bessela („ mianownik ”) wyniki dla średnich są takie same, jak wcześniej, ale $n-1$

$s = \sqrt{\frac{(n_1 - 1)s_1^2 + (n_2 - 1)s_2^2 + n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1+n_2 - 1} }$

Możesz przeczytać więcej informacji tutaj: http://en.wikipedia.org/wiki/Standard_deviation

— sashkello
źródło

Jeśli OP używa skorygowanej Bessela ( mianownik dla wariancji) wersji odchylenia standardowego próbki (jak robi to prawie każdy, kto o to pyta), ta odpowiedź nie da im dokładnie tego, czego szukają.

n - 1

$n-1$

— Glen_b

W takim przypadku ta sekcja rozwiązuje problem. (edytuj link do starej wersji Wikipedii, ponieważ została ona usunięta z nowej)

— Glen_b -Reinstate Monica

@Glen_b Dobry połów. Czy możesz to zmienić w odpowiedzi, aby uczynić ją bardziej przydatną?

— sashkello

Poszedłem do Wikipedii, aby znaleźć dowód, ale niestety tej formuły już nie ma. Chcesz opracować (dowód) lub ulepszyć Wikipedię? :)

— Rauni Lillemets,

@RauniLillemets patrz en.wikipedia.org/wiki/Pooled_variance#Pooled_standard_deviation

— Chris

Dotyczy to oczywiście grup : $K$

s = \sqrt{\frac{\sum_{k = 1}^{K} (n_{k} - 1) s_{k}^{2} + n_{k} ({\bar{y}}_{k} - \bar{y})^{2}}{(\sum_{k = 1}^{K} n_{k}) - 1}}

$s = \sqrt{ \frac{\sum_{k=1}^K (n_k-1)s_k^2 + n_k(\bar{y}_k-\bar{y})^2} {(\sum_{k=1}^K n_k) -1} }$

— Ravi Varadhan
źródło

Jest to nieco krótkie jak na nasze standardy. Czy możesz powiedzieć coś więcej o tym, jak to się wywodzi i dlaczego jest to poprawna odpowiedź?

— Sycorax mówi Przywróć Monikę

Miałem ten sam problem: mając odchylenie standardowe, średnie i rozmiary kilku podzbiorów z pustym przecięciem, obliczyć standardowe odchylenie sumy tych podzbiorów.

Lubię odpowiedź sashkello i Glen_b ♦ , ale chciałem znaleźć na to dowód. Zrobiłem to w ten sposób i zostawiam to tutaj na wypadek, gdyby było to pomocne dla kogokolwiek.

Dlatego celem jest przekonanie się, że rzeczywiście:

s = {(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2}

$s = \left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2}$

Krok po kroku:

{(\frac{n_{1} s_{1}^{2} + n_{2} s_{2}^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i} - \bar{y_{1}})^{2} + \sum_{i = 1}^{n_{2}} (y_{i} - \bar{y_{2}})^{2} + n_{1} ({\bar{y}}_{1} - \bar{y})^{2} + n_{2} ({\bar{y}}_{2} - \bar{y})^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} ((x_{i} - \bar{y_{1}})^{2} + ({\bar{y}}_{1} - \bar{y})^{2}) + \sum_{i = 1}^{n_{2}} ((y_{i} - \bar{y_{2}})^{2} + ({\bar{y}}_{2} - \bar{y})^{2})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{1}}}^{2} - 2 x_{i} \bar{y_{1}} - 2 \bar{y_{1}} \bar{y})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} + 2 {\bar{y_{2}}}^{2} - 2 y_{i} \bar{y_{2}} - 2 \bar{y_{2}} \bar{y})}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} \sum_{i = 1}^{n_{1}} x_{i}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} \sum_{i = 1}^{n_{2}} y_{i}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}) + 2 n_{1} {\bar{y_{1}}}^{2} - 2 \bar{y_{1}} n_{1} \bar{y_{1}}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}}) + 2 n_{2} {\bar{y_{2}}}^{2} - 2 \bar{y_{2}} n_{2} \bar{y_{2}}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}})}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} (y_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} \sum_{j = 1}^{n_{2}} \frac{y_{j}}{n_{2}})}{n_{1} + n_{2}})}^{1 / 2}

$\left(\frac{n_1 s_1^2 + n_2 s_2^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}(x_i - \bar{y_1})^2 + \sum_{i=1}^{n_2}(y_i - \bar{y_2})^2+ n_1(\bar{y}_1-\bar{y})^2 +n_2(\bar{y}_2-\bar{y})^2}{n_1 + n_2 }\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left((x_i - \bar{y_1})^2 + (\bar{y}_1-\bar{y})^2\right) + \sum_{i=1}^{n_2}\left((y_i - \bar{y_2})^2 + (\bar{y}_2-\bar{y})^2\right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 + 2\bar{y_1}^2 -2x_i\bar{y_1} -2\bar{y_1}\bar{y} \right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 + 2\bar{y_2}^2 -2y_i\bar{y_2} -2\bar{y_2}\bar{y} \right)}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}\sum_{i=1}^{n_1}x_i}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}\sum_{i=1}^{n_2}y_i}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right) + 2n_1\bar{y_1}^2 -2\bar{y_1}n_1\bar{y_1}}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right) + 2n_2\bar{y_2}^2 -2\bar{y_2}n_2\bar{y_2}}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}\right)}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i^2 + \bar{y}^2 -2\bar{y}\sum_{j=1}^{n_2}\frac{y_j}{n_2}\right)}{n_1 + n_2}\right)^{1/2}$

Teraz sztuczka polega na uświadomieniu sobie, że możemy zmienić kolejność sum: ponieważ każdy termin pojawia się razy, możemy ponownie wpisz licznik jako

- 2 \bar{y} \sum_{j = 1}^{n_{1}} \frac{x_{j}}{n_{1}}

$-2\bar{y}\sum_{j=1}^{n_1}\frac{x_j}{n_1}$

n_{1}

$n_1$

\sum_{i = 1}^{n_{1}} (x_{i}^{2} + {\bar{y}}^{2} - 2 \bar{y} x_{i}),

$\sum_{i=1}^{n_1}\left(x_i^2 + \bar{y}^2 -2\bar{y}x_i\right),$

i stąd kontynuacja łańcucha równości:

= {(\frac{\sum_{i = 1}^{n_{1}} {(x_{i} - \bar{y})}^{2}}{n_{1} + n_{2}} + \frac{\sum_{i = 1}^{n_{2}} {(y_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = {(\frac{\sum_{i = 1}^{n_{1} + n_{2}} {(z_{i} - \bar{y})}^{2}}{n_{1} + n_{2}})}^{1 / 2} = s ◻

$= \left(\frac{\sum_{i=1}^{n_1}\left(x_i - \bar{y}\right)^2}{n_1 + n_2} + \frac{\sum_{i=1}^{n_2}\left(y_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = \left(\frac{\sum_{i=1}^{n_1 + n_2}\left(z_i - \bar{y}\right)^2}{n_1 + n_2}\right)^{1/2} = s \qquad \square$

Powiedziano, że istnieje prawdopodobnie prostszy sposób na zrobienie tego.

Wzór można rozszerzyć na podzestawów, jak podano wcześniej. Dowodem będzie indukcja liczby zestawów. Przypadek podstawowy został już udowodniony, a na etapie indukcyjnym należy zastosować do tego drugiego podobny łańcuch równości. $k$

— iipr
źródło

Nie rozumiem, jak pytanie jest jasne. Czy zakłada się, że dwa zestawy danych pochodzą z tej samej dystrybucji? Czy w PO dostępne są rzeczywiste obserwacje, czy tylko przykładowe oszacowania średniej i odchylenia standardowego?

— Michael R. Chernick

Tak, zakłada się, że pochodzą z tej samej dystrybucji. Obserwacje nie są dostępne, tylko średnia i standardowe odchylenie podzbiorów.

— iipr

Dlaczego więc stosuje się formułę obejmującą indywidualne obserwacje?

— Michael R. Chernick

Może moja odpowiedź nie jest jasna. Po prostu zamieszczam matematyczny dowód powyższej formuły, który pozwala obliczyć sze standardowych odchyleń, średnich i rozmiarów dwóch podzbiorów. We wzorze nie ma odniesienia do poszczególnych obserwacji. W dowodzie jest, ale to tylko dowód, i z mojego punktu widzenia, poprawny.

— iipr