15

Prowadzę eksperyment, w którym równolegle zbieram (niezależne) próbki, obliczam wariancję każdej grupy próbek, a teraz chcę połączyć wszystkie, aby znaleźć całkowitą wariancję wszystkich próbek.

Trudno mi znaleźć na to pochodne, ponieważ nie jestem pewien terminologii. Myślę o tym jak o podziale jednego RV.

Więc chcę znaleźć $Var(X)$ z $Var(X_1)$ , $Var(X_2)$ , ... i $Var(X_n)$ , gdzie $X$ = $[X_1, X_2, \dots, X_n]$ .

EDYCJA: Partycje nie mają tego samego rozmiaru / liczności, ale suma rozmiarów partycji jest równa liczbie próbek w ogólnym zestawie próbek.

EDYCJA 2: Istnieje wzór na obliczenia równoległe , ale obejmuje on tylko przypadek partycji na dwa zbiory, a nie $n$ zbiorów.

variance

— galamina
źródło

Czy to to samo, co moje pytanie tutaj: mathoverflow.net/questions/64120/…

Co oznacza ten ostatni nawias? A co rozumiesz przez „całkowitą wariancję”? Czy jest to coś innego niż wariancja połączonego zestawu danych?

— whuber

@ whuber, który ostatni nawias? „całkowita wariancja” oznacza wariancję całkowitego zestawu danych.

— gallamine

Wyrażenie

może znaczyć wiele rzeczy (choć konwencjonalnie byłby to wektor): szukałem wyjaśnienia.

[X_{1}, X_{2}, \dots, X_{n}]

$[X_1, X_2, \dots, X_n]$

— whuber

22

Formuła jest dość prosta, jeśli wszystkie podpróbki mają ten sam rozmiar próby. Jeśli miał sub-próbek o rozmiarze (w sumie próbek), a następnie odchylenie w połączonej próbki w zależności od średniej i wariancji każdego sub-próbce: $g$ $k$ $gk$ $E_j$ $V_j$ gdzie przezoznacza wariancję średnich próbek.

V a r (X_{1}, \dots, X_{g k}) = \frac{k - 1}{g k - 1} (\sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r (E_{j})),

$Var(X_1,\ldots,X_{gk}) = \frac{k-1}{gk-1}(\sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} Var(E_j)),$

V a r (E_{j})

$Var(E_j)$

Demonstracja w języku R:

> x <- rnorm(100)
> g <- gl(10,10)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 9/99*(sum(vs) + 10*var(mns))
[1] 1.033749
> var(x)
[1] 1.033749

Jeśli rozmiary próbek nie są równe, formuła nie jest taka ładna.

EDYCJA: wzór na nierówne wielkości próbek

Jeżeli istnieją sub-próbek, zaś każda z elementy w sumie wartości, wtedy $g$ $k_j, j=1,\ldots,g$ $n=\sum{k_j}$ gdziejest średnią ważoną wszystkich średnich (i jest równa średniej wszystkich wartości).

V a r (X_{1}, \dots, X_{n}) = \frac{1}{n - 1} (\sum_{j = 1}^{g} (k_{j} - 1) V_{j} + \sum_{j = 1}^{g} k_{j} ({\bar{X}}_{j} - \bar{X})^{2}),

$Var(X_1,\ldots,X_{n}) = \frac{1}{n-1}\left(\sum_{j=1}^g (k_j-1) V_j + \sum_{j=1}^g k_j (\bar{X}_j - \bar{X})^2\right),$

\bar{X} = (\sum_{j = 1}^{g} k_{j} {\bar{X}}_{j}) / n

$\bar{X} = (\sum_{j=1}^gk_j\bar{X}_j)/n$

Ponownie demonstracja:

> k <- rpois(10, lambda=10)
> n <- sum(k)
> g <- factor(rep(1:10, k))
> x <- rnorm(n)
> mns <- tapply(x, g, mean)
> vs <- tapply(x, g, var)
> 1/(n-1)*(sum((k-1)*vs) + sum(k*(mns-weighted.mean(mns,k))^2))
[1] 1.108966
> var(x)
[1] 1.108966

$(X_{ji}-\bar{X})^2$ $\bar{X}_j$ $[(X_{ji}-\bar{X}_j)-(\bar{X}_j-\bar{X})]^2$

— Aniko
źródło

dzięki. Niestety nie mogę zagwarantować, że moje partycje są tego samego rozmiaru. Prowadzę masowo równoległy proces, w którym muszę obliczyć wariancje każdej partycji równolegle, a następnie połączyć na końcu, ale wyniki / próbki z każdego równoległego procesu nie są równe (jest to symulacja Monte Carlo otrzymanych fotonów).

— galamina

3

Nie mogę dać +1, super pomocna formuła do obliczeń równoległych w środowisku hurtowni danych

— Noah Yetter

1

This is simply an add-on to the answer of aniko with a rough sketch of the derivation and some python code, so all credits go to aniko.

derivation

Let $X_j \in X = \{X_1, X_2, \ldots, X_g\}$ be one of $g$ parts of the data where the number of elements in each part is $k_j = |X_j|$ . We define the mean and the variance of each part to be

\begin{aligned} E_{j} & = E [X_{j}] = \frac{1}{k_{j}} \sum_{i = 1}^{k_{j}} X_{j i} \\ V_{j} & = V a r [X_{j}] = \frac{1}{k_{j} - 1} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} \end{aligned}

$\begin{align*} E_j & = \mathrm{E}\left[X_j\right] = \frac{1}{k_j} \sum_{i=1}^{k_j} X_{ji}\\ V_j & = \mathrm{Var}\left[X_j\right] = \frac{1}{k_j-1} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 \end{align*}$ respectively. If we set

n = \sum_{j = 1}^{g} k_{j}

$n = \sum_{j=1}^g k_j$ , the variance of the total dataset is given by:

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E [X])^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} ((X_{j i} - E_{j}) - (E [X] - E_{j}))^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} \sum_{i = 1}^{k_{j}} (X_{j i} - E_{j})^{2} - 2 (X_{j i} - E_{j}) (E [X] - E_{j}) + (E [X] - E_{j})^{2} \\ = \frac{1}{n - 1} \sum_{j = 1}^{g} (k_{j} - 1) V_{j} + k_{j} (E [X] - E_{j})^{2} . \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - \mathrm{E}\left[X\right])^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} \big((X_{ji} - E_j) - (\mathrm{E}\left[X\right] - E_j)\big)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} \sum_{i=1}^{k_j} (X_{ji} - E_j)^2 - 2(X_{ji} - E_j)(\mathrm{E}\left[X\right] - E_j) + (\mathrm{E}\left[X\right] - E_j)^2 \\ & = \frac{1}{n-1} \sum_{j=1}^{g} (k_j - 1) V_j + k_j (\mathrm{E}\left[X\right] - E_j)^2. \end{align*}$ If we have the same size

k

$k$ for each part, i.e.

\forall j : k_{j} = k

$\forall j: k_j = k$ , above formula simplifies to

\begin{aligned} V a r [X] & = \frac{1}{n - 1} \sum_{j = 1}^{g} (k - 1) V_{j} + k (g - 1) V a r [E_{j}] \\ = \frac{k - 1}{n - 1} \sum_{j = 1}^{g} V_{j} + \frac{k (g - 1)}{k - 1} V a r [E_{j}] \end{aligned}

$\begin{align*} \mathrm{Var}\left[X\right] & = \frac{1}{n-1} \sum_{j=1}^g (k-1) V_j + k(g-1) \mathrm{Var}\left[E_j\right] \\ & = \frac{k-1}{n-1} \sum_{j=1}^g V_j + \frac{k(g-1)}{k-1} \mathrm{Var}\left[E_j\right] \end{align*}$

python code

The following python function works for arrays that have been splitted along the first dimension and implements the "more complex" formula for differently sized parts.

import numpy as np

def combine(averages, variances, counts, size=None):
    """
    Combine averages and variances to one single average and variance.

    # Arguments
        averages: List of averages for each part.
        variances: List of variances for each part.
        counts: List of number of elements in each part.
        size: Total number of elements in all of the parts.
    # Returns
        average: Average over all parts.
        variance: Variance over all parts.
    """
    average = np.average(averages, weights=counts)

    # necessary for correct variance in case of multidimensional arrays
    if size is not None:
        counts = counts * size // np.sum(counts, dtype='int')

    squares = (counts - 1) * variances + counts * (averages - average)**2
    return average, np.sum(squares) / (size - 1)

It can be used as follows:

# sizes k_j and n
ks = np.random.poisson(10, 10)
n = np.sum(ks)

# create data
x = np.random.randn(n, 20)
parts = np.split(x, np.cumsum(ks[:-1]))

# compute statistics on parts
ms = [np.mean(p) for p in parts]
vs = [np.var(p, ddof=1) for p in parts]

# combine and compare
combined = combine(ms, vs, ks, x.size)
numpied = np.mean(x), np.var(x, ddof=1)
distance = np.abs(np.array(combined) - np.array(numpied))
print('combined --- mean:{: .9f} - var:{: .9f}'.format(*combined))
print('numpied  --- mean:{: .9f} - var:{: .9f}'.format(*numpied))
print('distance --- mean:{: .5e} - var:{: .5e}'.format(*distance))

— Mr Tsjolder
źródło

Jak obliczyć wariancję podziału zmiennych

derivation

python code