Wyprowadzanie całkowitej (w ramach klasy + między klasami) macierzy rozproszenia

Bawiłem się metodami PCA i LDA i utknąłem w pewnym momencie, mam wrażenie, że jest to tak proste, że nie widzę tego.

Macierze rozproszenia wewnątrz klasy ( ) i między klasami ( ) są zdefiniowane jako: $S_W$ $S_B$

S_{W} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (x_{t}^{i} - μ_{i})^{T}

$S_W = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i)(x_t^i - \mu_i)^T$

S_{B} = \sum_{i = 1}^{C} N (μ_{i} - μ) (μ_{i} - μ)^{T}

$S_B = \sum_{i=1}^CN(\mu_i-\mu)(\mu_i-\mu)^T$

Całkowita macierz rozproszenia $S_T$ jest podawana jako:

S_{T} = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} = S_{W} + S_{B}

$S_T = \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T = S_W + S_B$

gdzie C to liczba klas, a N to liczba próbek $x$ to próbki, $\mu_i$ to i-ta średnia klasy, $\mu$ to średnia średnia.

Próbując wyprowadzić $S_T$ doszedłem do punktu, w którym miałem:

(x - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x - μ_{i})^{T}

$(x-\mu_i)(\mu_i-\mu)^T + (\mu_i-\mu)(x-\mu_i)^T$

jako termin. To musi być zero, ale dlaczego?

W rzeczy samej:

\begin{aligned} S_{T} & = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ) (x_{t}^{i} - μ)^{T} \\ = \sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i} + μ_{i} - μ) (x_{t}^{i} - μ_{i} + μ_{i} - μ)^{T} \\ = S_{W} + S_{B} + \sum_{i = 1}^{C} \sum_{t = 1}^{N} [(x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} + (μ_{i} - μ) (x_{t}^{i} - μ_{i})^{T}] \end{aligned}

$\begin{align} S_T &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu)(x_t^i - \mu)^T \\ &= \sum_{i=1}^C\sum_{t=1}^N(x_t^i - \mu_i + \mu_i - \mu)(x_t^i - \mu_i + \mu_i - \mu)^T \\ &= S_W + S_B + \sum_{i=1}^C\sum_{t=1}^N\big[(x_t^i - \mu_i)(\mu_i - \mu)^T + (\mu_i - \mu)(x_t^i - \mu_i)^T\big] \end{align}$

discriminant-analysis

— nimcap
źródło

Odpowiedź brzmi: sumujesz odchylenia wartości wokół ich średniej, a suma ta wynosi zero. Ale czym dokładnie są , i ? W jaki sposób i powiązane z i ? Jakość odpowiedzi będzie zależeć od tego, jak dokładnie zgadujemy, ale zmuszasz nas do strasznego zgadywania!

x

$x$

m

$m$

m_{i}

$m_i$

m

$m$

m_{i}

$m_i$

μ

$\mu$

μ_{i}

$\mu_i$

— whuber

@whuber: Masz całkowitą rację, poprawiłem swoje pytanie.

— nimcap

Jeśli zakładasz

\frac{1}{N} \sum_{t = 1}^{N} x_{t}^{i} = μ_{i}

$\frac{1}{N}\sum_{t=1}^Nx_t^{i}=\mu_i$

Następnie

\sum_{i = 1}^{C} \sum_{t = 1}^{N} (x_{t}^{i} - μ_{i}) (μ_{i} - μ)^{T} = \sum_{i = 1}^{C} (\sum_{t = 1}^{N} (x_{t}^{i} - μ_{i})) (μ_{i} - μ)^{T} = 0

$\sum_{i=1}^C\sum_{t=1}^N(x_t^i-\mu_i)(\mu_i-\mu)^T=\sum_{i=1}^C\left(\sum_{t=1}^N(x_t^i-\mu_i)\right)(\mu_i-\mu)^T=0$

i formuła utrzymuje. Z drugim terminem postępujesz w podobny sposób.

— mpiktas
źródło

(+1) Drugi termin, będący transpozycją pierwszego, musi również wynosić zero :-).

— whuber

@ whuber, tak, to też :)

— mpiktas

Cześć, nie rozumiem, dlaczego to założenie się utrzymuje? Czy ktoś może to wyjaśnić?

— Mvkt

@Mvkt Przypuszczam, że to nie tyle założenie, co definicja . To znaczy: jest średnią z obserwacji w grupie . Oczekuję, że odpowiedź używa „zakładaj”, ponieważ OP nie wyjaśnia notacji, więc musimy zgadywać, że grupa oznacza „ .

μ_{i}

$\mu_i$

μ_{i}

$\mu_i$

i

$i$

μ_{i}

$\mu_i$

— Vincent