Wyprowadzanie negentropy. Utknąć

Pytanie to jest więc nieco związane, ale starałem się, aby było to jak najbardziej proste.

Cel: Krótko mówiąc, istnieje pochodna negentropii, która nie obejmuje kumulantów wyższego rzędu, i próbuję zrozumieć, w jaki sposób została wyprowadzona.

Tło: (Rozumiem to wszystko)

Sam studiuję książkę „Independent Component Analysis” , którą znalazłem tutaj. (To pytanie pochodzi z sekcji 5.6, w przypadku, gdy masz książkę - „Aproksymacja Entropii przez funkcje niepolarne”).

Mamy , która jest zmienną losową i której negentropy chcemy oszacować na podstawie niektórych naszych obserwacji. Plik PDF z jest podany przez . Negentropy to po prostu różnica między entropią różnicową znormalizowanej zmiennej losowej Gaussa a entropią różnicową . Różnicowa entropia jest tutaj podana przez , tak że: $x$ $x$ $p_x(\zeta)$ $x$ $H$

H (x) = - \int_{- \infty}^{\infty} p_{x} (ζ) l o g (p_{x} (ζ)) d ζ

$H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta$

a więc negentropy podaje

J (x) = H (v) - H (x)

$J(x) = H(v) - H(x)$

gdzie jest znormalizowanym rv Gaussa, z PDF podanym przez . $v$ $\phi(\zeta)$

Teraz, w ramach tej nowej metody, moja książka uzyskała szacunkową wartość pliku PDF , podaną przez: $x$

p_{x} (ζ) = ϕ (ζ) [1 + \sum_{i} c_{i} F^{i} (ζ)]

$p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)]$

(Gdzie . Dzięki temu to nie moc, ale indeks zamiast). $c_i = \mathbb{E}\{F^i(x)\}$ $i$

Na razie „akceptuję” tę nową formułę PDF i zapytam o nią następnego dnia. To nie jest mój główny problem. Co robi teraz chociaż, to podłączyć tę wersję PDF powrotem do negentropia równania, a kończy się z: $x$

J (x) \approx \frac{1}{2} \sum_{i} E {F^{i} (x)}^{2}

$J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2$

Pamiętaj, że sigma (tutaj i przez resztę postu), po prostu pętle wokół indeksu . Na przykład, gdybyśmy mieli tylko dwie funkcje, sygnał zapętliby się dla i . Oczywiście powinienem powiedzieć o tych funkcjach, których używa. Najwyraźniej funkcje są zdefiniowane następująco: $i$ $i=2$ $i=2$ $F^i$

Funkcje nie są w tym przypadku funkcjami wielomianowymi. (Zakładamy, że rv jest średnią zerową i wariancji jednostkowej). Zróbmy teraz pewne ograniczenia i podajmy właściwości tych funkcji: $F^i$ $x$

$F^{n + 1} (ζ) = ζ, c_{n + 1} = 0$ $F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0$
$F^{n + 2} (ζ) = ζ^{2}, c_{n + 1} = 1$ $F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1$
Aby uprościć obliczenia, przyjmijmy inne, czysto techniczne założenie: funkcje , tworzą układ ortonormalny jako taki: $F^i, i = 1, ... n$

$\int ϕ (ζ) F^{i} (ζ) F^{j} (ζ) d ζ = {\begin{cases} 1, if i = j \\ 0, if i \neq j \end{cases}$ $\int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{cases}$
i

$\int ϕ (ζ) F^{i} (ζ) ζ^{k} d (ζ) = 0, for k = 0, 1, 2$ $\int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{for } k = 0,1,2$

Prawie na miejscu! OK, więc to wszystko było tłem, a teraz pytanie. Zadanie polega zatem na umieszczeniu tego nowego pliku PDF w formule entropii różnicowej . Jeśli to zrozumiem, zrozumiem resztę. Teraz książka podaje pochodne (i zgadzam się z tym), ale utknąłem pod koniec, ponieważ nie wiem / nie widzę, jak to anuluje. Nie wiem też, jak interpretować zapis small-o z rozszerzenia Taylora. $H(x)$

Oto wynik:

Używając rozszerzenia Taylora , dla otrzymujemy: $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$

H (x) = - \int ϕ (ζ) (1 + \sum c_{i} F^{i} (ζ)) (l o g (1 + \sum c_{i} F^{i} (ζ) + l o g (ζ)) d (ζ) = - \int ϕ (ζ) l o g (ζ) - \int ϕ (ζ) \sum c_{i} F^{i} (ζ) l o g (ϕ (ζ)) - \int ϕ (ζ) [\sum c_{i} F^{i} (ζ) + \frac{1}{2} (\sum c_{i} F^{i} (ζ))^{2} + o ((\sum c_{i} F^{i} (ζ))^{2})]

$H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)]$

a więc

Pytanie: (Nie rozumiem tego)

H (x) = H (v) - 0 - 0 - \frac{1}{2} \sum c_{i}^{2} + o ((\sum c_{i})^{2}

$H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2$

Zatem mój problem: z wyjątkiem , nie rozumiem, w jaki sposób otrzymał ostatnie 4 warunki w ostatnim równaniu. (tzn. 0, 0 i ostatnie 2 warunki). Rozumiem wszystko wcześniej. Mówi, że wykorzystał relacje ortogonalności podane w powyższych właściwościach, ale nie wiem, jak to zrobić. (Nie rozumiem też tutaj małej notacji w sensie, w jaki sposób jest ona używana?) $H(v)$

DZIĘKI!!!!

EDYTOWAĆ:

Poszedłem dalej i dodałem zdjęcia z książki, którą czytam, w zasadzie mówi to, co powiedziałem powyżej, ale na wypadek, gdyby ktoś potrzebował dodatkowego kontekstu.

wprowadź opis zdjęcia tutaj

I tutaj, zaznaczony na czerwono, jest dokładnie ta część, która mnie dezorientuje. W jaki sposób wykorzystuje właściwości ortogonalności, aby uzyskać ostatnią część, w której wszystko się anuluje, i końcowe podsumowania z udziałem i podsumowanie z małą notacją? $c_i^2$

— Spacey
źródło

Podpowiedź : napisz wprost i użyj założeń autora, aby uzyskać zera dwóch środkowych terminów. Musi być kilka literówek, w tym w cytacie blokowym; np. pojawia się w niewłaściwym miejscu w podanej definicji ortonormalnej.

\log ϕ (x)

$\log \phi(x)$

\neq

$\neq$

— kardynał

@cardinal Ok, poprawiłem literówkę, dziękuję. Biorąc to pod uwagę, nie jestem pewien, w jaki sposób dokonuje anulowania. Dodałem rzeczywiste obrazy btw, z samej książki.

— Spacey,

Szczerze mówiąc, nie mam pojęcia, w jaki sposób i dlaczego migracja została przeniesiona z witryny matematycznej. W każdym razie cieszę się, że mam go tutaj, gdzie jest równie domowy. Włożyłeś dużo wysiłku w to pytanie. :-)

— kardynał

@cardinal Bardzo mi się podoba usłyszeć, jak to mówisz. :-) Tak, mam nadzieję, że ta inwestycja w samokształcenie się kiedyś zwróci. ;-)

— Spacey

Będzie, @Mohammad, będzie! ICA jest również bardzo interesującym tematem :-).

— Néstor

Najpierw przypomnij sobie, że są stałymi (są to wartości oczekiwane, liczby!), Więc można je wyprowadzić poza całki (jeśli go nie widzisz, zauważ, że Jeśli notacja Ci przeszkadza, po prostu zmień przez na ). $c_i$

c_{i} = \int p_{0} (ξ) G^{i} (ξ) d ξ .

$c_i=\int p_0(\xi)G^i(\xi)d\xi.$

ξ

$\xi$

ξ^{'}

$\xi'$

c_{i}

$c_i$

>> Aby uzyskać warunki zerowe:

Przypomnij sobie, że . Jak sugeruje @cardinal, musisz jawnie napisać , co jest równe: Mając to pod ręką, należy zauważyć, że: gdzie Upuściłem stałe poza całkami. $\varphi(\xi)=\exp(-\xi^2/2)/\sqrt{2\pi}$ $\log\varphi(\xi)$

\log φ (ξ) = - ξ^{2} / 2 - \log \sqrt{2 π} .

$\log\varphi(\xi)=-\xi^2/2-\log\sqrt{2\pi}.$

c_{i} \int φ (ξ) G^{i} (ξ) \log φ (ξ) = - \frac{1}{2} c_{i} \int φ (ξ) G^{i} (ξ) ξ^{2} - \log \sqrt{2 π} c_{i} \int φ (ξ) G^{i} (ξ), (1)

$c_i\int\varphi(\xi)G^i(\xi)\log \varphi(\xi)=-\frac{1}{2}c_i\int\varphi(\xi)G^i(\xi)\xi^2-\log\sqrt{2\pi}c_i\int\varphi(\xi)G^i(\xi),\ \ \ (1)$

Stąd zauważ, że w (5.39) podano, że wynosi dla . Całka pierwszego terminu po prawej stronie równania. ma tę postać (z ) i całkę również w drugim członie (z ). Musisz po prostu wykorzystać ten fakt na sumach i gotowe! $\int \varphi(\xi)F^i(\xi)\xi^k$ $0$ $k=0,1,2$ $(1)$ $k=2$ $k=0$

>> Aby uzyskać warunki : $\sum c_i^2$

Zauważ, że całka, którą należy uzyskać, aby uzyskać te warunki, to: Możemy użyć twierdzenia wielomianowego do rozszerzenia sumy do kwadratu. To daje nam: Jednak ponownie od (5.39) zauważ, że wszystkie warunki w tej sumie, które obejmują całki dla postaci wynoszą zero dla a jeden dla . nam wynik

\int φ (ξ) {(\sum_{i = 1}^{n} c_{i} G^{i} (ξ))}^{2} d ξ .

$\int \varphi(\xi)\left(\sum_{i=1}^{n} c_iG^i(\xi)\right)^2d\xi.$

\int φ (ξ) \sum_{k_{1} + k_{2} + . . . k_{n} = 2} \frac{2!}{k_{1}! k_{2}! . . . k_{n}!} \prod_{1 \leq t \leq n} (c_{t} G^{t} (ξ))^{k_{t}} d ξ .

$\int \varphi(\xi)\sum_{k_1+k_2+...k_n=2} \frac{2!}{k_1! k_2!...k_n!}\prod_{1\leq t \leq n}(c_tG^t(\xi))^{k_t}d\xi.$

\int φ (ξ) G^{i} (ξ) G^{j} (ξ) d ξ

$\int \varphi(\xi)G^{i}(\xi)G^{j}(\xi)d\xi$

i \neq j

$i\neq j$

i = j

$i=j$

\int φ (ξ) {(\sum c_{i} G^{i} (ξ))}^{2} d ξ = \sum c_{i}^{2} .

$\int \varphi(\xi)\left(\sum c_iG^i(\xi)\right)^2d\xi=\sum c_i^2.$

>> Informacje notacji $o(\text{whatever})$

Myślę, że jest to dość mylące dla autorów, ale pamiętam, że używają go tylko po to, aby oznaczać, że istnieją warunki porządku każdym razem, gdy wstawiają (tj. Tak jak duże -O notacja). Jednak, jak skomentował @Macro tę samą odpowiedź, istnieje różnica między notacją big-O a małą-O. Może powinieneś sam sprawdzić i sprawdzić, który z nich pasuje do problemu w tym artykule w Wikipedii . $\text{whatever}$ $o(\text{whatever})$

PS: Nawiasem mówiąc, to świetna książka. Artykuły autorów na ten temat są również bardzo dobre i należy je przeczytać, jeśli próbujesz zrozumieć i wdrożyć ICA.

— Néstor
źródło

(+1) Dobra odpowiedź. Jeśli sumy są nieskończone, musimy być bardziej ostrożni przy zamianie ich na całkę. Jeśli są skończone (jak sugeruje OP, ale nie przyjrzałem się obrazom z bliska), wszystko jest proste, jak pokazałeś. :-)

— kardynał

O tak! Dziękuję Nestor, ale co z dwoma ostatnimi wynikami, to jest sumowaniem z i sumowaniem z częścią notacji small-o?

c_{i}^{2}

$c_i^2$

— Spacey

@cardinal: O tak! Są skończone (nie wiem, dlaczego napisałem je tam, gdzie są nieskończone ...). Zmieniłem to w odpowiedzi.

— Néstor

@Mohammad, piszę na moje odpowiedzi na dwa pozostałe pytania ;-).

— Néstor

@ Néstor, +1 do tej odpowiedzi, ale jeśli chodzi o: Twój ostatni komentarz, myślę, że istnieje różnica między notacją wielkiej i małej .

— Makro