Widziałem i podobało mi się pytanie Zrozumienie analizy głównych składników , a teraz mam to samo pytanie dotyczące analizy niezależnych składników. Chcę zadać kompleksowe pytanie na temat intuicyjnych sposobów rozumienia ICA?

Chcę to zrozumieć . Chcę to zrozumieć. Chcę to poczuć. Mocno w to wierzę:

Tak naprawdę czegoś nie rozumiesz, chyba że możesz wyjaśnić to swojej babci.
- Albert Einstein

Nie mogę wyjaśnić tej koncepcji laikowi ani babci

1. Dlaczego ICA? Jaka była potrzeba tej koncepcji?
2. Jak wytłumaczysz to laikowi?

Oto moja próba.

tło

Rozważ następujące dwa przypadki.

1. Jesteś prywatnym okiem na imprezie. Nagle widzisz jednego ze swoich starych klientów rozmawiającego z kimś i możesz usłyszeć niektóre słowa, ale nie do końca, ponieważ słyszysz także kogoś, kto jest obok niego, uczestnicząc w niezwiązanej dyskusji na temat sportu. Nie chcesz podejść bliżej - on cię zauważy. Zdecydujesz się wziąć telefon swojego partnera (który jest zajęty przekonaniem barmana, że ​​to bezalkoholowe piwo jest świetne) i posadzić go około 10 metrów obok siebie. Telefon nagrywa, a telefon nagrywa również rozmowę starego klienta, a także przeszkadzającego faceta sportowego. Weź swój telefon i zacznij nagrywać również z miejsca, w którym stoisz. Po około 15 minutach wracasz do domu z dwoma nagraniami: jednym z Twojej pozycji, a drugim z odległości około 10 metrów. Oba nagrania zawierają twojego starego klienta i Mr. Sporty,
2. Robisz zdjęcie uroczego psa Labrador Retriever, który widzisz za oknem. Sprawdzasz obraz i niestety widzisz odbicie z okna między tobą a psem. Nie możesz otworzyć okna (to jedno z nich, tak) i nie możesz wyjść na zewnątrz, bo boisz się, że ucieknie. Więc bierzesz (z jakiegoś niejasnego powodu) inny obraz, z nieco innej pozycji. Nadal widzisz odbicie i psa, ale teraz są w różnych pozycjach, ponieważ robisz zdjęcie z innego miejsca. Zauważ również, że pozycja zmieniała się równomiernie dla każdego piksela na obrazie, ponieważ okno jest płaskie, a nie wklęsłe / wypukłe.

W obu przypadkach chodzi o to, jak przywrócić rozmowę (w 1.) lub wizerunek psa (w 2.), biorąc pod uwagę dwa obrazy, które zawierają te same dwa „źródła”, ale z nieco innym względnym udziałem każdego z nich . Z pewnością mój wykształcony wnuk może to zrozumieć!

Intuicyjne rozwiązanie

Jak możemy, przynajmniej w zasadzie, odzyskać wizerunek psa z mieszanki? Każdy piksel zawiera wartości będące sumą dwóch wartości! Cóż, gdyby każdy piksel został podany bez innych pikseli, nasza intuicja byłaby poprawna - nie bylibyśmy w stanie odgadnąć dokładnego względnego udziału każdego z pikseli.

Dostajemy jednak zestaw pikseli (lub punktów w czasie w przypadku nagrania), o których wiemy, że zachowują te same relacje. Na przykład, jeśli na pierwszym zdjęciu pies jest zawsze dwa razy silniejszy niż odbicie, a na drugim zdjęciu jest wręcz przeciwnie, to w końcu możemy być w stanie uzyskać prawidłowy wkład. Następnie możemy znaleźć właściwy sposób odjęcia dwóch dostępnych zdjęć, aby odbicie zostało dokładnie anulowane! [Matematycznie oznacza to znalezienie macierzy odwrotnej mieszaniny.]

Nurkowanie w szczegółach

Załóżmy, że posiada mieszaninę dwóch sygnałów

i powiedzmy, że chcesz odzyskać jako funkcję dwóch mieszanin, Y 1 , Y 2 . Załóżmy również, że chcesz kombinacji liniowej: S 1 = b 11 Y 1 + b 12 Y 2 . Wszystko, co musisz zrobić, to znaleźć najlepszy wektor ( b 11 , b 12 ) i tam go masz. Podobnie dla S 2 i ( b 21 , b 22$S_1$$Y_1,Y_2$$S_1=b_{11} Y_1 + b_{12} Y_2$$(b_{11},b_{12})$$S_2$$(b_{21},b_{22})$ .

Ale jak to znaleźć dla ogólnych sygnałów? mogą wyglądać podobnie, mieć podobne statystyki itp. Załóżmy, że są niezależni. Jest to uzasadnione, jeśli masz zakłócający sygnał, taki jak szum lub jeśli dwa sygnały są obrazami, zakłócający sygnał może być odbiciem czegoś innego (i zrobiłeś dwa obrazy pod różnymi kątami).

$Y_1$$Y_2$$S_1,S_2$$X_1,X_2$ .

$X_1,X_2$$S_1,S_2$$X_1,X_2$$b_{ij}$$\{a_{ij}\}$$\{b_{ij}\}$$S_i$

$\{b_{ij}\}$$X_1,X_2$

Zastanówmy się więc najpierw: jeśli zsumujemy kilka niezależnych sygnałów niegaussowskich, to suma będzie „bardziej gaussowska” niż składowe. Dlaczego? ze względu na centralne twierdzenie graniczne, a także można pomyśleć o gęstości sumy dwóch indep. zmienne, czyli splot gęstości. Jeśli zsumujemy kilka niezależnych. Zmienne Bernoulliego, rozkład empiryczny będzie coraz bardziej przypominał kształt Gaussa. Czy to będzie prawdziwy gaussowski? prawdopodobnie nie (nie ma zamiaru), ale możemy zmierzyć Gaussianity sygnału na podstawie wielkości, która przypomina rozkład Gaussa. Na przykład możemy zmierzyć jego nadmiar kurtozy. Jeśli jest naprawdę wysoki, prawdopodobnie jest mniej Gaussowski niż ten o tej samej wariancji, ale z nadmiarem kurtozy bliskim zera.

Dlatego gdybyśmy znaleźli odważniki mieszające, moglibyśmy spróbować znaleźć $\{b_{ij}\}$$X_1,X_2$$\{b_{ij}\}$ i uzyskaliśmy niezależność. sygnały z powrotem.

Oczywiście, to dodaje kolejne założenie - na początku dwa sygnały muszą być niegaussowskie.

Bardzo prosty. Wyobraź sobie, że twoja babcia i członkowie rodziny zbierają się przy stole. Większe grupy ludzi rozpadają się tam, gdzie temat czatu jest specyficzny dla tej podgrupy. Twoja babcia siedzi tam i słyszy hałas wszystkich ludzi mówiących, co wydaje się być tylko kakofonią. Jeśli zwróci się do jednej grupy, może wyraźnie odizolować dyskusje w grupie nastolatków / młodzieży, jeśli zwróci się do drugiej grupy, może odizolować rozmowy dorosłych.

Podsumowując, ICA polega na izolowaniu lub wydobywaniu określonego sygnału (jedna osoba lub grupa osób mówiących) z mieszanki sygnałów (tłum mówiący).