Geometria i AI
Macierze, kostki, warstwy, stosy i hierarchie są tym, co moglibyśmy dokładnie nazwać topologiami . Rozważ topologię w tym kontekście projektu geometrycznego wyższego poziomu systemu uczenia się.
Wraz ze wzrostem złożoności często przydatne jest przedstawienie tych topologii jako struktur grafu ukierunkowanego. Diagramy stanów i praca Markowa nad teorią gier to dwa miejsca, w których powszechnie stosuje się ukierunkowane wykresy. Kierunkowe wykresy mają wierzchołki (często wizualizowane jako zamknięte kształty) i krawędzie często wizualizowane jako strzałki łączące kształty.
Możemy również przedstawiać GAN jako ukierunkowany wykres, w którym moc wyjściowa każdej sieci napędza trening drugiej w sposób przeciwny. Sieci GAN przypominają topologicznie pasek Möbiusa.
Nie możemy odkryć nowych projektów i architektur, nie rozumiejąc nie tylko matematyki konwergencji na optymalnym rozwiązaniu lub śledzenia jednego, ale także topologii połączeń sieciowych, które mogą wspierać taką konwergencję. To tak, jakby najpierw opracować procesor, wyobrażając sobie, czego system operacyjny potrzebuje przed napisaniem systemu operacyjnego.
Aby rzucić okiem na topologie, których NIE JESZCZE WCZYTYWANO pod uwagę, najpierw przyjrzyjmy się, jakie były.
Krok pierwszy - wytłaczanie w drugim wymiarze
W latach 80. sukces został osiągnięty dzięki rozszerzeniu oryginalnego projektu perceptronu. Naukowcy dodali drugi wymiar, aby stworzyć wielowarstwową sieć neuronową. Rozsądną zbieżność osiągnięto poprzez propagację wsteczną gradientu funkcji błędu poprzez gradienty funkcji aktywacji osłabione przez szybkości uczenia się i tłumione innymi meta-parametrami.
Krok drugi - Dodanie wymiarów do dyskretnego sygnału wejściowego
Widzimy pojawienie się sieci splotowych opartych na istniejących ręcznie dostrojonych technikach splotu obrazu wprowadzających wymiary do wejścia sieciowego: położenie pionowe, komponenty kolorów i ramkę. Ten ostatni wymiar ma kluczowe znaczenie dla CGI, wymiany twarzy i innych technik morfologicznych we współczesnym tworzeniu filmów. Bez tego mamy generowanie obrazów, kategoryzację i usuwanie szumów.
Krok trzeci - stosy sieci
Widzimy stosy sieci neuronowych pojawiające się pod koniec lat 90. XX wieku, gdzie szkolenie jednej sieci jest nadzorowane przez inną. Jest to wprowadzenie warstw pojęciowych, ani w sensie kolejnych warstw neuronów, ani w sensie warstw kolorów na obrazie. Ten rodzaj warstwowania również nie jest rekurencyjny. To bardziej przypomina świat przyrody, w którym jedna struktura jest organem w innym całkowicie innym rodzaju struktury.
Krok czwarty - Hierarchie sieci
Widzimy często pojawiające się w badaniach hierarchie sieci neuronowych z lat 2000 i wczesnych lat 2010 (Laplacian i inni), które kontynuują interakcję między sieciami neuronowymi i kontynuują analogię mózgu ssaków. Widzimy teraz meta-strukturę, w której całe sieci stają się wierzchołkami na ukierunkowanym wykresie reprezentującym topologię.
Krok piąty% mdash; Odjazdy z orientacji kartezjańskiej
Niekartezjańskie systematycznie powtarzające się układy komórek i połączenia między nimi zaczęły pojawiać się w literaturze. Na przykład Gauge Equivariant Convolutional Networks i Icosahedral CNN (Taco S.Cohen , Maurice Weiler, Berkay Kicanaoglu, Max Welling, 2019) analizują użycie układu opartego na wypukłym regularnym dwudziestościanie.
Zreasumowanie
Warstwy mają zwykle wartościowane funkcje aktywacji wierzchołków i macierze tłumienia odwzorowane na wyczerpujący zestaw ukierunkowanych krawędzi między sąsiednimi warstwami [1]. Warstwy splotu obrazu są często w dwuwymiarowych układach wierzchołków z sześcianami tłumienia odwzorowanymi na skrócony zestaw ukierunkowanych krawędzi między sąsiadującymi warstwami [2]. Stosy mają całe sieci warstwowe jako wierzchołki na meta-grafie, a te meta-wierzchołki są połączone w sekwencji, przy czym każda krawędź jest albo meta-parametrem szkoleniowym, sygnałem wzmacniającym (sprzężeniem zwrotnym w czasie rzeczywistym) lub inną kontrolą uczenia . Hierarchie sieci odzwierciedlają pogląd, że wiele elementów sterujących może być agregowanych i bezpośrednio uczą się na niższym poziomie lub przypadek, w którym wiele elementów uczących się może być kontrolowanych przez jedną sieć nadzorczą wyższego poziomu.
Analiza trendu w uczeniu się topologii
Możemy analizować trendy w architekturze uczenia maszynowego. Mamy trzy trendy topologiczne.
Głębokość w wymiarze przyczynowości - Warstwy do przetwarzania sygnału, w których wyjście jednej warstwy aktywacji jest podawane przez matrycę parametrów tłumiących (wag) do wejścia następnej warstwy. Ponieważ ustanowiono większe kontrole, zaczynając od podstawowego spadku gradientu w propagacji wstecznej, można osiągnąć większą głębokość.
Wymiarowość sygnału wejściowego - od wejścia skalarnego po hipersześciany (wideo ma poziomą, pionową, głębię kolorów łącznie z przezroczystością i ramkę - Należy pamiętać, że nie jest to to samo, co liczba wejść w sensie perceptronowym.
Rozwój topologiczny - powyższe dwa mają charakter kartezjański. Wymiary są dodawane pod kątem prostym do istniejącego wymiaru. Ponieważ sieci są połączone w hierarchie (jak w hierarchii Laplaciana), a Möbius rozbiera się jak koła (jak w GAN), trendy są topograficzne i najlepiej są reprezentowane przez ukierunkowane wykresy, w których wierzchołki nie są neuronami, ale ich mniejszymi sieciami.
Jakich topologii brakuje?
Ta sekcja wyjaśnia znaczenie pytania tytułowego.
- Czy istnieje jakiś powód, dla którego wiele meta-wierzchołków, z których każdy reprezentuje sieć neuronową, można tak ułożyć, że wiele meta-wierzchołków superwizora może, w połączeniu, nadzorować wiele meta-wierzchołków pracowników?
- Dlaczego propagacja wsteczna sygnału błędu jest jedynym nieliniowym odpowiednikiem ujemnego sprzężenia zwrotnego?
- Czy nie można zastosować współpracy między meta-wierzchołkami zamiast nadzoru, gdy istnieją dwie wzajemne krawędzie reprezentujące elementy sterujące?
- Skoro sieci neuronowe są wykorzystywane głównie do uczenia się zjawisk nieliniowych, dlaczego zabrania się innych rodzajów zamkniętych ścieżek w projektowaniu sieci lub ich wzajemnych połączeń?
- Czy jest jakiś powód, dla którego dźwięk nie może zostać dodany do obrazu, aby klipy wideo mogły być automatycznie kategoryzowane? Jeśli tak jest, to czy scenariusz jest możliwą ekstrakcją filmu i czy można użyć architektury przeciwnej do generowania scenariuszy i produkcji filmów bez systemu studia filmowego? Jak wyglądałaby ta topologia jako graf kierunkowy?
- Mimo że ortogonalnie rozmieszczone komórki mogą symulować dowolne regularne rozmieszczenie upakowania nieortogonalnych wierzchołków i krawędzi, czy jest to skuteczne w wizji komputerowej, w której wspólne jest przechylenie kamery inne niż plus lub minus 90 stopni?
- Czy efektywne jest rozmieszczanie pojedynczych komórek w sieciach lub sieciach komórek w systemach sztucznej inteligencji ortogonalnie w systemach uczenia się, których celem jest rozumienie i montaż języka naturalnego lub sztuczne poznawanie?
Notatki
Sztuczne komórki w MLP wykorzystują raczej funkcje arytmetyczne zmiennoprzecinkowe lub stacjonarne, a nie elektrochemiczne transmisje impulsowe oparte na amplitudzie i progu zbliżeniowym. Nie są to realistyczne symulacje neuronów, więc nazywanie neuronów wierzchołków byłoby mylącą nazwą dla tego rodzaju analizy.
Korelacja cech obrazu i względne zmiany między pikselami w bliskiej odległości są znacznie wyższe niż w przypadku odległych pikseli.