Jakie są główne twierdzenia w uczeniu maszynowym (głębokim)?

Al Rahimi wygłosił ostatnio bardzo prowokujący wykład w NIPS 2017, porównując obecne uczenie maszynowe z alchemią. Jednym z jego twierdzeń jest to, że musimy wrócić do rozwoju teoretycznego, aby mieć proste twierdzenia potwierdzające fundamentalne wyniki.

Kiedy to powiedział, zacząłem szukać głównych twierdzeń dotyczących ML, ale nie mogłem znaleźć dobrego odniesienia, które miałoby sens z głównych wyników. Oto moje pytanie: jakie są obecne główne twierdzenia matematyczne (teoria) w ML / DL i co one dowodzą? Domyślam się, że praca Vapnika gdzieś tu pójdzie. Dodatkowo, jakie są główne teoretyczne otwarte problemy?

Jak napisałem w komentarzach, pytanie to wydaje mi się zbyt ogólne, ale spróbuję znaleźć odpowiedź. Aby wyznaczyć pewne granice, zacznę od małej matematyki, która leży u podstaw większości ML, a następnie skoncentruję się na najnowszych wynikach dla DL.

---

Bias-wariancji kompromis jest określany w niezliczonych książkach, kursach, MOOCs, blogi, tweety, itp na ML, więc nie można uruchomić bez wymieniania go:

$$\mathbb{E}[(Y-\hat{f}(X))^2|X=x_0]=\sigma_{\epsilon}^2+\left(\mathbb{E}\hat{f}(x_0)-f(x_0)\right)^2+\mathbb{E}\left[\left(\hat{f}(x_0)-\mathbb{E}\hat{f}(x_0)\right)^2\right]=\text{Irreducible error + Bias}^2 \text{ + Variance}$$

Dowód tutaj: https://web.stanford.edu/~hastie/ElemStatLearn/

---

Twierdzenie Gaussa-Markowa (tak, regresja liniowa pozostanie ważną częścią uczenia maszynowego, bez względu na to: jak sobie z tym poradzić) wyjaśnia, że ​​gdy model liniowy jest prawdziwy i niektóre założenia dotyczące terminu błędu są prawidłowe, OLS ma minimum średni błąd kwadratu (który w powyższym wyrażeniu jest po prostu ) tylko wśród bezstronnych estymatorów liniowych modelu liniowego. Tak więc mogą istnieć estymatory liniowe z odchyleniem (lub estymatory nieliniowe), które mają lepszy błąd średniej kwadratowej, a zatem lepszy oczekiwany błąd predykcji, niż OLS. A to toruje drogę do całego arsenału regularyzacji (regresja grzbietu, LASSO, spadek masy ciała itp.), Który jest koniem ML. Dowód jest podany tutaj (i w wielu innych książkach): $\text{Bias}^2 \text{ + Variance}$https://www.amazon.com/Linear-Statistic-Models-James-Stapleton/dp/0470231467

Prawdopodobnie bardziej istotne dla eksplozji podejść regularyzacyjnych, jak zauważył Carlos Cinelli w komentarzach, i zdecydowanie przyjemniejsze do nauczenia się, jest twierdzenie Jamesa-Steina . Rozważ niezależnych, tej samej wariancji, ale nie takich samych średnich zmiennych losowych Gaussa:$n$

$$X_i|\mu_i\sim \mathcal{N}(\theta_i,\sigma^2), \quad i=1,\dots,n$$

innymi słowy, mamy składowy losowy wektor Gaussa . Mamy jedną próbkę z i chcemy oszacować . Estymatorem MLE (a także UMVUE) jest oczywiście . Rozważ estymator Jamesa-Steina$n-$$\mathbf{X}\sim \mathcal{N}(\boldsymbol{\theta},\sigma^2I)$$\mathbf{x}$$\mathbf{X}$$\boldsymbol{\theta}$$\hat{\boldsymbol{\theta}}_{MLE}=\mathbf{x}$

$$\hat{\boldsymbol{\theta}}_{JS}= \left(1-\frac{(n-2)\sigma^2}{||\mathbf{x}||^2}\right)\mathbf{x}$$

Oczywiście, jeśli , zmniejsza oszacowanie MLE do zera. James-Stein twierdzenie mówi, że dla , bezwzględnie dominuje , to znaczy, że ma niższy MSE . Dziwne, zaskakująco, nawet jeśli skurczymy się w kierunku jakiejkolwiek innej stałej , nadal dominuje . Od$(n-2)\sigma^2\leq||\mathbf{x}||^2$$\hat{\boldsymbol{\theta}}_{JS}$ $n\geq4$$\hat{\boldsymbol{\theta}}_{JS}$ $\hat{\boldsymbol{\theta}}_{MLE}$$\forall \ \boldsymbol{\theta}$$\boldsymbol{c}\neq \mathbf{0}$$\hat{\boldsymbol{\theta}}_{JS}$$\hat{\boldsymbol{\theta}}_{MLE}$$X_i$są niezależne, może wydawać się dziwne, że próba oszacowania wzrostu trzech niepowiązanych osób, w tym próbki z liczby jabłek wyprodukowanych w Hiszpanii, może średnio poprawić naszą ocenę . Kluczową kwestią jest tutaj „średnio”: średni błąd kwadratowy dla równoczesnego oszacowania wszystkich składników wektora parametrów jest mniejszy, ale błąd kwadratowy dla jednego lub więcej składników może być znacznie większy i rzeczywiście często ma miejsce, gdy masz „ekstremalne” obserwacje.

Dowiedzenie się, że MLE, który był rzeczywiście „optymalnym” estymatorem w przypadku estymacji jednoczynnikowej, został zdetronizowany dla estymacji wielowymiarowej, było wówczas dość szokiem i doprowadziło do dużego zainteresowania skurczem, lepiej znanym jako regularyzacja w mowie ML. Można zauważyć pewne podobieństwa z modelami mieszanymi i koncepcją „siły zaciągania pożyczek”: rzeczywiście istnieje pewne powiązanie, jak omówiono tutaj

Ujednolicony pogląd na kurczenie się: jaka jest relacja (jeśli występuje) między paradoksem Steina, regresją grzbietu i efektami losowymi w modelach mieszanych?

Odniesienia: James, W., Stein, C., Estimation with Quadratic Loss . Materiały z czwartego sympozjum Berkeley na temat statystyki matematycznej i prawdopodobieństwa, tom 1: Wkład do teorii statystyki, 361--379, University of California Press, Berkeley, Kalifornia, 1961

---

Podstawowa analiza składowa jest kluczem do ważnego tematu redukcji wymiarów i opiera się na rozkładzie wartości osobliwych : dla każdej rzeczywistej macierzy (chociaż twierdzenie łatwo uogólnia się na złożone macierze) możemy napisać$N\times p$$X$

$$X=UDV^T$$

gdzie o rozmiarze jest ortogonalny, jest macierzą diagonalną z nieujemnymi elementami diagonalnymi, a o wielkości jest ponownie ortogonalny. Dowody i algorytmy obliczania można znaleźć w: Golub, G. i Van Loan, C. (1983), Obliczenia Matrix , prasa John Hopkins University, Baltimore.$U$$N \times p$$D$$p \times p$$U$$p \times p$

---

Twierdzenie Mercer'a jest kamieniem węgielnym dla wielu różnych metod ML: cienkie splajny płytowe, maszyny wektorów nośnych, oszacowanie Kriginga losowego procesu Gaussa itp. Zasadniczo jest jednym z dwóch twierdzeń stojących za tak zwaną sztuczką jądra . Niech będzie symmmetryczną funkcją ciągłą lub jądrem. jeśli jest dodatnim półfinałem, to przyjmuje ortonormalną podstawę funkcji własnych odpowiadającą nieujemnym wartościom własnym:$K(x,y):[a,b]\times[a,b]\to\mathbb{R}$$K$

$$K(x,y)=\sum_{i=1}^\infty\gamma_i \phi_i(x)\phi_i(y)$$

O znaczeniu tego twierdzenia dla teorii ML świadczy liczba odniesień, jakie otrzymuje w słynnych tekstach, takich jak na przykład Rasmussen i Williams o procesach Gaussa .

Odniesienia: J. Mercer, Funkcje typu dodatniego i ujemnego oraz ich związek z teorią równań całkowych. Transakcje filozoficzne Royal Society of London. Seria A, zawierająca dokumenty o charakterze matematycznym lub fizycznym, 209: 415-446, 1909

Prostsza prezentacja znajduje się również w Konradzie Jörgensie, operatorach całki liniowej , Pitman, Boston, 1982.

---

Drugim twierdzeniem, które wraz z twierdzeniem Mercer'a stanowi teoretyczne podstawy sztuczki jądra, jest twierdzenie reprezentujące . Załóżmy, że masz przykładową przestrzeń i symetryczne dodatnie jądro semidfinite . Także pozwala być RKHS związane z . Na koniec niech będzie próbką szkoleniową. Twierdzenie mówi, że spośród wszystkich funkcji , które wszystkie przyjmują nieskończoną reprezentację pod względem funkcji własnych$\mathcal{X}$$K: \mathcal{X} \times \mathcal{X}\to \mathbb{R}$$\mathcal{H}_K$$K$$S=\{\mathbb{x}_i,y_i\}_{i=1}^n$$f\in \mathcal{H}_K$$K$z powodu twierdzenia Mercer'a to, które minimalizuje ryzyko regulowane, zawsze ma skończoną reprezentację w podstawie utworzonej przez jądro oceniane w punktach treningowych, tj.$n$

$$\min_{f \in \mathcal{H}_K} \sum_{i=1}^n L(y_i,f(x_i))+\lambda||f||^2_{\mathcal{H}_K}=\min_{\{c_j\}_1^\infty} \sum_{i=1}^n L(y_i,\sum_j^\infty c_j\phi_j(x_i))+\lambda\sum_j^\infty \frac{c_j^2}{\gamma_j}=\sum_{i=1}^n\alpha_i K(x,x_i)$$

(twierdzenie jest ostatnią równością). Odniesienia: Wahba, G. 1990, Spline Models for Observational Data , SIAM, Philadelphia.

---

Uniwersalny przybliżenie twierdzenie zostało już cytowany przez użytkownika Tobias Windisch i jest znacznie mniej istotne dla uczenia maszynowego, niż jest do analizy funkcjonalnej, nawet jeśli nie może wydawać się więc na pierwszy rzut oka. Problem polega na tym, że twierdzenie mówi tylko, że taka sieć istnieje, ale:

• nie daje żadnej korelacji między rozmiarem ukrytej warstwy a pewną miarą złożoności funkcji docelowej , takiej jak na przykład Całkowita zmienność. Jeśli a wymagane dla stałego błędu rośnie wykładniczo z , to neuronalna pojedyncza warstwa ukryta sieci byłyby bezużyteczne.$N$$f(x)$$f(x)=\sin(\omega x):[0,2\pi]\to[-1,1]$$N$$\epsilon$$\omega$
• nie mówi, czy sieci można się nauczyć . Innymi słowy zakładamy, że biorąc pod uwagę i , wiemy, że rozmiar NN będzie zbliżony do z wymaganą tolerancją w hipersześcianie. Następnie, stosując zestawy szkoleniowe o rozmiarze i procedurę uczenia się, taką jak na przykład śmigło wsteczne, czy mamy jakąkolwiek gwarancję, że zwiększając możemy odzyskać ?$F(x)$$f$$\epsilon$$N$$f$$M$$M$$F$
• wreszcie, co gorsza, nie mówi nic o błędzie prognozy sieci neuronowych. Co tak naprawdę zainteresowany jest oszacowanie błędu predykcji, przynajmniej uśrednione dla wszystkich zestawów szkoleniowych rozmiarze . Twierdzenie nie pomaga w tym względzie.$M$

Mniejszy problem z wersją tego twierdzenia Hornika polega na tym, że nie dotyczy to funkcji aktywacyjnych ReLU. Jednak Bartlett udowodnił później rozszerzoną wersję, która pokrywa tę lukę.

---

Do tej pory wydaje mi się, że wszystkie twierdzenia, które rozważałem, były dobrze znane każdemu. Czas na zabawę :-) Zobaczmy kilka twierdzeń o głębokim uczeniu się :

Założenia:

• głęboka sieć neuronowa (dla stałej , jest funkcją, która łączy wejścia sieci neuronowej z jej wyjściami) i utrata regularyzacji są sumami dodatnio jednorodne funkcje tego samego stopnia$\Phi(X,W)$$W$$\Phi_W(X)$$\Theta(W)$
• funkcja stratności jest wypukła i raz można ją rozróżnić w , w zwartym zbiorze$L(Y,\Phi(X,W)$$X$$S$

Następnie:

• dowolne lokalne minimum dla takie, że podsieć ma zerowe wagi, jest globalnym minimum ( Twierdzenie 1 )$L(Y,\Phi(X,W))+\lambda\Theta(W)$$\Phi(X,W)$
• powyżej krytycznego rozmiaru sieci, lokalne zejście zawsze będzie zbieżne do globalnego minimum po każdej inicjalizacji ( Twierdzenie 2 ).

Jest to bardzo interesujące: CNN wykonane tylko z warstw splotowych, ReLU, max-pooling, w pełni połączone ReLU i warstwy liniowe są dodatnio jednorodnymi funkcjami, a jeśli uwzględnimy funkcje aktywacji sigmoidalnej, nie jest to już prawdą, co może częściowo tłumaczyć wyższość wydajność w niektórych aplikacjach ReLU + max pooling w odniesieniu do sigmoidów. Co więcej, twierdzenia te obowiązują tylko wtedy, gdy jest dodatnio jednorodna w w tym samym stopniu co . faktem jest to, że lub , choć pozytywnie jednorodna, nie ma tego samego stopnia (stopień$\Theta$$W$$\Phi$$l_1$$l_2$$\Phi$$\Phi$, w prostym przypadku CNN wspomnianym wcześniej, wzrasta wraz z liczbą warstw). Zamiast tego, bardziej nowoczesne metody regularyzacji, takie jak normalizacja partii i ścieżka-SGD, odpowiadają dodatnio jednorodnej funkcji regularyzacji o takim samym stopniu jak , a porzucenie, choć nie pasujące dokładnie do tego frameworka, wykazuje silne podobieństwo do niego. To może wyjaśniać, dlaczego, aby uzyskać wysoką dokładność z CNN, i nie są wystarczające, ale musimy zastosować wszelkiego rodzaju diabelskie sztuczki, takie jak rezygnacja i normalizacja partii! Zgodnie z moją najlepszą wiedzą jest to najbliższe wytłumaczenie skuteczności normalizacji partii, która poza tym jest bardzo niejasna, jak słusznie zauważył Al Rahimi w swoim wystąpieniu.$\Phi$$l_1$$l_2$

Kolejnym spostrzeżeniem, które niektórzy robią na podstawie Twierdzenia 1 , jest to, że mogłoby to wyjaśnić, dlaczego ReLU działa dobrze, nawet w przypadku problemu martwych neuronów . Zgodnie z tą intuicją fakt, że podczas treningu niektóre neurony ReLU „giną” (idą do aktywacji zerowej, a następnie nigdy się z niej nie regenerują, ponieważ dla gradient ReLU wynosi zero) jest „cechą, a nie błędem „, ponieważ jeśli osiągnęliśmy minimum i umarła pełna podsieć, to prawdopodobnie osiągnęliśmy globalne minimum (zgodnie z hipotezami Twierdzenia 1$x<0$). Być może czegoś mi brakuje, ale myślę, że ta interpretacja jest zbyt daleko idąca. Przede wszystkim podczas szkolenia ReLU mogą „umrzeć” na długo przed osiągnięciem lokalnego minimum. Po drugie, należy udowodnić, że kiedy jednostki ReLU „umierają”, zawsze robią to w pełnej podsieci: jedynym przypadkiem, gdy jest to trywialnie prawdziwe, jest tylko jedna ukryta warstwa, w którym to przypadku oczywiście każdy pojedynczy neuron jest podsieć. Ale ogólnie byłbym bardzo ostrożny, widząc „martwe neurony” jako dobrą rzecz.

Bibliografia:

B. Haeffele i R. Vidal, Globalna optymalizacja w szkoleniu w sieci neuronowej , Na konferencji IEEE nt. Wizji komputerowej i rozpoznawania wzorców, 2017.

B. Haeffele i R. Vidal. Globalna optymalizacja w rozkładzie na czynniki tensorowe, głębokie uczenie się i nie tylko , arXiv, abs / 1506.07540, 2015.

---

Klasyfikacja obrazów wymaga uczenia się reprezentacji, które są niezmienne (lub przynajmniej solidne, tj. Bardzo słabo wrażliwe) na różne transformacje, takie jak lokalizacja, poza, punkt widzenia, oświetlenie, ekspresja itp., Które są zwykle obecne na naturalnych obrazach, ale nie zawierają informacji do zadania klasyfikacyjnego. To samo dotyczy rozpoznawania mowy: zmiany wysokości, głośności, tempa, akcentu. itp. nie powinny prowadzić do zmiany klasyfikacji tego słowa. Operacje takie jak splot, maksymalna pula, średnia pula itp. Stosowane w sieciach CNN mają dokładnie ten cel, dlatego intuicyjnie oczekujemy, że będą działać w tych aplikacjach. Ale czy mamy twierdzenia na poparcie tej intuicji? Istnieje twierdzenie o niezmienności translacji pionowej, która, niezależnie od nazwy, nie ma nic wspólnego z tłumaczeniem w kierunku pionowym, ale jest to w zasadzie wynik, który mówi, że cechy wyuczone w kolejnych warstwach stają się coraz bardziej niezmienne w miarę wzrostu liczby warstw. Jest to sprzeczne ze starszym twierdzeniem o niezmienności translacji poziomej, które jednak dotyczy sieci rozpraszania, ale nie CNN. Twierdzenie to jest jednak bardzo techniczne:

• zakładamy, że (obraz wejściowy) jest całkowalny z kwadratem$f$
• załóżmy, że filtr dojeżdża do pracy z operatorem tłumaczenia , który mapuje obraz wejściowy na przetłumaczoną kopię samego siebie . Wyuczone jądro splotu (filtr) spełnia tę hipotezę.$T_t$$f$$T_t f$
• załóżmy, że wszystkie filtry, nieliniowości i pule w twojej sieci spełniają tak zwany słaby warunek dopuszczalności , który jest w zasadzie pewnego rodzaju słabymi warunkami regularności i ograniczenia. Warunki te są spełnione przez wyuczone jądro splotu (o ile na każdej warstwie wykonywana jest pewna operacja normalizacyjna), ReLU, sigmoid, tanh itp., Nieliniowości oraz przez średnią pulę, ale nie przez maksymalną pulę. Obejmuje więc niektóre (nie wszystkie) architektury CNN w świecie rzeczywistym.
• Załóżmy wreszcie, że każda warstwa ma współczynnik pulowania , tj. Pulowanie jest stosowane w każdej warstwie i skutecznie odrzuca informacje. Warunek wystarczyłby również dla słabszej wersji twierdzenia.$n$$S_n> 1$$S_n\geq 1$

Wskaż za pomocą wyjście warstwy CNN, gdy wejściem jest . Wreszcie:$\Phi^n(f)$$n$$f$

$$\lim_{n\to\infty}|||\Phi^n(T_f f)-\Phi^n(f)|||=0$$

(potrójne słupki nie są błędem), co w zasadzie oznacza, że ​​każda warstwa uczy się cech, które stają się coraz bardziej niezmienne, a na granicy nieskończenie głębokiej sieci mamy doskonale niezmienną architekturę. Ponieważ CNN mają skończoną liczbę warstw, nie są one niezmiennie niezmienne w tłumaczeniu, co jest dobrze znane praktykom.

Odniesienia: T. Wiatowski i H. Bolcskei, A Mathematical Theory of Deep Convolutional Neural Networks for Extraction , arXiv: 1512.06293v3 .

---

Podsumowując, liczne granice błędu uogólnienia głębokiej sieci neuronowej opartej na wymiarze Vapnika-Chervonkensisa lub złożoności Rademachera rosną wraz z liczbą parametrów (niektóre nawet wykładniczo), co oznacza, że ​​nie potrafią wyjaśnić, dlaczego DNN działają tak dobrze w praktyce, nawet gdy liczba parametrów jest znacznie większa niż liczba próbek treningowych. W rzeczywistości teoria VC nie jest zbyt przydatna w głębokim uczeniu się.

I odwrotnie, niektóre wyniki z ubiegłego roku wiązały błąd uogólnienia klasyfikatora DNN z wielkością niezależną od głębokości i wielkości sieci neuronowej, ale zależną tylko od struktury zestawu treningowego i przestrzeni wejściowej. Zgodnie z kilkoma dość technicznymi założeniami dotyczącymi procedury uczenia się, zestawu treningowego i przestrzeni wejściowej, ale z bardzo małymi założeniami dotyczącymi DNN (w szczególności CNN są w pełni uwzględnione), to z prawdopodobieństwem co najmniej mamy$1-\delta$

$$\text{GE} \leq \sqrt{2\log{2}N_y\frac{\mathcal{N_{\gamma}}}{m}}+\sqrt{\frac{2\log{(1/\delta)}}{m}}$$

gdzie:

• $\text{GE}$ jest błędem uogólnienia, zdefiniowanym jako różnica między oczekiwaną stratą (średnia utrata wyuczonego klasyfikatora we wszystkich możliwych punktach testowych) a utratą empiryczną (tylko błąd dobrego zestawu treningowego)
• $N_y$ to liczba klas
• $m$ jest rozmiarem zestawu treningowego
• $\mathcal{N_{\gamma}}$ jest liczbą obejmującą dane, wielkością związaną ze strukturą przestrzeni wejściowej i minimalnym odstępem między punktami różnych klas w zestawie treningowym. Odniesienie:

J. Sokolic, R. Giryes, G. Sapiro i M. Rodrigues. Błąd uogólnienia niezmiennych klasyfikatorów . W AISTATS, 2017

Myślę, że następujące twierdzenie, na które się powołujesz, jest uważane za dość fundamentalne w nauce statystycznej.

Twierdzenie (Vapnik i Chervonenkis, 1971) Niech będzie klasą hipotez funkcji z dziedziny do i niech funkcją straty będzie strata . Następnie następujące są równoważne:$H$$X$$\{0, 1\}$$0 − 1$

1. $H$ ma właściwość jednolitej zbieżności.
2. $H$ to PAC, którego można się nauczyć.
3. $H$ ma skończony wymiar VC.

Udowodniono w wersji ilościowej tutaj:

VN Vapnik i AY Chervonenkis: O jednolitej zbieżności względnych częstotliwości zdarzeń z ich prawdopodobieństwami. Teoria prawdopodobieństwa i jej zastosowania, 16 (2): 264–280, 1971.

Wersja sformułowana powyżej wraz z ładną prezentacją innych wyników teorii uczenia się jest dostępna tutaj :

Shalev-Shwartz, Shai i Shai Ben-David. Zrozumienie uczenia maszynowego: od teorii do algorytmów. Prasa uniwersytecka Cambridge, 2014.

Sztuczka jądra to ogólny pomysł, który jest używany w wielu miejscach i pochodzi z wielu abstrakcyjnych matematyki na temat Hilberta Spacesa. Zbyt wiele teorii, by napisać (skopiować ...) tutaj, aby znaleźć odpowiedź, ale jeśli przejrzysz to, możesz uzyskać dobry pomysł na jej rygorystyczne podstawy:

http://www.stats.ox.ac.uk/~sejdinov/teaching/atml14/Theory_2014.pdf

Moim ulubionym jest nierówność Krafta.

Twierdzenie: Dla dowolnej metody opisu dla skończonego alfabetu długość słowa musi spełniać nierówność .$C$$A = \{1,\dots, m\}$$L_C(1), \dots, L_C(2)$$\sum_{x \in A} 2 ^{-L_C(x)} \leq 1$

Ta nierówność wiąże się z kompresją z gęstościami prawdopodobieństwa : biorąc pod uwagę kod, długość wyniku reprezentowanego przez ten kod jest ujemnym prawdopodobieństwem logicznym modelu zidentyfikowanego przez kod.

Co więcej, twierdzenie o braku darmowego lunchu dla uczenia maszynowego ma mniej znane twierdzenie o braku hiper kompresji, które stwierdza, że ​​nie wszystkie sekwencje można skompresować.

Nie nazwałbym tego głównym twierdzeniem, ale myślę, że następujące (czasem określane jako uniwersalne twierdzenie aproksymacyjne) jest interesujące (i przynajmniej dla mnie zaskakujące), ponieważ podaje przybliżoną moc sprzężonych sieci neuronowych.

Twierdzenie: Niech będzie nietrwałą i monotynicznie rosnącą funkcją ciągłą. Dla każdej funkcji continuos i dowolnego istnieje liczba całkowita i wielowarstwowy perceptron z jedną ukrytą warstwą posiadającą neuronów, które mają jako aktywację działają tak, że$\sigma$$f:[0,1]^m\to\mathbb{R}$$\epsilon>0$$N$$F$$N$$\sigma$

$$|F(x)-f(x)|\le\epsilon$$ dla wszystkich .$x\in[0,1]^m$

Oczywiście, ponieważ jest to stwierdzenie o istnieniu , jego wpływ na praktyków jest znikomy.

Dowód można znaleźć w Hornik, Aproximation Capabilities of Muitilayer Feedforward Networks, Neural Networks 4 (2), 1991,

Miły post skupiający się na tym pytaniu (w szczególności głębokie uczenie się zamiast ogólnych twierdzeń o uczeniu maszynowym) znajduje się tutaj:

https://medium.com/mlreview/modern-theory-of-deep-learning-why-does-it-works-so-well-9ee1f7fb2808

Daje dostępne podsumowanie głównych pojawiających się twierdzeń o zdolności tak głębokich uogólnień głębokich sieci neuronowych.