Czy sieć neuronowa może nauczyć się funkcjonalnej i jej funkcjonalnej pochodnej?

Rozumiem, że sieci neuronowe (NN) można uznać za uniwersalne aproksymatory zarówno funkcji, jak i ich pochodnych, pod pewnymi założeniami (zarówno w sieci, jak i funkcji do aproksymacji). W rzeczywistości przeprowadziłem szereg testów prostych, ale nietrywialnych funkcji (np. Wielomianów) i wydaje się, że rzeczywiście potrafię je dobrze przybliżyć i ich pierwsze pochodne (przykład pokazano poniżej).

Nie jest dla mnie jednak jasne, czy twierdzenia, które prowadzą do powyższego, rozciągają się (a może mogłyby być rozszerzone) na funkcjonały i ich funkcjonalne pochodne. Rozważmy na przykład funkcjonalną: z pochodną funkcjonalną: gdzie zależy całkowicie i nie trywialnie od . Czy NN może nauczyć się powyższego mapowania i jego funkcjonalnej pochodnej? Mówiąc dokładniej, jeśli dyskretyzujemy domenę nad i podamy (w dyskretnych punktach) jako dane wejściowe i

$$\begin{equation} F[f(x)] = \int_a^b dx ~ f(x) g(x) \end{equation}$$ $$\begin{equation} \frac{\delta F[f(x)]}{\delta f(x)} = g(x) \end{equation}$$ $f(x)$$g(x)$$x$$[a,b]$$f(x)$$F[f(x)]$jako wynik, czy NN może poprawnie nauczyć się tego mapowania (przynajmniej teoretycznie)? Jeśli tak, to czy może nauczyć się funkcjonalnej pochodnej mapowania?

Zrobiłem szereg testów i wydaje się, że NN może rzeczywiście nauczyć się mapowania , do pewnego stopnia. Jednak chociaż dokładność tego mapowania jest OK, nie jest wielka; i kłopotliwe jest to, że obliczona pochodna funkcjonalna jest kompletnym śmieciem (chociaż oba mogą być związane z problemami ze szkoleniem itp.). Przykład jest pokazany poniżej.$F[f(x)]$

Jeśli NN nie nadaje się do uczenia funkcjonalnego i jego pochodnej funkcjonalnej, czy istnieje inna metoda uczenia maszynowego?

Przykłady:

(1) Poniżej podano przykład przybliżenia funkcji i jej pochodnej: NN został przeszkolony, aby nauczyć się funkcji w zakresie [-3,2]: z którego rozsądna uzyskuje się aproksymację do : Należy zauważyć, że zgodnie z oczekiwaniami aproksymacja NN do i jej pierwszej pochodnej poprawia się wraz z liczbą punktów treningowych, architekturą NN, ponieważ lepsze minima znajdują się podczas treningu itp.$f(x) = x^3 + x + 0.5$d f ( x ) / d x f ( x )$df(x)/dx$$f(x)$

(2) Poniżej znajduje się przykład aproksymacji funkcjonalnej i jej pochodnej funkcjonalnej: NN został przeszkolony, aby nauczyć się funkcjonalnej . Dane treningowe uzyskano za pomocą funkcji postaci , gdzie i zostały wygenerowane losowo. Poniższy wykres ilustruje, że NN rzeczywiście jest w stanie dość dobrze przybliżać : Obliczone pochodne funkcjonalne są jednak kompletnym śmieciem; przykład (dla konkretnego ) pokazano poniżej: Jako ciekawą uwagę aproksymacja NN do$F[f(x)] = \int_1^2 dx ~ f(x)^2$$f(x) = a x^b$$a$$b$$F[f(x)]$f ( x ) F [ f ( x ) ]$f(x)$$F[f(x)]$ wydaje się poprawiać wraz z liczbą punktów treningowych itp. (jak w przykładzie (1)), ale pochodna funkcjonalna nie.

To dobre pytanie. Myślę, że obejmuje to teoretyczny dowód matematyczny. Od dłuższego czasu (około roku) pracuję z Deep Learning (w zasadzie siecią neuronową) i na podstawie mojej wiedzy ze wszystkich artykułów, które czytam, nie widziałem jeszcze na to dowodów. Jednak jeśli chodzi o dowody eksperymentalne, myślę, że mogę wyrazić opinię.

Rozważmy ten przykład poniżej:

W tym przykładzie uważam, że poprzez wielowarstwową sieć neuronową powinna ona być w stanie nauczyć się zarówno f ​​(x), jak i F [f (x)] poprzez propagację wsteczną. Jednak niezależnie od tego, czy dotyczy to bardziej skomplikowanych funkcji, czy wszystkich funkcji we wszechświecie, wymaga to więcej dowodów. Jednakże, gdy weźmiemy pod uwagę przykład konkurencji Imagenet --- do sklasyfikowania 1000 obiektów, często stosuje się bardzo głęboką sieć neuronową; najlepszy model może osiągnąć niesamowity poziom błędu do ~ 5%. Tak głęboki NN zawiera ponad 10 warstw nieliniowych i jest to eksperymentalny dowód, że skomplikowana relacja może być reprezentowana przez głęboką sieć [w oparciu o fakt, że wiemy, że NN z 1 ukrytą warstwą może rozdzielać dane nieliniowo].

Ale to, czy WSZYSTKICH pochodnych można się nauczyć, wymagało dalszych badań.

Nie jestem pewien, czy istnieją metody uczenia maszynowego, które mogą w pełni poznać funkcję i jej pochodną. Przepraszam za to.

Sieci neuronowe mogą aproksymować ciągłe odwzorowania między euklidesowymi przestrzeniami wektorowymi gdy ukryta warstwa staje się nieskończona. To powiedziawszy, bardziej efektywne jest dodawanie głębi niż szerokości. Funkcjonalność to po prostu mapa, w której zakres wynosi tj. . Tak więc, sieci neuronowe mogą uczyć się funkcjonałów, o ile dane wejściowe są skończonymi wymiarowymi przestrzeniami wektorowymi, a pochodną można łatwo znaleźć poprzez różnicowanie w trybie odwrotnym, czyli propagację wsteczną. Ponadto, kwantyzacja danych wejściowych jest rzeczywiście dobrym sposobem na rozszerzenie sieci na wejścia funkcji ciągłych.$f : \mathbb{R}^M \to \mathbb{R}^N$$\mathbb{R}$$N=1$

Jeśli funkcja ma postać to można nauczyć się z regresją liniową przy wystarczającej funkcji szkoleniowych i wartości docelowe . Odbywa się to w przybliżeniu całki za pomocą reguły trapezoidalnej: czyli gdzie

$$F[f(x)]=\int\limits_a^bf(x)g(x)dx$$ $g(x)$$f_i(x), ~i=0,\dots,M$$F[f_i(x)]$ $$F[f(x)]= \Delta x\left[\frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}\right]$$ $$\frac{F[f(x)]}{\Delta x}=y= \frac{f_0g_0}{2}+f_1g_1+...+f_{N-1}g_{N-1}+\frac{f_Ng_N}{2}$$ $$f_0=a,~f_1=f(x_1),~...,~f_{N-1}=f(x_{N-1}),~f_N=b,$$ $$a<x_1<...<x_{N-1}<b,~~\Delta x=x_{j+1}-x_j$$

Załóżmy, że mamy FUNKCJE szkoleniowych . Dla każdego mamy $M$$f_i(x),~i=1,\dots,M$$i$

$$\frac{F[f_i(x)]}{\Delta x}=y_i= \frac{f_{i0}g_0}{2}+f_{i1}g_1+...+f_{i,N-1}g_{N-1}+\frac{f_{iN}g_N}{2}$$

Wartości znajdują się następnie jako rozwiązanie problemu regresji liniowej z macierzą zmiennych objaśniających i cel wektor .$g_0,\dots, g_N$

$$X=\begin{bmatrix} f_{00}/2 & f_{01} & \dots & f_{0,N-1} & f_{0N}/2 \\ f_{10}/2 & f_{11} & \dots & f_{1,N-1} & f_{1N}/2 \\ \dots & \dots & \dots & \dots & \dots\\ f_{M0}/2 & f_{M1} & \dots & f_{M,N-1} & f_{MN}/2 \end{bmatrix}$$ $y=[y_0,\dots,y_M]$

Przetestujmy to na prostym przykładzie. Załóżmy, że jest gaussowskim.$g(x)$

import numpy as np 

def Gaussian(x, mu, sigma):
    return np.exp(-0.5*((x - mu)/sigma)**2)

Zdyskretuj domenę$x \in [a,b]$

x = np.arange(-1.0, 1.01, 0.01)
dx = x[1] - x[0]
g = Gaussian(x, 0.25, 0.25)

Weźmy sinus i cosinus o różnych częstotliwościach jako nasze funkcje treningowe. Obliczanie wektora docelowego:

from math import cos, sin, exp
from scipy.integrate import quad

freq = np.arange(0.25, 15.25, 0.25)

y = []
for k in freq:
    y.append(quad(lambda x: cos(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
    y.append(quad(lambda x: sin(k*x)*exp(-0.5*((x-0.25)/0.25)**2), -1, 1)[0])
y = np.array(y)/dx

Teraz macierz regresora:

X = np.zeros((y.shape[0], x.shape[0]), dtype=float)
print('X',X.shape)
for i in range(len(freq)):
    X[2*i,:] = np.cos(freq[i]*x)
    X[2*i+1,:] = np.sin(freq[i]*x)

X[:,0] = X[:,0]/2
X[:,-1] = X[:,-1]/2

Regresja liniowa:

from sklearn.linear_model import LinearRegression
reg = LinearRegression().fit(X, y)
ghat = reg.coef_

import matplotlib.pyplot as plt 

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

Funkcja Gaussa została pomyślnie wyuczona, chociaż dane są nieco rozłożone wokół prawdziwej funkcji. Spread jest większy, gdy jest bliskie zeru. Ten spread można wygładzić za pomocą filtra Savitzky-Golay$g(x)$

from scipy.signal import savgol_filter
ghat_sg = savgol_filter(ghat, 31, 3) # window size, polynomial order

plt.scatter(x, g, s=1, marker="s", label='original g(x)')
plt.scatter(x, ghat, s=1, marker="s", label='learned $\hat{g}$(x)')
plt.plot(x, ghat_sg, color="red", label='Savitzky-Golay $\hat{g}$(x)')
plt.legend()
plt.grid()
plt.show()

Ogólnie rzecz biorąc, nie zależy liniowo od , to znaczy Nadal można go zapisać jako funkcję po dyskretyzacji co jest również prawdziwe dla funkcjonałów postaci ponieważ można aproksymować skończonymi różnicami . Ponieważ jest nieliniową funkcją$F[f(x)]$$f(x)$

$$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x)\right)dx$$ $f_0, f_1\dots,f_N$$x$ $$F[f(x)]=\int\limits_a^b\mathcal{L}\left(f(x),f'(x)\right)dx$$ $f'$$f_0, f_1\dots,f_N$$\mathcal{L}$$f_0, f_1\dots,f_N$, można próbować nauczyć się go za pomocą metody nieliniowej, np. sieci neuronowych lub SVM, chociaż prawdopodobnie nie będzie to tak łatwe, jak w przypadku liniowym.