Jak duży powinien być rozmiar partii dla stochastycznego spadku gradientu?

„Wielkość próbki” mówisz jest określany jako wielkości partii , . Parametr wielkości partii jest tylko jednym z hiperparametrów, które będziesz dostrajać, gdy trenujesz sieć neuronową przy użyciu mini-partii Stochastic Gradient Descent (SGD) i jest zależny od danych. Najbardziej podstawową metodą wyszukiwania hiperparametrowego jest przeszukiwanie siatki na podstawie szybkości uczenia się i wielkości partii w celu znalezienia pary, która powoduje, że sieć się zbiega. $B$

Aby zrozumieć, jaki powinien być rozmiar partii, ważne jest, aby zobaczyć związek między spadkiem gradientu partii, SGD online i SGD mini-partii. Oto ogólna formuła kroku aktualizacji wagi w SGD mini-partii, który jest uogólnieniem wszystkich trzech typów. [ 2 ]

θ_{t + 1} \leftarrow θ_{t} - ϵ (t) \frac{1}{b} \sum_{b = 0}^{b - 1} \frac{\partial L. (θ, m_{b})}{\partial θ}

$\theta_{t+1} \leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta}$

Spadek gradientu partii, $B = |x|$
Stochastyczne opadanie gradientu online: $B = 1$
Spadek gradientu stochastycznego w małych partiach: ale . $B > 1$ $B < |x|$

Zauważ, że przy 1 funkcja straty nie jest już zmienną losową i nie jest przybliżeniem stochastycznym.

SGD zbiega się szybciej niż normalne opadanie gradientu „partii”, ponieważ aktualizuje wagi po spojrzeniu na losowo wybrany podzbiór zestawu treningowego. Niech będzie naszym zestawem treningowym i niech . Wielkość partii to po prostu liczność : . $x$ $m \subset x$ $B$ $m$ $B = |m|$

Opadanie gradientu wsadowego aktualizuje wagi przy użyciu gradientów całego zestawu danych ; podczas gdy SGD aktualizuje wagi przy użyciu średniej gradientów dla mini-partii . (Użycie średniej zamiast sumy uniemożliwia algorytmowi podejmowanie zbyt dużych kroków, jeśli zbiór danych jest bardzo duży. W przeciwnym razie konieczne byłoby dostosowanie szybkości uczenia się w oparciu o rozmiar zbioru danych.) Oczekiwana wartość tego stochastyczne przybliżenie gradientu stosowanego w SGD jest równe gradientowi deterministycznemu stosowanemu przy opadaniu gradientu okresowego. $\theta$ $x$ $m$ . $\mathbb{E}[\nabla \mathcal{L}_{SGD}(\theta, \textbf{m})] = \nabla \mathcal{L}(\theta, \textbf{x})$

Za każdym razem, gdy pobieramy próbkę i aktualizujemy nasze wagi, nazywa się to mini-partią . Za każdym razem, gdy przeglądamy cały zestaw danych, nazywa się to epoką .

Powiedzmy, że mamy jakiś wektor danych , początkowy wektor ciężaru, który parametryzuje naszą sieć neuronową, , oraz funkcję straty , którą próbują zminimalizować. Jeśli mamy przykłady treningu i wielkość partii , możemy podzielić te przykłady treningu na mini-partie C: $\textbf{x} : \mathbb{R}^D$ $\theta_0 : \mathbb{R}^{S}$ $\mathcal{L}(\theta, \textbf{x}) : \mathbb{R}^{S} \rightarrow \mathbb{R}^{D} \rightarrow \mathbb{R}^S$ $T$ $B$

do = ⌈ T. / b ⌉

$C = \lceil T / B \rceil$

Dla uproszczenia możemy założyć, że T jest równomiernie podzielne przez B. Chociaż, gdy tak nie jest, jak to często bywa, nie należy przypisywać odpowiedniej masy każdej mini-partii w zależności od jej wielkości.

Algorytm iteracyjny dla SGD z epokami podano poniżej: $M$

\begin{aligned} t & \leftarrow 0 \\ podczas t & < M. \\ θ_{t + 1} & \leftarrow θ_{t} - ϵ (t) \frac{1}{b} \sum_{b = 0}^{b - 1} \frac{\partial L. (θ, m_{b})}{\partial θ} \\ t & \leftarrow t + 1 \end{aligned}

$\begin{align*} t &\leftarrow 0 \\ \textrm{while } t &< M \\ \theta_{t+1} &\leftarrow \theta_{t} - \epsilon(t) \frac{1}{B} \sum\limits_{b=0}^{B - 1} \dfrac{\partial \mathcal{L}(\theta, \textbf{m}_b)}{\partial \theta} \\ t &\leftarrow t + 1 \end{align*}$

Uwaga: w prawdziwym życiu odczytujemy te przykładowe dane treningowe z pamięci i, ze względu na wstępne pobieranie pamięci podręcznej i inne sztuczki pamięci wykonywane przez komputer, algorytm będzie działał szybciej, jeśli dostęp do pamięci zostanie połączony , tj. Podczas odczytu pamięci w kolejności i nie skacz losowo. Dlatego większość implementacji SGD przetasowuje zestaw danych, a następnie ładuje przykłady do pamięci w kolejności, w której zostaną odczytane.

Główne parametry opisane powyżej SGD waniliowego (bez pędu) to:

Uczenie Oceń: $\epsilon$

Lubię myśleć o epsilon jako funkcji od liczby epok do szybkości uczenia się. Ta funkcja nazywa się harmonogramem uczenia się .

ϵ (t) : N. \to R

$\epsilon(t) : \mathbb{N} \rightarrow \mathbb{R}$

Jeśli chcesz ustawić stałą naukę, po prostu zdefiniuj epsilon jako funkcję stałą.

Wielkość partii

Rozmiar partii określa, ile przykładów obejrzysz przed wykonaniem aktualizacji wagi. Im jest niższy, tym głośniejszy będzie sygnał treningowy, im wyższy, tym dłużej potrwa obliczanie gradientu dla każdego kroku.

Cytaty i dalsze czytanie:

— Sabalaba
źródło

For simplicity we can assume that D is evenly divisible by B. Czy nie masz na myśli, że T powinien być równo podzielny przez B?

— Antoine

i aby odpowiedzieć na pytanie OP, możesz dodać

B is typically chosen between 1 and a few hundreds, e.g. B = 32 is a good default value, with values above 10 taking advantage of the speed-up of matrix-matrix products over matrix-vector products.

(z artykułu Bengio z 2012 r.)

— Antoine

@sabalaba Ładna odpowiedź. Ale czy nie jest tak, że w równaniu „Algorytm iteracyjny dla SGD z epokami M podano poniżej” zaktualizujemy wagę po przejechaniu każdej mini-partii. Innymi słowy, czy nie powinna być kolejna pętla (nad mini-partiami C) wewnątrz pętli nad epoką, tj. Gdy t <M

— Kaushik Acharya

W statystyce próbka składa się z wielu obserwacji. Tak więc wielkość próby jest poprawnie interpretowana przez statystyk. W informatyce (szczególnie w uczeniu maszynowym) próbka jest pojedynczą obserwacją, a partia to zbiór próbek. To może być trochę mylące. Próbką dla statystów jest partia dla naukowców zajmujących się danymi;) Źródło: en.wikipedia.org/wiki/Sample_size_determination

— Oleg Melnikov

n

$n$

m

$m$