Jakie są zalety korzystania z bayesowskiej sieci neuronowej

12

Ostatnio przeczytałem kilka artykułów na temat bayesowskiej sieci neuronowej (BNN) [Neal, 1992] , [Neal, 2012] , która podaje zależność prawdopodobieństwa między wejściem a wyjściem w sieci neuronowej. Trenowanie takiej sieci neuronowej odbywa się za pośrednictwem MCMC, która różni się od tradycyjnego algorytmu propagacji wstecznej.

Moje pytanie brzmi: Jaka jest zaleta korzystania z takiej sieci neuronowej? Mówiąc dokładniej, czy możesz podać kilka przykładów, które lepiej pasują do BNN zamiast NN?

bayesian neural-networks bayesian-network

— fishiwhj
źródło

9

Bayesowskie sieci neuronowe są przydatne do rozwiązywania problemów w domenach, w których danych jest mało, jako sposób na zapobieganie przeuczeniu. W takich sytuacjach często pokonują wszystkie inne metody. Przykładami zastosowań są biologia molekularna ( na przykład niniejszy artykuł ) i diagnoza medyczna (obszary, w których dane często pochodzą z kosztownej i trudnej pracy emerytalnej). W rzeczywistości sieci bayesowskie są niezwykle przydatne i mogą uzyskiwać lepsze wyniki dla wielu zadań, ale niezwykle trudno jest skalować je do dużych problemów.

— Denis Tarasow
źródło

2

Czy możesz wyjaśnić, dlaczego sieci bayesowskie są trudne do skalowania?

— Ellis Valentiner,

6

Jedną z zalet BNN w porównaniu z NN jest to, że możesz automatycznie obliczyć błąd związany z Twoimi przewidywaniami, mając do czynienia z danymi nieznanych celów. Dzięki BNN dokonujemy teraz wnioskowania bayesowskiego. Zdefiniujmy naszą prognozę BNN jako , gdzie jest funkcją NN, to twoje dane wejściowe , są parametrami NN, a x, t są wejściowymi i docelowymi wartościami treningowymi. Powinno to być zgodne ze składnią używaną przez Neala w linkach dostarczonych przez @forecaster. Następnie możemy obliczyć standardowe odchylenie tylnego rozkładu predykcyjnego, którego naiwnie użyłbym jako dokładności prognozy: $\bar{f}(x′|x,t)=∫f(x′,ω)p(ω|x,t)dω$ $f$ $x'$ $ω$ $\sigma(x′)=\sqrt{∫[f(x′,ω)−\bar{f}(x′|x,t)]^2p(ω|x,t)dω}$

— Michelle K.
źródło

1

To interesujący dodatek do rozmowy, ale według naszych standardów jest nieco krótki. Czy mógłbyś trochę rozwinąć i ewentualnie zamieścić odniesienie?

— Sycorax mówi Przywróć Monikę

Pewnie. Dzięki BNN dokonujemy teraz wnioskowania bayesowskiego. Zdefiniujmy naszą prognozę BNN jako , gdzie f jest NN funkcja, x 'to twoje dane wejściowe, to parametry NN, a to dane wejściowe i cele treningowe. Powinno to być zgodne ze składnią używaną przez Neala w linkach dostarczonych przez @forecaster. Następnie możemy obliczyć standardowe odchylenie tylnego rozkładu predykcyjnego, którego naiwnie użyłbym jako dokładności prognozy:

\bar{f} (x^{'} | x, t) = \int f (x^{'}, ω) p (ω | x, t) d ω

$\bar{f}(x'|x,t) = \int{f(x',\omega)p(\omega|x,t) d\omega}$

ω

$\omega$

x, t

$x,t$

σ (x^{'}) = \sqrt{(} \int [f (x^{'}, ω) - \bar{f} (x^{'} | x, t)]^{2} p (ω | x, t) d ω)

$\sigma(x') = \sqrt(\int{[f(x',\omega)-\bar{f}(x'|x,t)]^2p(\omega|x,t) d\omega})$

— Michelle K

Edytuj to w swojej odpowiedzi.

— Sycorax mówi Przywróć Monikę