Usiłuję stworzyć matematyczne połączenie między siecią neuronową a modelem graficznym.
W modelach graficznych pomysł jest prosty: rozkład prawdopodobieństwa jest rozkładany na czynniki według klików na wykresie, przy czym potencjały zwykle należą do rodziny wykładniczej.
Czy istnieje równoważne uzasadnienie dla sieci neuronowej? Czy można wyrazić rozkład prawdopodobieństwa dla jednostek (zmiennych) w ograniczonej maszynie Boltzmanna lub CNN jako funkcję ich energii lub iloczynu energii między jednostkami?
Ponadto, czy rozkład prawdopodobieństwa jest modelowany przez RBM lub sieć głębokich przekonań (np. Z CNN) rodziny wykładniczej?
Mam nadzieję znaleźć tekst, który formalizuje połączenie między tymi nowoczesnymi typami sieci neuronowych i statystykami w taki sam sposób, jak Jordan i Wainwright dla modeli graficznych z ich modelami graficznymi, rodzinami wykładniczymi i wnioskami wariacyjnymi . Wszelkie wskazówki byłyby świetne.
"using deep nets as factors in an MRF"
), ale więcej o tym, jak spojrzeć na głęboką sieć jako wykres czynników probabilistycznych. Kiedy mówi Yann LeCun "of course deep Boltzmann Machines are a form of probabilistic factor graph themselves"
, jestem zainteresowany matematycznym widzeniem tego związku.
https://distill.pub/2017/feature-visualization/
( Jak sieci neuronowe budują swoje rozumienie obrazów ), w tym, że złożony obraz ma obiekty składowe reprezentowane przez ukryte węzły warstw. Wagi mogą „zmieniać” „topologię” w sposób niedyskretny. Chociaż tego nie widziałem, niektóre metody mogą obejmować czynniki kurczenia w celu usunięcia krawędzi, a tym samym zmiany oryginalnej topologii