Różnica między siecią Bayesa, siecią neuronową, drzewem decyzyjnym i sieciami Petriego

Jaka jest różnica pomiędzy sieci neuronowych , sieci Bayesa , drzewa decyzyjnego i sieci Petriego , chociaż one są wszystkie modele graficzne i wizualnie przedstawiają przyczynowo-skutkowy.

Wow, co za wielkie pytanie! Krótka wersja odpowiedzi jest taka, że ​​tylko dlatego, że możesz reprezentować dwa modele za pomocą diagramowo podobnych reprezentacji wizualnych, nie oznacza to, że są one nawet zdalnie powiązane strukturalnie, funkcjonalnie lub filozoficznie. Nie znam FCM ani NF, ale mogę trochę porozmawiać z innymi.

Sieć Bayesowska

W sieci bayesowskiej wykres przedstawia zależności warunkowe różnych zmiennych w modelu. Każdy węzeł reprezentuje zmienną, a każda skierowana krawędź reprezentuje zależność warunkową. Zasadniczo model graficzny jest wizualizacją reguły łańcucha.

Sieć neuronowa

W sieci neuronowej każdy węzeł jest symulowanym „neuronem”. Neuron jest zasadniczo włączony lub wyłączony, a jego aktywacja jest określona przez liniową kombinację wartości każdego wyjścia w poprzedniej „warstwie” sieci.

Drzewo decyzyjne

Powiedzmy, że do klasyfikacji używamy drzewa decyzyjnego. Drzewo zasadniczo zapewnia nam schemat blokowy opisujący, jak powinniśmy sklasyfikować obserwację. Zaczynamy od korzenia drzewa, a liść, na którym kończymy, określa klasyfikację, którą przewidujemy.

Jak widać, te trzy modele w zasadzie nie mają ze sobą nic wspólnego, poza tym, że są reprezentowalne za pomocą pól i strzałek.

Łatwo jest wykazać (patrz kurs Daphne Koller ), że regresja logistyczna jest ograniczoną wersją warunkowych pól losowych, które są niekierowanymi modelami graficznymi, podczas gdy sieci Bayesian są modelami graficznymi ukierunkowanymi. Następnie regresję logistyczną można również postrzegać jako perceptron jednowarstwowy. To jedyne ogniwo (które jest bardzo luźne), które moim zdaniem można wyciągnąć między sieciami Bayesian i sieciami neuronowymi.

Nie znalazłem jeszcze związku między innymi koncepcjami, o które pytałeś.

Doskonała odpowiedź @David Marx. Zastanawiam się, jaka jest różnica między drzewem klasyfikacji / regresji a siecią bayesowską. Jedna opiera się na entropii, aby sklasyfikować wynik do klas opartych na różnych predyktorach, a druga buduje sieć graficzną przy użyciu warunkowej niezależności i oszacowań parametrów probabilistycznych.

Wydaje mi się, że metodologia budowy sieci bayesowskiej jest inna w porównaniu do drzewa regresji / decyzji. Algorytm uczenia strukturalnego, cele korzystania z modeli, a także zdolność wnioskowania modeli są różne.

Podejście oparte na wynikach i podejście ograniczone może być zrozumiane z pewnymi podobieństwami narysowanymi z kryteriami zdobywania informacji w rodzinach drzew decyzyjnych.

Najpierw próbujemy określić charakter problemu, który próbował rozwiązać za pomocą tych metod. Jeśli problem jest prosty, wielomianowy lub NP Complete, mamy gotową wtyczkę algorytmów, które mogłyby dostarczyć deterministycznej odpowiedzi, poprzez prostą rekombinację aksjomatów według logicznych reguł. Jeśli jednak tak nie jest, musielibyśmy polegać na metodzie rozumowania, w której próbujemy potraktować problem jako heterogeniczny i podłączyć go do sieci, przy czym węzły są ocenami, a krawędzie są ścieżkami między elementami .

W żadnym rodzaju wnioskowania opartego na sieci nie rozumujemy dedukcyjnie, stosując abstrakcyjne uogólnienia i kombinacje, zgodnie z logicznymi regułami w przepływie liniowym, ale raczej pracujemy nad problemem opartym na propagacji rozumowania w różnych kierunkach, tak abyśmy rozwiązali problem po jednym węźle naraz, otwarty na ulepszenia w odkrywaniu nowych faktów dotyczących dowolnego węzła w przyszłości. Zobaczmy teraz, jak każda z tych technik podchodzi do tej metody rozwiązywania problemów na swój własny sposób.

Sieć neuronowa: Sieć neuronowa to czarna skrzynka, w której uważa się (nigdy nie można jej zweryfikować z zewnątrz systemu), że połączenia między węzłami prostetonowymi są tworzone i podkreślane przez wielokrotne zewnętrzne wzmocnienia. Podchodzi do problemu w paradygmacie Connectionsitic . Problem prawdopodobnie został rozwiązany, ale niewiele można wyjaśnić. Sieć neuronowa jest obecnie szeroko stosowana ze względu na jej zdolność do uzyskiwania szybkich rezultatów, jeśli pominięty zostanie problem wyjaśnialności.

Sieć Bayesowska: Sieć Bayesowska jest ukierunkowanym wykresem acyklicznym, który bardziej przypomina schemat blokowy, tyle że schemat blokowy może zawierać pętle cykliczne. Sieć bayesowska w przeciwieństwie do schematu blokowego może mieć wiele punktów początkowych. Zasadniczo śledzi propagację zdarzeń w wielu niejednoznacznych punktach, w których wydarzenie rozróżnia się probabilistycznie między ścieżkami. Oczywiście w dowolnym punkcie sieci prawdopodobieństwo odwiedzania tego węzła zależy od łącznego prawdopodobieństwa poprzednich węzłów. Sieć bayesowska różni się od sieci neuronowej tym, że jest jawnym rozumowaniem, nawet pomimo tego, że probabilistyczny, a zatem może mieć wiele stanów stabilnych w oparciu o każdy krok przeglądany i modyfikowany w ramach legalnych wartości, podobnie jak algorytm. Jest to solidny sposób uzasadnienia probabilistycznego, ale wymaga kodowania prawdopodobieństw,

Drzewa decyzyjne: Drzewo decyzyjne jest znowu siecią, która bardziej przypomina schemat blokowy, który jest bliższy sieci bayesowskiej niż sieci neuronowej. Każdy węzeł ma więcej inteligencji niż sieć neuronowa, a rozgałęzienia można określić na podstawie ocen matematycznych lub probabilistycznych. Decyzje są prostymi ocenami opartymi na rozkładach częstotliwości prawdopodobnych zdarzeń, przy czym decyzja jest probabilistyczna. Jednak w sieciach bayesowskich decyzja opiera się na dystrybucji „dowodów” wskazujących na zdarzenie, a nie na bezpośredniej obserwacji samego zdarzenia.

Przykład Na przykład, jeśli mamy przewidzieć ruch jedzącego człowieka tygrysa w niektórych wioskach w Himalajach, który akurat znajduje się na skraju rezerwatu tygrysów, moglibyśmy modelować go w następujący sposób:

W drzewie decyzyjnym opieralibyśmy się na szacunkach ekspertów, czy tygrys dałby wybór między polami otwartymi, a rzekami na tym drugim. W sieci bayesowskiej śledzimy tygrysa po znakach mopsów, ale rozumujemy w sposób, który uznaje, że te znaki mopsów mogły być znakami innych podobnych tygrysów rutynowo patrolujących jego terytorium. Jeśli mamy korzystać z sieci neuronowej, musielibyśmy wielokrotnie trenować model, stosując różne osobliwe zachowania tygrysa w ogóle, takie jak jego preferencja do pływania, preferencja obszarów zadaszonych nad otwartymi obszarami, unikanie ludzkich siedlisk w celu pozwól sieci generalnie uzasadnić przebieg tygrysa.

Jeśli chodzi o modele graficzne, Petri Net formalizuje zachowanie systemu; tym, że znacznie różni się od pozostałych wspomnianych modeli, z których wszystkie dotyczą sposobu formułowania wyroku.

Warto zauważyć, że większość cytowanych nazw oznacza dość rozbudowane koncepcje sztucznej inteligencji, które często łączą się: na przykład możesz użyć sieci neuronowej do zbudowania drzewa decyzyjnego, podczas gdy sama sieć neuronowa, jak omówiono wcześniej, może zależeć od bayesowskiego wnioskowanie.

To dobre pytanie i zadawałem sobie to samo. Istnieją więcej niż dwa rodzaje sieci neuronowych i wydaje się, że poprzednia odpowiedź dotyczyła typu konkurencyjnego, podczas gdy sieć bayesowska wydaje się mieć podobieństwa do typu sprzężenia zwrotnego, propagacji wstecznej (FFBP), a nie typu konkurencyjnego. Powiedziałbym, że sieć bayesowska jest uogólnieniem FFBP. FFBP jest więc rodzajem sieci bayesowskiej i działa w podobny sposób.