Czy sieci neuronowe mają wyjaśnienie, podobnie jak drzewa decyzyjne?

W drzewach decyzyjnych możemy zrozumieć wynik struktury drzewiastej, a także możemy wizualizować, w jaki sposób drzewo decyzyjne podejmuje decyzje. Drzewa decyzyjne mają więc wyjaśnienie (ich wyniki można łatwo wyjaśnić).

Czy mamy wyjaśnienia w sieciach neuronowych, podobnie jak w drzewach decyzyjnych?

Nie zgadzam się z poprzednią odpowiedzią i twoją sugestią z dwóch powodów:

1) Drzewa decyzyjne opierają się na prostych decyzjach logicznych, które łącznie mogą podejmować bardziej złożone decyzje. ALE jeśli twoje dane wejściowe mają 1000 wymiarów, a wyuczone funkcje są wysoce nieliniowe, otrzymasz naprawdę duże i ciężkie drzewo decyzyjne, którego nie będziesz w stanie odczytać / zrozumieć tylko na podstawie węzłów.

2) Sieci neuronowe są podobne do tych w tym sensie, że funkcja, której się uczą, jest zrozumiała tylko wtedy, gdy są bardzo małe. Kiedy stajesz się duży, potrzebujesz innych sztuczek, aby je zrozumieć. Jak sugerował @SmallChess, możesz przeczytać ten artykuł zatytułowany Wizualizowanie i zrozumienie sieci splotowych, w którym wyjaśniono szczególny przypadek splotowych sieci neuronowych, w jaki sposób możesz odczytać wagi, aby zrozumieć rzeczy takie jak „wykrył samochód na tym zdjęciu, głównie z powodu koła, a nie pozostałe elementy ”.

Te wizualizacje pomogły wielu naukowcom faktycznie zrozumieć słabości ich architektur neuronowych i pomogły ulepszyć algorytmy szkoleniowe.

Nie. Sieć neuronowa jest ogólnie trudna do zrozumienia. Wymieniasz moc predykcyjną na złożoność modelu. Chociaż możliwe jest graficzne zobrazowanie wag NN, nie mówią one dokładnie, jak podejmowana jest decyzja. Powodzenia w próbach zrozumienia głębokiej sieci.

Istnieje popularny pakiet Python (i ma papier), który może modelować lokalnie NN za pomocą prostszego modelu. Możesz rzucić okiem.

https://github.com/marcotcr/lime

https://arxiv.org/abs/1704.02685 zapewniają lokalne narzędzie wyjaśniania specyficzne dla NN: deep lift. Działa poprzez propagowanie różnicy w aktywacji między instancją, którą chcesz wyjaśnić, a instancją referencyjną. Uzyskanie referencji jest nieco trudne, ale narzędzie wydaje się ogólnie interpretowalne i skalowalne. Używamy go w danych tabelarycznych.