W przypadku modeli statystycznych i uczenia maszynowego istnieje wiele poziomów interpretacji: 1) algorytm jako całość, 2) części algorytmu ogólnie 3) części algorytmu na poszczególnych wejściach, a te trzy poziomy są podzielone na dwie części, jeden do treningu, a drugi do oceny funkcji. Ostatnie dwie części są znacznie bliższe niż pierwsze. Pytam o # 2, co zwykle prowadzi do lepszego zrozumienia # 3). (jeśli nie są to „interpretowalność”, to o czym powinienem myśleć?)
Jeśli chodzi o interpretowalność, regresja logistyczna jest jedną z najłatwiejszych do interpretacji. Dlaczego ta instancja przekroczyła próg? Ponieważ to wystąpienie miało tę szczególną pozytywną cechę i ma większy współczynnik w modelu. To jest takie oczywiste!
Sieć neuronowa jest klasycznym przykładem modelu trudnego do interpretacji. Co oznaczają wszystkie te współczynniki ? Wszystkie składają się na tak skomplikowane szalone sposoby, że trudno jest powiedzieć, co naprawdę robi dany współczynnik.
Ale kiedy wychodzą wszystkie głębokie sieci neuronowe, wydaje się, że wszystko staje się wyraźniejsze. Modele DL (powiedzmy widzenie) wydają się przechwytywać takie elementy, jak krawędzie lub orientacja na wczesnych warstwach, a na późniejszych warstwach wydaje się, że niektóre węzły są w rzeczywistości semantyczne (jak przysłowiowa „komórka babci” ). Na przykład:
( z „Learning About Deep Learning” )
To grafika ( wielu z nich ) stworzona ręcznie do prezentacji, więc jestem bardzo sceptyczna. Ale to dowód na to, że ktoś tak myśli.
Może w przeszłości nie było wystarczającej liczby warstw, aby znaleźć rozpoznawalne cechy; modele były udane, po prostu niełatwe do analizy post-hoc poszczególne.
Ale może grafika to tylko pobożne życzenie. Może NN są naprawdę nieprzeniknione.
Ale wiele grafik z ich węzłami oznaczonymi obrazami również jest naprawdę przekonujących.
Czy węzły DL naprawdę odpowiadają funkcjom?