Dlaczego sieci neuronowe można łatwo oszukać?

13

Przeczytałem kilka artykułów na temat ręcznego tworzenia obrazów w celu „oszukania” sieci neuronowej (patrz poniżej).

Czy to dlatego, że sieci modelują tylko prawdopodobieństwo warunkowe ? Jeśli sieć może modelować wspólne prawdopodobieństwo , czy takie przypadki nadal występują? $p(y|x)$
$p(y,x)$

Domyślam się, że takie sztucznie generowane obrazy różnią się od danych treningowych, więc mają małe prawdopodobieństwo . Dlatego powinno być niskie, nawet jeśli może być wysokie dla takich obrazów. $p(x)$ $p(y,x)$ $p(y|x)$

Aktualizacja

Wypróbowałem kilka modeli generatywnych, okazało się, że to nie jest pomocne, więc myślę, że prawdopodobnie jest to konsekwencja MLE?

Mam na myśli, że w przypadku gdy rozbieżność KL jest używana jako funkcja straty, wartość gdzie jest mała, nie wpływa na stratę. Zatem dla skonstruowanego obrazu, który nie pasuje do , wartość może być dowolna. $p_{\theta}(x)$ $p_{data}(x)$ $p_{data}$ $p_{\theta}$

Aktualizacja

Znalazłem blog Andreja Karpathy, który pokazuje

Wyniki te nie są specyficzne dla obrazów, sieci ConvNets i nie stanowią też „wady” w głębokim uczeniu się.

WYJAŚNIANIE I PRZESYŁANIE PRZYKŁADÓW ADVERSARIALNYCH Głębokie sieci neuronowe można łatwo oszukać: przewidywania o wysokim poziomie pewności dla nierozpoznawalnych obrazów

machine-learning neural-networks deep-learning

— dontloo
źródło

Wydaje się, że pytanie brzmi raczej jak DNN niż NN?

— Matthew Gunn

@MatthewGunn Nie jestem pewien, zgodnie z odpowiedzią seanv507 wydaje się, że jest to bardziej ogólny problem.

— dontloo

@MattewGunn papier wyjaśniający i wykorzystujący przykłady przeciwników - pokazy dotyczą również regresji logistycznej

— seanv507

10

Modele, o których mówisz, nazywane są modelami „generatywnymi”, a nie dyskryminacyjnymi, i nie są tak naprawdę skalowane do danych o dużych wymiarach. Jednym z sukcesów NN w zadaniach językowych jest przejście od modelu generatywnego (HMM) do „bardziej” modelu dyskryminacyjnego (np. MEMM stosuje regresję logistyczną, która umożliwia efektywne wykorzystanie danych kontekstowych https://en.wikipedia.org/ wiki / Hidden_Markov_model # Extensions )

Twierdziłbym, że powodem, dla którego zostali oszukani, jest bardziej ogólny problem. Jest to obecna dominacja „płytkiej” sztucznej inteligencji opartej na ML nad bardziej wyrafinowanymi metodami. [w wielu artykułach wspomniano, że inne modele ML można łatwo oszukać - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow]

najskuteczniejszym „modelem językowym” dla wielu zadań jest „worek słów”. Nikt nie twierdziłby, że reprezentuje to sensowny model ludzkiego języka. nietrudno sobie wyobrazić, że tego rodzaju modele można łatwo oszukać.

podobnie zadania z zakresu widzenia komputerowego, takie jak rozpoznawanie obiektów, zostały zrewolucjonizowane przez „wizualny worek słów”, który zdmuchnął bardziej wymagające obliczeniowo metody (których nie można zastosować do ogromnych zbiorów danych).

CNN są, moim zdaniem, lepszym „wizualnym woreczkiem słów” - jak widać na zdjęciach, błędy popełniane są na poziomie pikseli / funkcji niskiego poziomu; pomimo całej hiperboli nie ma reprezentacji wysokiego poziomu w ukrytych warstwach - (wszyscy popełniają błędy, chodzi o to, że osoba popełniłaby „błędy” z powodu cech wyższego poziomu i rozpoznałaby np. kreskówkę kota, której nie popełniam ” wierzyć, że NN by).

Przykładem bardziej wyrafinowanego modelu widzenia komputerowego (który działa gorzej niż NN) jest np. Model „części odkształcalnych”.

— seanv507
źródło

4

O ile mi wiadomo, większość sieci neuronowych nie stosuje a priori rozkładu prawdopodobieństwa na obrazach wejściowych. Można jednak interpretować wybór zestawu treningowego jako taki rozkład prawdopodobieństwa. W tym widoku jest mało prawdopodobne, aby te sztucznie wygenerowane obrazy były wybierane jako obrazy w zestawie testowym. Jednym ze sposobów pomiaru „wspólnego prawdopodobieństwa” byłoby losowe generowanie obrazów, a następnie ich oznaczanie. Problem polegałby na tym, że ogromna większość VAST nie miałaby żadnej etykiety. Uzyskanie rozsądnej liczby oznaczonych przykładów zajęłoby zbyt dużo czasu.

— dimpol
źródło

dziękuję za odpowiedź :) Nie jestem do końca pewien, co to znaczy „Jednym ze sposobów zmierzenia„ wspólnego prawdopodobieństwa ”byłoby losowe wygenerowanie obrazów, a następnie ich oznaczenie.” oznacza to ręczne oznaczenie losowych obrazów (jako innej kategorii) )?

— dontloo,

1

Mam na myśli generowanie obrazów poprzez losowe wybieranie wartości RGB każdego piksela. Oznaczałoby to, że prawy górny obraz pandy w poście i lewy górny obraz pandy „gibon” miałyby równe prawdopodobieństwo wygenerowania. Problem polega na tym, że każdy piksel ma 2 ^ 24 możliwe kolory, a ogromna większość generowanych obrazów byłaby nonsensowna. Do czasu wygenerowania choćby jednego obrazu, który można by nazwać „pandą”, wszechświat zniknąłby.

— dimpol

och, rozumiem, to wydaje się dużo pracy do zrobienia, w każdym razie dziękuję.

— dontloo