Jak sklasyfikować dane o kształcie spirali?

I zostały aprowizacji w tensorflow zabaw . Jednym z zestawów danych wejściowych jest spirala. Bez względu na wybrane parametry wejściowe, bez względu na to, jak szeroką i głęboką wykonuję sieć neuronową, nie mogę dopasować się do spirali. Jak badacze danych dopasowują dane o tym kształcie?

Istnieje wiele podejść do tego rodzaju problemu. Najbardziej oczywistym jest tworzenie nowych funkcji . Najlepsze funkcje, jakie mogę wymyślić, to przekształcenie współrzędnych na współrzędne sferyczne .

Nie znalazłem sposobu na zrobienie tego na placu zabaw, więc właśnie stworzyłem kilka funkcji, które powinny w tym pomóc (funkcje grzechu). Po 500 iteracjach będzie się nasycać i będzie się wahać z wynikiem 0,1. Sugeruje to, że nie będzie żadnych dalszych ulepszeń i najprawdopodobniej powinienem poszerzyć ukrytą warstwę lub dodać kolejną.

Nic dziwnego, że po dodaniu tylko jednego neuronu do ukrytej warstwy łatwo dostajesz 0,013 po 300 iteracjach. Podobnie dzieje się po dodaniu nowej warstwy (0,017, ale po znacznie dłuższych 500 iteracjach. Również nie jest zaskoczeniem, ponieważ trudniej jest propagować błędy). Najprawdopodobniej możesz grać z szybkością uczenia się lub uczeniem się adaptacyjnym, aby przyspieszyć, ale nie o to tutaj chodzi.

Idealnie sieci neuronowe powinny być w stanie samodzielnie znaleźć tę funkcję, bez zapewniania przez nas cech sferycznych. Po kilku eksperymentach udało mi się osiągnąć konfigurację, w której nie potrzebujemy niczego oprócz$X_1$ i $X_2$. Ta sieć zbiegła się po około 1500 epokach, co jest dość długie. Więc najlepszym sposobem może być dodanie dodatkowych funkcji, ale staram się tylko powiedzieć, że nadal można się bez nich połączyć.

Oszukiwanie ... thetajest$\arctan(y,x)$, $r$ jest $\sqrt{(x^2 + y^2)}$.

W teorii, $x^2$ i $y^2$ powinny działać, ale w praktyce jakoś zawiodły, chociaż czasami to działa.

To jest przykład waniliowego placu zabaw Tensorflow bez żadnych dodatkowych funkcji i modyfikacji. W zależności od modelu czas trwania Spirali wynosił od 187 do ~ 300 Epoki. Użyłem Lasso Regularization L1, aby wyeliminować współczynniki. Zmniejszyłem rozmiar partii o 1, aby uniknąć nadmiernego dopasowania produkcji. W drugim przykładzie dodałem trochę szumów do zestawu danych, a następnie podniosłem L1, aby to zrekompensować.

Rozwiązanie Sięgnąłem po godzinie próby zazwyczaj zbiega się w odległości zaledwie 100 epok .

Tak, wiem, że nie ma tam najbardziej płynnej granicy decyzyjnej, ale zbiega się dość szybko.

Nauczyłem się kilku rzeczy z tego spiralnego eksperymentu:

• Warstwa wyjściowa powinna być większa lub równa warstwie wejściowej . Przynajmniej tak zauważyłem w przypadku tego problemu spirali.
• Utrzymuj wysoki współczynnik początkowego uczenia się , na przykład 0,1 w tym przypadku, a następnie, gdy zbliżasz się do niskiego błędu testu, na przykład 3-5% lub mniej, zmniejsz tempo uczenia się o jeden stopień (0,03) lub dwa. Pomaga to w szybszym zbliżaniu się i pozwala uniknąć przeskakiwania globalnych minimów.
• Możesz zobaczyć efekty utrzymania wysokiego poziomu uczenia się, sprawdzając wykres błędów w prawym górnym rogu.
• W przypadku mniejszych partii, takich jak 1, 0,1 jest zbyt wysokim wskaźnikiem uczenia się, ponieważ model nie zbiega się podczas przeskakiwania wokół globalnych minimów.
• Tak więc, jeśli chcesz utrzymać wysoką szybkość uczenia się (0,1), utrzymuj również wysoki rozmiar partii (10). Zwykle zapewnia to powolną, ale płynniejszą konwergencję.

Przypadkowo rozwiązanie, które wymyśliłem, jest bardzo podobne do rozwiązania dostarczonego przez Salvadora Dali .

Dodaj komentarz, jeśli znajdziesz więcej intuicji lub uzasadnień.