Tworzę splotową sieć neuronową (CNN), w której mam warstwę splotową, a następnie warstwę puli i chcę zastosować rezygnację, aby zmniejszyć nadmierne dopasowanie. Mam wrażenie, że warstwa porzucająca powinna zostać nałożona po warstwie pulowania, ale tak naprawdę nie mam nic na poparcie tego. Gdzie jest właściwe miejsce na dodanie warstwy rezygnacji? …
Jaka jest różnica między rezygnacją a połączeniem przez połączenie? AFAIK, dropout losowo zrzuca ukryte węzły podczas treningu, ale utrzymuje je w testach, a drop connect zrzuca połączenia. Ale czy zrywanie połączeń nie jest równoważne z usuwaniem ukrytych węzłów? Czy węzły (lub połączenia) nie są tylko zestawem wag?
Niedawno pracowałem nad uczeniem się algorytmów wzmacniających, takich jak adaboost, zwiększanie gradientu i wiedziałem, że najczęściej używanym słabym uczniem są drzewa. Naprawdę chcę wiedzieć, czy istnieją pewne udane przykłady (mam na myśli kilka artykułów lub artykułów) wykorzystania sieci neuronowych jako podstawowego ucznia.
Odnosi się to do artykułu Efektywna lokalizacja obiektu za pomocą sieci konwergentnych i z tego, co rozumiem, rezygnacja jest realizowana w 2D. Po odczytaniu kodu z Keras o tym, jak zaimplementowano Upadek przestrzenny 2D, w zasadzie implementowana jest losowa binarna maska kształtu [batch_size, 1, 1, num_channels]. Co jednak dokładnie robi …
Używamy plików cookie i innych technologii śledzenia w celu poprawy komfortu przeglądania naszej witryny, aby wyświetlać spersonalizowane treści i ukierunkowane reklamy, analizować ruch w naszej witrynie, i zrozumieć, skąd pochodzą nasi goście.
Kontynuując, wyrażasz zgodę na korzystanie z plików cookie i innych technologii śledzenia oraz potwierdzasz, że masz co najmniej 16 lat lub zgodę rodzica lub opiekuna.