Nauka danych regularization

5

Dlaczego dodanie warstwy przerywającej poprawia wydajność uczenia głębokiego / uczenia maszynowego, skoro ta rezygnacja tłumi niektóre neurony z modelu?

Jeśli usunięcie niektórych neuronów skutkuje lepszym działaniem modelu, dlaczego nie zastosować prostszej sieci neuronowej z mniejszą liczbą warstw i mniejszą liczbą neuronów? Po co budować większy, bardziej skomplikowany model na początku, a później go pomijać?

13 machine-learning deep-learning keras regularization dropout

2

Dlaczego warto stosować regularyzację L1 w stosunku do L2?

Prowadząc model regresji liniowej za pomocą funkcji straty, dlaczego powinienem używać zamiast regularyzacji ?L.1L.1L_1L.2)L.2)L_2 Czy lepiej jest zapobiegać przeuczeniu? Czy jest deterministyczny (więc zawsze jest unikalnym rozwiązaniem)? Czy jest lepszy w wyborze funkcji (ponieważ produkuje rzadkie modele)? Czy rozkłada wagi między funkcjami?

10 linear-regression regularization

3

Wybór metody regularyzacji w sieciach neuronowych

Podczas szkolenia sieci neuronowych istnieją co najmniej 4 sposoby uregulowania sieci: Normalizacja L1 L2 Regulararyzacja Spadkowicz Normalizacja partii plus oczywiście inne rzeczy, takie jak dzielenie ciężaru i zmniejszanie liczby połączeń, co może nie być regularyzacją w ścisłym tego słowa znaczeniu. Ale jak wybrać jedną z tych metod regularyzacji? Czy istnieje …

9 neural-network regularization

2

Czy istnieją badania, które badają przerwanie leczenia w porównaniu z innymi regularyzacjami?

Czy opublikowano jakieś prace, które pokazują różnice w metodach regularyzacji sieci neuronowych, najlepiej w różnych domenach (lub przynajmniej w różnych zestawach danych)? Pytam, ponieważ obecnie mam wrażenie, że większość ludzi wydaje się używać tylko porzucenia w celu uregulowania widzenia komputerowego. Chciałbym sprawdzić, czy istnieje powód (nie) zastosowania różnych sposobów regularyzacji.

9 neural-network computer-vision convnet regularization dropout

Pytania otagowane jako regularization