Funkcja kosztu sieci neuronowej to i twierdzi się, że nie jest wypukła . Nie do końca rozumiem, dlaczego tak jest, ponieważ, jak widzę, jest dość podobny do funkcji kosztu regresji logistycznej, prawda?
Jeśli nie jest wypukła, to pochodna drugiego rzędu , prawda?
AKTUALIZACJA
Dzięki poniższym odpowiedziom, a także komentarzowi @ gung, zrozumiałem, że jeśli nie ma żadnych ukrytych warstw, jest wypukły, podobnie jak regresja logistyczna. Ale jeśli istnieją ukryte warstwy, przez permutację węzłów w ukrytych warstwach, a także wag w kolejnych połączeniach, możemy mieć wiele rozwiązań wag, które skutkują tą samą stratą.
Teraz więcej pytań,
1) Istnieje wiele lokalnych minimów, a niektóre z nich powinny mieć tę samą wartość, ponieważ odpowiadają niektórym kombinacjom węzłów i wag, prawda?
2) Jeśli węzły i ciężary nie zostaną w ogóle permutowane, to jest wypukłe, prawda? A minima będą minima globalne. Jeśli tak, odpowiedź na 1) brzmi: wszystkie lokalne minima będą miały tę samą wartość, prawda?