Tło: Dopasowując sieci neuronowe z aktywacją relu, stwierdziłem, że czasami prognoza staje się prawie stała. Uważam, że jest to spowodowane umieraniem neuronów relu podczas treningu, jak stwierdzono tutaj. (Na czym polega problem „umierania ReLU” w sieciach neuronowych? )
Pytanie: Mam nadzieję zaimplementować kontrolę w samym kodzie, aby sprawdzić, czy neurony nie żyją. Następnie kod może w razie potrzeby odnowić sieć.
Jako takie, co jest dobrym kryterium do sprawdzania martwych neuronów? Obecnie myślę o sprawdzeniu niskiej wariancji w prognozie jako kryterium.
Jeśli to pomoże, używam keras.