Jest mocą obliczeniową sieci neuronowych związaną z funkcją aktywacyjną

10

Udowodniono, że sieci neuronowe o racjonalnych wagach mają moc obliczeniową uniwersalnej maszyny Turinga. Obliczalność Turinga z sieciami neuronowymi . Z tego, co otrzymuję, wydaje się, że użycie ciężarów o wartościach rzeczywistych daje jeszcze więcej mocy obliczeniowej, chociaż nie jestem tego pewien.

Czy istnieje jednak korelacja między mocą obliczeniową sieci neuronowej a jej funkcją aktywacyjną? Na przykład, jeśli funkcja aktywacji porównuje dane wejściowe z limitem sekwencji Speckera (czego nie można zrobić za pomocą zwykłej maszyny Turinga, prawda?), Czy to czyni sieć neuronową obliczeniową „silniejszą”? Czy ktoś mógłby wskazać mi odniesienie w tym kierunku?

computability neural-networks

— K.Steff
źródło

Co rozumiesz przez moc obliczeniową?

— edA-qa mort-ora-y

@ edA-qamort-ora-y Wprowadziłem kilka zmian w celu wyjaśnienia pytania. Jeśli masz inne sugestie dotyczące edycji, chętnie je uwzględnię

— K.Steff,

12

Tylko uwaga:

$NN$
$NN$
$NN$

ale ...

$NN$

— Vor
źródło

5

Zamierzam wybrać łatwe rozwiązanie i powiedzieć „Tak”. Rozważ funkcję aktywacji, która akceptuje dowolne dane wejściowe i po prostu zwraca stałą wartość (to znaczy ignoruje dane wejściowe). Ta sieć zawsze daje stałą moc wyjściową, a zatem moc obliczeniowa (prawdopodobnie z dowolnej definicji) tej sieci wynosi zero. Nie jest w stanie niczego obliczyć.

To wystarczy, aby pokazać korelację między funkcją aktywacji a mocą sieci. Oczywiście nie pokazuje ani nie obala, że sieć mogłaby mieć większą moc niż uniwersalna maszyna Turinga.

— edA-qa mort-ora-y
źródło