Czy korzystne jest reprezentowanie sieci neuronowej jako matrycy?

Sieć neuronowa to ukierunkowany wykres ważony. Mogą być reprezentowane przez (rzadką) macierz. Może to ujawnić niektóre eleganckie właściwości sieci.

Czy ta technika jest korzystna do badania sieci neuronowych?

W przypadku dużych ANN stosuje się w praktyce coś równoważnego „rzadkiemu formatowi macierzy”.

W przeciwieństwie do tego, co powiedziano w innej odpowiedzi, rozważenie ANN jako wykresu nie kupuje zbyt wiele z dwóch powodów:

1. Algorytm wstecznej propagacji może być użytecznie zdefiniowany w kategoriach operacji macierzowych. Ta strona zawiera czytelny i wyczerpujący opis.

2. Wszystkie macierze o wartościach rzeczywistych mogą być reprezentowane w postaci wykresów, ale wyraźnie nie jest inaczej. Tak więc chociaż prawdą jest, że ANN można uznać za specjalny przypadek struktury danych wykresu, to uczynienie tej specjalizacji wyraźną w formie macierzowej jest bardziej wydajne.

To zależy od rodzaju sieci neuronowych, z którymi masz do czynienia.

W przypadku średnich sieci neuronowych podejście macierzowe jest bardzo dobrym sposobem wykonywania szybkich obliczeń, a nawet wstecznej propozycji błędów. Można nawet wykorzystać rzadkie matryce do zrozumienia rzadkiej architektury niektórych sieci neuronowych.

Jednak w przypadku bardzo dużych sieci neuronowych stosowanie obliczeń macierzowych byłoby bardzo intensywne obliczeniowo. W związku z tym stosowane są odpowiednie metody, takie jak sklepy oparte na grafach itp., W zależności od celu i architektury.

Reprezentacja macierzy jest korzystna przy wdrażaniu sieci neuronowych w krzemie.

Ale do empirycznego badania sieci neuronowych czasem warto wizualizować wartości masy synaps jako obrazy lub filmy: eksploracja sieci neuronowej splotu przez Jasona Josińskiego . Wydaje się, że sieć ma „filtr”, który po prostu wykrywa ramiona. Trochę jak zamek, który otwiera się tylko wtedy, gdy rozpozna wzór ramion.