Błąd pamięci podczas używania większej liczby warstw w modelu CNN

Na moim laptopie Dell Core i7 - 16 GB RAM - 4GB 960m GPU pracuję nad projektem klasyfikacji obrazów CT płuc przy użyciu 3d CNN. Używam wersji procesora tensorflow. Obrazy są przygotowywane jako tablica liczb numpy (25,50,50).

Mój model CNN miał 2 warstwy konwekcyjne, dwie warstwy maxpool, jedną warstwę FC i warstwę wyjściową. Dzięki tej architekturze mogłem trenować model z około (5000 do 6000) próbek. Po dodaniu kolejnych warstw mój model ma teraz 6 warstw konwekcyjnych, 3 warstwy maksymalnej puli, FC i warstwę wyjściową. Mój problem polega na zmianie architektury z nieco więcej niż 1000 próbek, moja pamięć się zapełnia i pojawia się błąd pamięci. Próbowałem tworzyć mniejsze partie, ale za każdym razem otrzymywałem ten sam błąd. Mam dwa pytania:

Dlaczego poprzez dodanie większej liczby warstw model potrzebuje więcej pamięci?
Czy istnieje sposób na poradzenie sobie z tego rodzaju problemem?

python tensorflow cnn

— Hunar A.Ahmed
źródło

Prawdopodobnie dlatego, że masz wiele parametrów i domyślnie twój procesor graficzny jest używany do obliczeń i 4 gb może nie pasować.

— Aditya

Używam wersji procesora tensorflow, a nie GPU

— Hunar A.Ahmed

Odpowiedzi:

Więcej warstw oznacza więcej parametrów dla sieci, co z kolei oznacza więcej wymaganego miejsca w pamięci do przechowywania tych parametrów.
Jedynym rozwiązaniem (oprócz zwiększenia pamięci komputera) jest zmniejszenie rozmiaru sieci. Kilka wskazówek na ten temat: Po pierwsze, trójwymiarowe sieci CNN wymagają znacznie więcej miejsca niż dwuwymiarowe. Jednym z pomysłów może być przejście na 2D. Poza tym warstwy o największej liczbie parametrów są warstwami FC. Czasami są one zbędne. Proponuję najpierw zmniejszyć ich rozmiar.

— MzdR
źródło

Myślę, że 3d CNN daje lepszą dokładność niż 2d, do tego użyłem 3d CNN. liczba węzłów w mojej warstwie FC wynosi 1024, masz na myśli zmniejszenie tego? czy to nie wpływa na dokładność?

— Hunar A.Ahmed

Liczba neuronów (lub wyjść) w twojej warstwie FC wynosi

1024

$1024$ . Jeśli powiedzmy, że jego dane wejściowe są inne

2048

$2048$ , wówczas łączna liczba parametrów będzie wynosić

2048 \cdot 1024 + 1024

$2048 \cdot 1024 + 1024$ lub w przybliżeniu

2.1

$2.1$ milion parametrów. Jest to duża liczba parametrów dla pojedynczej warstwy. Innym przykładem może być architektura VGG19, która ma

140 m

$140m$ parametry,

100 m

$100m$ z których należą do jednej warstwy FC.

— MzdR

Dodając do tego argument MzdR, możesz również spróbować użyć generatorów. Ponieważ twój model tak naprawdę nie musi mieć wszystkich zdjęć w pamięci podczas treningu, myślę, że generator powinien dobrze służyć.

Sprawdź to pytanie z stackoverflow. Generatory są całkiem fajne, gdy jesteś na targu pamięci. Ale jeśli to również się nie powiedzie, spróbuj zmniejszyć rozmiar swoich warstw FC.

— Gavin
źródło

Myślę, że generator jest interesującym pomysłem w mojej sprawie i spróbuję go wypróbować, ale moim problemem jest to, że nie mam dobrych informacji o generatorach, ponieważ jestem nowy w Pythonie.

— Hunar A.Ahmed,

przejrzyj ten średni post na temat używania generatorów w keras. Pomoże ci to w

— zrobieniu

w keras jest o wiele łatwiej, ale mój kod jest napisany w surowym tensorflow i nie mogę go zmienić na keras.

— Hunar A.Ahmed

to pytanie z stackoverflow na pewno pomoże

— gavin