Mam zainstalowany Keras z zapleczem Tensorflow i CUDA. Chciałbym czasami na żądanie zmusić Keras do korzystania z procesora. Czy można to zrobić bez, powiedzmy, instalowania oddzielnego Tensorflow z samym procesorem w środowisku wirtualnym? Jeśli tak to jak? Gdyby backendem był Theano, flagi można by ustawić, ale nie słyszałem o flagach Tensorflow dostępnych przez Keras.
Odpowiedzi:
Jeśli chcesz zmusić Keras do używania procesora
import os
os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # see issue #152
os.environ["CUDA_VISIBLE_DEVICES"] = ""przed zaimportowaniem Keras / Tensorflow.
Uruchom skrypt jako
$ CUDA_VISIBLE_DEVICES="" ./your_keras_code.pyZobacz też
CUDA_DEVICE_ORDER=PCI_BUS_IDnumerze 152
import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # see issue #152 os.environ["CUDA_VISIBLE_DEVICES"] = "" , jak teraz mogę to „cofnąć”? Chciałbym, aby Keras ponownie użył GPU.
Dość oddzielnym sposobem na to jest użycie
import tensorflow as tf
from keras import backend as K
num_cores = 4
if GPU:
num_GPU = 1
num_CPU = 1
if CPU:
num_CPU = 1
num_GPU = 0
config = tf.ConfigProto(intra_op_parallelism_threads=num_cores,
inter_op_parallelism_threads=num_cores,
allow_soft_placement=True,
device_count = {'CPU' : num_CPU,
'GPU' : num_GPU}
)
session = tf.Session(config=config)
K.set_session(session)Tutaj, za pomocą booleans GPUi CPU, wskazujemy, czy chcielibyśmy uruchamiać nasz kod na GPU lub CPU, sztywno określając liczbę GPU i procesorów, do których sesja Tensorflow ma dostęp. Zmienne num_GPUi num_CPUdefiniują tę wartość. num_coresnastępnie ustawia liczbę rdzeni procesora dostępnych do użycia za pośrednictwem intra_op_parallelism_threadsi inter_op_parallelism_threads.
W intra_op_parallelism_threadsdyktuje zmienna liczba nici równolegle pracy w jednym węźle wykresu obliczeniowego jest dozwolony do zastosowania (wewnątrz). Podczas gdy inter_ops_parallelism_threadszmienna definiuje liczbę wątków dostępnych dla operacji równoległych w węzłach grafu obliczeniowego (inter).
allow_soft_placement umożliwia wykonywanie operacji na CPU, jeśli spełnione jest którekolwiek z poniższych kryteriów:
nie ma implementacji GPU dla tej operacji
nie są znane ani zarejestrowane żadne urządzenia GPU
istnieje potrzeba kolokacji z innymi wejściami z CPU
Wszystko to jest wykonywane w konstruktorze mojej klasy przed innymi operacjami i można je całkowicie oddzielić od dowolnego modelu lub innego kodu, którego używam.
Uwaga: wymaga to zainstalowania tensorflow-gpui cuda/ cudnndo zainstalowania, ponieważ istnieje opcja korzystania z GPU.
Odniesienia:
allow_soft_placement, intra_op_parallelism_threads,inter_op_parallelism_threads
inter/ intra_op_parallelism_threadsodnoszą się do operacji CPU lub GPU?
To zadziałało dla mnie (win10), umieść przed importem keras:
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'Po prostu zaimportuj tensortflow i użyj keras, to takie proste.
import tensorflow as tf
# your code here
with tf.device('/gpu:0'):
model.fit(X, y, epochs=20, batch_size=128, callbacks=callbacks_list)tf.device('/cpu:0'), nadal widziałem, jak pamięć jest przydzielana do Pythona później za pomocą nvidia-smi.
with?
Zgodnie z tutorialem keras , możesz po prostu użyć tego samego tf.devicezakresu, co w zwykłym tensorflow:
with tf.device('/gpu:0'):
x = tf.placeholder(tf.float32, shape=(None, 20, 64))
y = LSTM(32)(x) # all ops in the LSTM layer will live on GPU:0
with tf.device('/cpu:0'):
x = tf.placeholder(tf.float32, shape=(None, 20, 64))
y = LSTM(32)(x) # all ops in the LSTM layer will live on CPU:0withmoże być dowolnym kodem Keras.
Po prostu spędziłem trochę czasu, aby to rozgryźć. Odpowiedź Thomy nie jest pełna. Załóżmy, że Twój program jest taki test.py, że chcesz używać gpu0 do uruchamiania tego programu, a pozostałe procesory GPU będą wolne.
Powinieneś napisać CUDA_VISIBLE_DEVICES=0 python test.py
Zauważ, że tak DEVICESnie jestDEVICE
os.environ['CUDA_VISIBLE_DEVICES'] = '-1'jak w odpowiedzi poniżej