Wejście i wyjście tablic numpy do h5py

Mam kod w Pythonie, którego wynikiem jest macierz o rozmiarze, którego wszystkie wpisy są tego typu float. Jeśli zapiszę go z rozszerzeniem .dat, rozmiar pliku będzie rzędu 500 MB. Czytałem, że użycie h5pyznacznie zmniejsza rozmiar pliku. Więc powiedzmy, że mam nazwaną tablicę numpy 2D A. Jak zapisać go w pliku h5py? Ponadto, jak odczytać ten sam plik i umieścić go jako tablicę numpy w innym kodzie, ponieważ muszę wykonywać operacje na tablicy?

h5py zapewnia model zbiorów danych i grup . Pierwsza to w zasadzie tablice, a druga to katalogi. Każdy jest nazwany. Powinieneś spojrzeć na dokumentację API i przykłady:

http://docs.h5py.org/en/latest/quick.html

Prosty przykład, w którym tworzysz wszystkie dane z góry i chcesz je po prostu zapisać w pliku hdf5, wyglądałby mniej więcej tak:

In [1]: import numpy as np
In [2]: import h5py
In [3]: a = np.random.random(size=(100,20))
In [4]: h5f = h5py.File('data.h5', 'w')
In [5]: h5f.create_dataset('dataset_1', data=a)
Out[5]: <HDF5 dataset "dataset_1": shape (100, 20), type "<f8">

In [6]: h5f.close()

Następnie możesz załadować te dane z powrotem za pomocą: '

In [10]: h5f = h5py.File('data.h5','r')
In [11]: b = h5f['dataset_1'][:]
In [12]: h5f.close()

In [13]: np.allclose(a,b)
Out[13]: True

Zdecydowanie sprawdź dokumenty:

http://docs.h5py.org

Zapis do pliku hdf5 zależy od h5py lub pytables (każdy ma inny interfejs API języka Python, który znajduje się na szczycie specyfikacji pliku hdf5). Należy również zapoznać się z innymi prostych formatów binarnych przez numpy natywnie, takie jak np.save, np.savezetc:

http://docs.scipy.org/doc/numpy/reference/routines.io.html

Czystszy sposób obsługi otwierania / zamykania plików i unikania wycieków pamięci:

Przygotowanie:

import numpy as np
import h5py

data_to_write = np.random.random(size=(100,20)) # or some such

Pisać:

with h5py.File('name-of-file.h5', 'w') as hf:
    hf.create_dataset("name-of-dataset",  data=data_to_write)

Czytać:

with h5py.File('name-of-file.h5', 'r') as hf:
    data = hf['name-of-dataset'][:]