Programowanie h5py

Wejście i wyjście tablic numpy do h5py

Mam kod w Pythonie, którego wynikiem jest macierz o rozmiarze, którego wszystkie wpisy są tego typu float. Jeśli zapiszę go z rozszerzeniem .dat, rozmiar pliku będzie rzędu 500 MB. Czytałem, że użycie h5pyznacznie zmniejsza rozmiar pliku. Więc powiedzmy, że mam nazwaną tablicę numpy 2D A. Jak zapisać go w pliku …

101 python arrays numpy h5py

Czy korzystanie z HDF5 do przechowywania dużych tablic (zamiast płaskich plików binarnych) ma przewagę nad szybkością analizy lub zużyciem pamięci?

Przetwarzam duże tablice 3D, które często muszę ciąć na różne sposoby, aby przeprowadzić różnorodną analizę danych. Typowa „kostka” może mieć ~ 100 GB (i prawdopodobnie będzie większa w przyszłości) Wydaje się, że typowym zalecanym formatem plików dla dużych zbiorów danych w Pythonie jest użycie HDF5 (albo h5py, albo pytables). Moje …

96 python numpy hdf5 pytables h5py

Pytania otagowane jako h5py