Pytania otagowane jako data-storage

9
Kompresowanie danych zmiennoprzecinkowych
Czy są jakieś narzędzia zaprojektowane specjalnie do kompresji danych naukowych zmiennoprzecinkowych? Jeśli funkcja jest płynna, istnieje oczywiście duża korelacja między liczbami reprezentującymi tę funkcję, więc dane powinny być dobrze kompresowane. Binarne dane zmiennoprzecinkowe zip / gzipping nie są jednak tak dobrze kompresowane. Zastanawiam się, czy istnieje metoda opracowana specjalnie do …
1
Alternatywy dla hdf5
Korzystam z HDF5 od lat, ale wraz ze wzrostem rozmiaru zbioru danych zaczynam doświadczać tych samych problemów wymienionych tutaj http://cyrille.rossant.net/moving-away-hdf5/ Czy możesz wskazać mi format taki jak HDF5 z - Dobra obsługa zapisu równoległego - Obsługa dostępu fragmentarycznego wielkich matryc Mój typowy przypadek użycia to macierz liczb całkowitych 100k x …
3
Najlepsza praktyka przechowywania hierarchicznych danych symulacyjnych
TL, DR Jaka jest sprawdzona najlepsza praktyka w naukowych kręgach obliczeniowych do przechowywania dużych ilości danych o strukturze hierarchicznej? Na przykład SQL nie działa dobrze z dużymi rzadkimi macierzami. Czy istnieje dobre narzędzie do strukturyzacji, magazynowania i analizy tego rodzaju danych? Czego używają faceci z LHC? Użyj szczegółów sprawy Chcę …
3
Czy pliki HDF5 nadają się do kontroli wersji git?
Nie znam formatu pliku używanego w HDF5, ale zastanawiam się, czy pliki HDF5 nadają się do kontroli wersji za pomocą git (lub na przykład Mercurial lub Subversion)? Wydaje mi się, że mam na myśli: czy pliki HDF5 nadają się do różnicowania na podstawie linii, czy też git będzie musiał traktować …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.