Pytania otagowane jako split

8
Podziel plik tekstowy na linie ze stałą liczbą słów
Powiązane, ale nie zadowalające odpowiedzi: Jak mogę podzielić duży plik tekstowy na około 500 słów? Próbuję pobrać plik tekstowy ( http://mattmahoney.net/dc/text8.zip ) zawierający> 10 ^ 7 słów w jednym wierszu i podzielić go na wiersze z N słowami w każdym. Moje obecne podejście działa, ale jest dość powolne i brzydkie …
7
Czy dzielisz duże drzewo katalogów na fragmenty o określonym rozmiarze?
Mam drzewo katalogów, które chciałbym utworzyć na dyskach optycznych. Niestety przekracza rozmiar dowolnego dysku (około 60 GB). Szukam skryptu, który podzieliłby to drzewo na kawałki o odpowiedniej wielkości z twardymi linkami lub czymkolwiek innym (pozostawiając oryginał nietknięty). Mogę następnie wprowadzić te drzewa wielkości kęsa do procesu tworzenia kopii zapasowej (dodaj …
4
Tworzenie pojedynczego strumienia wyjściowego z trzech innych strumieni wytwarzanych równolegle
Mam trzy rodzaje danych, które są w różnych formatach; dla każdego typu danych istnieje skrypt w języku Python, który przekształca go w pojedynczy zunifikowany format. Ten skrypt w języku Python jest powolny i związany z procesorem (z jednym rdzeniem na komputerze wielordzeniowym), dlatego chcę uruchomić trzy jego wystąpienia - po …
1
Niepoprawne oszacowanie pliku nieskompresowanego?
Miałem duży skompresowany plik (~ 60G) ( tar.gz). Kiedyś splitrozbijałem go na 4 części, a potem catponownie łączyłem. Jednak teraz, gdy próbuję oszacować rozmiar nieskompresowanego pliku, okazuje się, że jest mniejszy niż oryginał? Jak to jest możliwe? $ gzip -l myfile.tar.gz compressed uncompressed ratio uncompressed_name 60680003101 3985780736 -1422.4% myfile.tar
4
Używanie GNU Parallel z Splitem
Ładuję dość gigantyczny plik do bazy danych postgresql. Aby to zrobić, najpierw używam splitw pliku, aby uzyskać mniejsze pliki (30 Gb każdy), a następnie ładuję każdy mniejszy plik do bazy danych za pomocą GNU Paralleli psql copy. Problem polega na tym, że dzielenie pliku zajmuje około 7 godzin, a następnie …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.