Pytania otagowane jako large-files

6
cat linia X do linii Y na ogromnym pliku
Powiedzmy, że mam ogromny plik tekstowy (> 2 GB) i chcę tylko catwiersze Xdo Y(np. 57890000 do 57890010). Z tego, co rozumiem, mogę to zrobić przez pipingowanie headdo taillub odwrotnie, tj head -A /path/to/file | tail -B lub alternatywnie tail -C /path/to/file | head -D gdzie A, B, Ci Dmogą …
132 tail  cat  large-files  head 
14
Zamień ciąg w dużym (70 GB), jednym wierszu pliku tekstowym
Mam ogromny (70 GB), jeden wiersz , plik tekstowy i chcę w nim zastąpić ciąg (token). Chcę zastąpić token <unk>innym tokenem zastępczym ( problem z rękawiczkami ). Próbowałem sed: sed 's/<unk>/<raw_unk>/g' < corpus.txt > corpus.txt.new ale plik wyjściowy corpus.txt.newma zero bajtów! Próbowałem także użyć perla: perl -pe 's/<unk>/<raw_unk>/g' < corpus.txt …
9
Jak usunąć zduplikowane linie w pliku tekstowym?
Mój ogromny plik tekstowy (do 2 GiB) zawiera około 100 dokładnych duplikatów każdego wiersza w nim (w moim przypadku jest to bezużyteczne, ponieważ jest to tabela danych podobna do CSV). To, czego potrzebuję, to usunięcie wszystkich powtórzeń, podczas gdy (najlepiej, ale można to poświęcić w celu znacznego zwiększenia wydajności) przy …
11
Czy istnieje sposób na zmodyfikowanie pliku w miejscu?
Mam dość duży plik (35 GB) i chciałbym filtrować ten plik in situ (tzn. Nie mam wystarczającej ilości miejsca na inny plik), a konkretnie chcę grepować i ignorować niektóre wzorce - czy istnieje sposób na zrobić to bez użycia innego pliku? Powiedzmy, że chcę odfiltrować wszystkie wiersze zawierające foo:na przykład …
3
Przesyłanie dużych plików (8 GB) przez ssh
Próbowałem z SCP, ale napis „Negatywny rozmiar pliku”. >scp matlab.iso xxx@xxx:/matlab.iso matlab.iso: Negative file size Próbowałem także przy użyciu SFTP, działało dobrze do momentu przesłania 2 GB pliku, a następnie przestało działać: sftp> put matlab.iso Uploading matlab.iso to /home/x/matlab.iso matlab.iso -298% 2021MB -16651.-8KB/s 00:5d o_upload: offset < 0 Masz pojęcie, …
27 scp  sftp  large-files 
3
Zamień tekst szybko w bardzo dużym pliku
Mam plik tekstowy o pojemności 25 GB, który wymaga zastąpienia ciągu tylko w kilku wierszach. Mogę używać z sedpowodzeniem, ale uruchomienie zajmuje bardzo dużo czasu. sed -i 's|old text|new text|g' gigantic_file.sql Czy jest na to szybszy sposób?
2
Dlaczego te pliki w woluminie ext4 są pofragmentowane?
Mam ext4partycję 900 GB na (magnetycznym) dysku twardym, który nie ma wad i nie ma uszkodzonych sektorów. Partycja jest całkowicie pusta, z wyjątkiem pustego lost+foundkatalogu. Partycja została sformatowana przy użyciu domyślnych parametrów, tyle że ustawiłem liczbę zarezerwowanych bloków systemu plików na 1%. Pobrałem plik ~ 900 MB xubuntu-15.04-desktop-amd64.isodo katalogu punktu …
1
Liczba plików w katalogu
Mam katalog z około 100 000 małych plików (każdy plik jest z 1-3 linii, każdy plik jest plikiem tekstowym). Rozmiar katalogu nie jest bardzo duży (<2 GB). Te dane znajdują się na profesjonalnie administrowanym serwerze NFS. Serwer działa pod Linuksem. Myślę, że systemem plików jest ext3, ale nie jestem tego …
2
funkcja bigfile przy tworzeniu systemu plików
Czy przydatne jest użycie opcji -T duży plik przy tworzeniu systemu plików dla partycji z dużymi plikami, takimi jak wideo i audio w formacie flac? Przetestowałem tę samą partycję z tą flagą i bez niej, i używając tune2fs -l [partycja] , sprawdziłem w „Funkcjach systemu plików”, które mają włączone „duży_plik”. …
2
Podstawowe polecenie sed dla dużego pliku jednowierszowego: nie można ponownie przydzielić pamięci
Mam plik tekstowy 250 MB, wszystko w jednym wierszu. W tym pliku chcę zastąpić aznaki bznakami: sed -e "s/a/b/g" < one-line-250-mb.txt Nie działa z: sed: couldn't re-allocate memory Wydaje mi się, że tego rodzaju zadanie można wykonać w jednej linii bez przydzielania dużej ilości pamięci. Czy istnieje lepsze narzędzie do …
Korzystając z naszej strony potwierdzasz, że przeczytałeś(-aś) i rozumiesz nasze zasady używania plików cookie i zasady ochrony prywatności.
Licensed under cc by-sa 3.0 with attribution required.