Używanie „głowy” lub „ogona” na OGROMNYM pliku tekstowym - 19 GB

Mam problem z wyświetlaniem fragmentów bardzo dużego pliku tekstowego. Ten plik, około 19 GB, jest oczywiście zbyt duży, aby można go było wyświetlić w tradycyjny sposób.

Próbowałem head 1i tail 1( head -n 1i tail -n 1) obie komendy rurami ze sobą w różny sposób (aby dostać się na kawałek w środku) bez powodzenia. Mój komputer z systemem Linux i systemem Ubuntu 9.10 nie może przetworzyć tego pliku.

Jak obsłużyć ten plik? Moim ostatecznym celem jest udoskonalenie linii 45000000 i 45000100.

Powinieneś użyć sed.

sed -n -e 45000000,45000100p -e 45000101q bigfile > savedlines

To mówi, sedaby wydrukować linie 45000000-45000100 włącznie i wyjść z linii 45000101.

Utwórz bazę danych MySQL z jedną tabelą, która ma jedno pole. Następnie zaimportuj plik do bazy danych. Ułatwi to wyszukiwanie określonej linii.

Nie sądzę, żeby cokolwiek innego mogło być szybsze (jeśli headi tailjuż zawodzi). W końcu aplikacja, która chce znaleźć linię, nmusi przeszukiwać cały plik, dopóki nie znajdzie nnowych linii. Bez pewnego rodzaju wyszukiwania (przesunięcie indeksu linii do bajtu w pliku) nie można osiągnąć lepszej wydajności.

Biorąc pod uwagę, jak łatwo jest utworzyć bazę danych MySQL i zaimportować do niej dane, wydaje mi się, że jest to realne podejście.

Oto jak to zrobić:

DROP DATABASE IF EXISTS helperDb;
CREATE DATABASE `helperDb`;
CREATE TABLE `helperDb`.`helperTable`( `lineIndex` BIGINT UNSIGNED NOT NULL AUTO_INCREMENT, `lineContent` MEDIUMTEXT , PRIMARY KEY (`lineIndex`) );
LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable (lineContent);
SELECT lineContent FROM helperTable WHERE ( lineIndex > 45000000 AND lineIndex < 45000100 );

/tmp/my_large_file byłby plikiem, który chcesz przeczytać.

Prawidłowa składnia do importowania pliku z wartościami rozdzielanymi tabulatorami w każdym wierszu to:

LOAD DATA INFILE '/tmp/my_large_file' INTO TABLE helperDb.helperTable FIELDS TERMINATED BY '\n' (lineContent);

Kolejną ważną zaletą tego jest to, że jeśli później zdecydujesz się wyodrębnić inny zestaw wierszy, nie musisz czekać godzin ponownie na przetwarzanie (chyba że oczywiście usuniesz bazę danych).

Dwa dobre stare narzędzia do dużych plików to joini split. Możesz użyć podziału z --lines=<number>opcją cięcia pliku na wiele plików o określonym rozmiarze.

Na przykład split --lines=45000000 huge_file.txt. Wynikowe części będą w xa, xb itp. Następnie możesz headczęść xb, która zawierałaby żądane linie. Możesz także „połączyć” pliki z powrotem w pojedynczy duży plik.

Masz odpowiednie narzędzia, ale używasz ich nieprawidłowo. Jak już wcześniej odpowiedziano w U&L, tail -n +X file | head -n Y(zauważ, że +) jest 10-15% szybszy niż w sedprzypadku linii Y zaczynających się od X. I wygodnie, nie musisz jawnie exitproces jak z sed.

tail odczyta i odrzuci pierwsze linie X-1 (nie da się tego obejść), a następnie przeczyta i wydrukuje kolejne linie. head przeczyta i wydrukuje żądaną liczbę wierszy, a następnie wyjdzie. Kiedy głowa wychodzi, ogon odbiera sygnał SIGPIPE i umiera, więc nie będzie czytał więcej niż rozmiar bufora (zwykle kilka kilobajtów) linii z pliku wejściowego.