Jak grepować plik tekstowy zawierający dane binarne?

grep zwraca

Plik binarny test.log pasuje

Na przykład

echo    "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in zsh
echo -e "line1 re \x00\r\nline2\r\nline3 re\r\n" > test.log  # in bash
grep re test.log

Chciałbym, żeby wynik pokazał line1 i line3 (łącznie dwie linie).

Czy jest możliwe użycie trkonwersji danych, których nie można wydrukować na dane, które można odczytać, aby grep znów działał?

Możesz uruchomić plik danych cat -v, np

$ cat -v tmp/test.log | grep re
line1 re ^@^M
line3 re^M

które można następnie poddać dalszej obróbce końcowej w celu usunięcia śmieci; jest to najbardziej analogiczne do zapytania dotyczącego użycia trdo zadania.

grep -a

To nie może być prostsze.

Jednym ze sposobów jest po prostu traktowanie plików binarnych jako tekstowych, grep --textale może to skutkować wysłaniem binarnych informacji do terminala. To nie jest dobry pomysł, jeśli używasz terminala, który interpretuje strumień wyjściowy (taki jak VT / DEC lub wiele innych).

Alternatywnie możesz wysłać plik za trpomocą następującego polecenia:

tr '[\000-\011\013-\037\177-\377]' '.' <test.log | grep whatever

Spowoduje to zmianę wszystkiego, co jest mniejsze niż znak spacji (z wyjątkiem nowej linii) i cokolwiek większego niż 126, w .znak, pozostawiając tylko materiały do ​​wydrukowania.

Jeśli chcesz, aby każdy „niedozwolony” znak został zastąpiony innym, możesz użyć czegoś takiego jak poniższy program w C, klasyczny standardowy filtr wejściowy:

#include<stdio.h>
int main (void) {
    int ch;
    while ((ch = getchar()) != EOF) {
        if ((ch == '\n') || ((ch >= ' ') && (ch <= '~'))) {
            putchar (ch);
        } else {
            printf ("{{%02x}}", ch);
        }
    }
    return 0;
}

To da ci {{NN}}, gdzie NNjest kod szesnastkowy znaku. Możesz po prostu dostosować printfdo dowolnego stylu wydruku.

Możesz zobaczyć ten program w akcji tutaj, gdzie:

pax$ printf 'Hello,\tBob\nGoodbye, Bob\n' | ./filterProg
Hello,{{09}}Bob
Goodbye, Bob

Możesz na przykład użyć „ciągów” do wyodrębnienia łańcuchów z pliku binarnego

strings binary.file | grep foo

Możesz zmusić grep do przeglądania plików binarnych za pomocą:

grep --binary-files=text

Możesz także chcieć dodać -o( --only-matching), aby nie dostać tony binarnego bełkotu, który zepsuje twój terminal.

Począwszy od Grepa 2.21, pliki binarne są traktowane inaczej :

Podczas wyszukiwania danych binarnych grep może teraz traktować bajty nietekstowe jako zakończenia linii. Może to znacznie zwiększyć wydajność.

Tak więc teraz w przypadku danych binarnych wszystkie bajty nietekstowe (w tym znaki nowej linii) są traktowane jako terminatory linii. Jeśli chcesz zmienić to zachowanie, możesz:

• używać --text. Zapewni to, że tylko znaki nowej linii będą zakończeniami linii

• używać --null-data. Zapewni to, że tylko bajty zerowe są terminatorami linii

grep -a zmusi grep do wyszukania i wyjścia z pliku, który grep uważa za binarny. grep -a re test.log

Jak już powiedział James Selvakumar, załatwia sprawę grep -a. -a lub --text zmusza Grepa do obsługi strumienia wejściowego jako tekstu. Zobacz stronę podręcznika http://unixhelp.ed.ac.uk/CGI/man-cgi?grep

próbować

cat test.log | grep -a somestring

możesz to zrobić

strings test.log | grep -i

spowoduje to przekonwertowanie danych wyjściowych jako czytelnego ciągu na grep.

Możesz także wypróbować narzędzie Word Extractor . Word Extractor może być używany z dowolnym plikiem na komputerze w celu oddzielenia ciągów znaków zawierających tekst / słowa ludzkie od kodu binarnego (aplikacje exe, biblioteki DLL).

Oto, czego użyłem w systemie, w którym nie zainstalowano polecenia „ciągi”

cat yourfilename | tr -cd "[:print:]"

To drukuje tekst i usuwa niedrukowalne znaki za jednym zamachem, w przeciwieństwie do "cat -v filename", który wymaga dodatkowego przetwarzania w celu usunięcia niechcianych elementów. Zauważ, że niektóre dane binarne mogą być wydrukowane, więc nadal będziesz mieć jakiś bełkot między dobrymi rzeczami. Myślę, że struny również usuwają ten bełkot, jeśli możesz tego użyć.