Co sprawia, że ​​grep uważa plik za binarny?

Mam zrzuty bazy danych z systemu Windows na moim urządzeniu. Są to pliki tekstowe. Używam cygwina, by się przez nie przeszukiwać. Wyglądają na zwykłe pliki tekstowe; Otwieram je za pomocą edytorów tekstu, takich jak Notatnik i WordPad, i wyglądają czytelnie. Jednak gdy uruchomię na nich grep, powie binary file foo.txt matches.

Zauważyłem, że pliki zawierają niektóre NULznaki ascii , które moim zdaniem są artefaktami ze zrzutu bazy danych.

Co sprawia, że ​​grep uważa te pliki za binarne? NULCharakter? Czy w systemie plików jest flaga? Co muszę zmienić, aby grep wyświetlał mi dopasowania linii?

Jeśli NULgdzieś w pliku jest znak, grep uzna go za plik binarny.

Może istnieć takie obejście, cat file | tr -d '\000' | yourgrepaby najpierw wyeliminować wszystkie wartości null, a następnie przeszukać plik.

grep -a pracował dla mnie:

$ grep --help
[...]
 -a, --text                equivalent to --binary-files=text

Można użyć stringsnarzędzia, aby wyodrębnić zawartość tekstu z dowolnego pliku, a następnie rury to przez grepcoś takiego: strings file | grep pattern.

GNU grep 2.24 RTFS

Wniosek: tylko 2 i 2 przypadki:

• NULnp printf 'a\0' | grep 'a'

• błąd kodowania zgodnie z C99 mbrlen(), np .:

  export LC_CTYPE='en_US.UTF-8'
  printf 'a\x80' | grep 'a'
  

  ponieważ \x80nie może być pierwszym bajtem punktu Unicode UTF-8 : UTF-8 - Opis | en.wikipedia.org

Co więcej, jak wspomniał Stéphane Chazelas. Co sprawia, że ​​grep uważa plik za plik binarny? | Wymiana stosów Unix i Linux , kontrole są wykonywane tylko do pierwszego odczytu bufora o długości TODO.

Tylko do pierwszego odczytanego bufora

Jeśli więc wystąpi błąd NUL lub błąd kodowania w środku bardzo dużego pliku, może on zostać i tak grepowany.

Wyobrażam sobie, że dzieje się tak ze względu na wydajność.

Np .: drukuje linię:

printf '%10000000s\n\x80a' | grep 'a'

ale to nie:

printf '%10s\n\x80a' | grep 'a'

Rzeczywisty rozmiar bufora zależy od sposobu odczytu pliku. Np. Porównaj:

export LC_CTYPE='en_US.UTF-8'
(printf '\n\x80a') | grep 'a'
(printf '\n'; sleep 1; printf '\x80a') | grep 'a'

W przypadku sleeppierwszego wiersza przechodzi do grep, nawet jeśli ma on tylko 1 bajt długości, ponieważ proces przechodzi w tryb uśpienia, a drugi odczyt nie sprawdza, czy plik jest binarny.

RTFS

git clone git://git.savannah.gnu.org/grep.git 
cd grep
git checkout v2.24

Znajdź, gdzie jest zakodowany komunikat o błędzie Stderr:

git grep 'Binary file'

Prowadzi nas do /src/grep.c:

if (!out_quiet && (encoding_error_output
                    || (0 <= nlines_first_null && nlines_first_null < nlines)))
    {
    printf (_("Binary file %s matches\n"), filename);

Jeśli te zmienne były dobrze nazwane, zasadniczo doszliśmy do wniosku.

encoding_error_output

Szybkie grepping dla encoding_error_outputpokazuje, że jedyna ścieżka kodu, która może go modyfikować, przechodzi buf_has_encoding_errors:

clen = mbrlen (p, buf + size - p, &mbs);
if ((size_t) -2 <= clen)
  return true;

to po prostu man mbrlen.

nlines_first_null i nlines

Zainicjowany jako:

intmax_t nlines_first_null = -1;
nlines = 0;

więc po znalezieniu wartości null 0 <= nlines_first_nullstaje się prawdą.

DO ZROBIENIA, kiedy może nlines_first_null < nlinesbyć fałsz? Zrobiłem się leniwy

POSIX

Nie definiuje opcji binarnych grep - wyszukaj plik w poszukiwaniu wzorca | pubs.opengroup.org , a GNU grep tego nie dokumentuje, więc RTFS jest jedynym sposobem.

Jeden z moich plików tekstowych został nagle uznany przez grep za binarny:

$ file foo.txt
foo.txt: ISO-8859 text

Rozwiązaniem było przekonwertowanie go za pomocą iconv:

iconv -t UTF-8 -f ISO-8859-1 foo.txt > foo_new.txt

Plik /etc/magiclub /usr/share/misc/magiczawiera listę sekwencji fileużywanych przez polecenie do określania typu pliku.

Zauważ, że plik binarny może być rozwiązaniem zastępczym. Czasami pliki z dziwnym kodowaniem są również uważane za binarne.

grepw systemie Linux ma kilka opcji do obsługi plików binarnych, takich jak --binary-fileslub-U / --binary

Jeden z moich uczniów miał ten problem. Wystąpił błąd grepw Cygwin. Jeśli plik ma znaki inne niż Ascii, grepi egrepzobacz go jako plik binarny.

Odpowiadając na pytanie „Co sprawia, że ​​grep uważa plik za plik binarny?”, Możesz użyć iconv:

$ iconv < myfile.java
iconv: (stdin):267:70: cannot convert

W moim przypadku były hiszpańskie znaki, które poprawnie wyświetlały się w edytorach tekstu, ale grep uważał je za binarne; iconvwynik wskazywał na numery wierszy i kolumn tych znaków

W przypadku NULznaków iconvuzna je za normalne i nie wydrukuje tego rodzaju wyników, więc ta metoda nie jest odpowiednia

Miałem ten sam problem. Widziałem vi -b [filename]dodane znaki. Znalazłem znaki kontrolne ^@i ^M. Następnie w vi wpisz, :1,$s/^@//gaby usunąć ^@znaki. Powtórz to polecenie dla ^M.

Ostrzeżenie: aby uzyskać „niebieskie” znaki sterujące, naciśnij Ctrl+, va następnie Ctrl+ Mlub Ctrl+ @. Następnie zapisz i wyjdź vi.