Jak mogę grepować dla wszystkich znaków spoza ASCII?

Mam kilka bardzo dużych plików XML i próbuję znaleźć wiersze zawierające znaki spoza ASCII. Próbowałem następujące:

grep -e "[\x{00FF}-\x{FFFF}]" file.xml

Ale to zwraca każdą linię w pliku, niezależnie od tego, czy linia zawiera znak z określonego zakresu.

Czy mam niewłaściwą składnię, czy robię coś innego źle? Próbowałem też:

egrep "[\x{00FF}-\x{FFFF}]" file.xml 

(z pojedynczymi i podwójnymi cudzysłowami otaczającymi wzór).

Możesz użyć polecenia:

grep --color='auto' -P -n "[\x80-\xFF]" file.xml

To da ci numer linii i podświetli na czerwono znaki inne niż ascii.

W niektórych systemach, w zależności od ustawień, powyższe nie będzie działać, więc możesz grep odwrotnie

grep --color='auto' -P -n "[^\x00-\x7F]" file.xml

Zauważ też, że ważnym bitem jest -Pflaga, która jest równa --perl-regexp: więc zinterpretuje twój wzór jako wyrażenie regularne Perla. Mówi to również

jest to wysoce eksperymentalne i grep -P może ostrzegać przed niewdrożonymi funkcjami.

Zamiast przyjmować założenia dotyczące zakresu bajtów znaków spoza ASCII, podobnie jak większość powyższych rozwiązań, nieco lepiej IMO wyraźnie określa rzeczywisty zakres bajtów znaków ASCII.

Tak więc pierwszym rozwiązaniem byłoby na przykład:

grep --color='auto' -P -n '[^\x00-\x7F]' file.xml

(który w zasadzie greps dla dowolnego znaku spoza zakresu szesnastkowego ASCII: od \ x00 do \ x7F)

Na Mountain Lion, który nie będzie działał (z powodu braku obsługi PCRE w BSD grep) , ale z pcrezainstalowanym przez Homebrew, będą działały równie dobrze:

pcregrep --color='auto' -n '[^\x00-\x7F]' file.xml

Jakieś zalety lub wady, o których każdy może pomyśleć?

Poniższe działa dla mnie:

grep -P "[\x80-\xFF]" file.xml

Znaki inne niż ASCII zaczynają się od 0x80 i przechodzą do 0xFF, patrząc na bajty. Grep (i rodzina) nie przetwarzają Unicode, aby scalić znaki wielobajtowe w jedną całość w celu dopasowania wyrażenia regularnego, jak się wydaje. -POpcja w moim grep umożliwia korzystanie z \xdducieczek z klas znakowych aby osiągnąć to, co chcesz.

W perl

perl -ane '{ if(m/[[:^ascii:]]/) { print  } }' fileName > newFile

Prostym sposobem jest zdefiniowanie znaku spoza ASCII ... jako znaku, który nie jest znakiem ASCII.

LC_ALL=C grep '[^ -~]' file.xml

Dodaj kartę po ^razie potrzeby.

Ustawienie LC_COLLATE=Cpozwala uniknąć przykrych niespodzianek dotyczących znaczenia zakresów postaci w wielu lokalizacjach. Ustawienie LC_CTYPE=Cjest konieczne, aby dopasować znaki jednobajtowe - w przeciwnym razie w poleceniu pominięte zostaną nieprawidłowe sekwencje bajtów w bieżącym kodowaniu. Ustawienie LC_ALL=Ccałkowicie eliminuje efekty zależne od lokalizacji.

Oto inny wariant, który znalazłem, który dał zupełnie inne wyniki niż wyszukiwanie grep [\x80-\xFF]w zaakceptowanej odpowiedzi. Być może przyda się ktoś, kto znajdzie dodatkowe postacie inne niż ascii:

grep --color='auto' -P -n "[^[:ascii:]]" myfile.txt

Uwaga: grep mojego komputera (Mac) nie miał -Popcji, więc zrobiłem brew install grepi rozpocząłem powyższe połączenie z ggrepzamiast grep.

Działa następujący kod:

find /tmp | perl -ne 'print if /[^[:ascii:]]/'

Zamień /tmpna nazwę katalogu, który chcesz przeszukać.

Wyszukiwanie znaków niedrukowalnych. TLDR; Streszczenie

1. szukaj znaków kontrolnych ORAZ rozszerzonego Unicode
2. ustawienie regionalne np. LC_ALL=Cpotrzebne, aby grep działał zgodnie z oczekiwaniami z rozszerzonym Unicode

SO preferowane wyszukiwarki znaków innych niż ascii:

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test

jak w górnej odpowiedzi, odwrotne grep:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

jak w górnej odpowiedzi, ale Z LC_ALL=C:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test

. . więcej . . dręczące szczegóły na ten temat:. . .

Zgadzam się z Harveyem powyżej ukrytym w komentarzach, często bardziej przydatne jest wyszukiwanie znaków niedrukowalnych LUB łatwo jest myśleć bez ASCII, kiedy naprawdę powinieneś myśleć o drukowaniu. Harvey sugeruje „użyj tego:” [^\n -~]”. Dodaj \ r dla plików tekstowych DOS. To tłumaczy się na„ [^\x0A\x020-\x07E]”i dodaje \ x0D dla CR”

Ponadto dodanie -c (pokaż liczbę dopasowanych wzorców) do grep jest przydatne podczas wyszukiwania znaków niedrukowalnych, ponieważ dopasowane łańcuchy mogą zepsuć terminal.

Odkryłem, że dodanie zakresu 0-8 i 0x0e-0x1f (do zakresu 0x80-0xff) jest użytecznym wzorcem. Wyklucza to TAB, CR i LF oraz jeden lub dwa inne nietypowe znaki drukowalne. Więc IMHO jest dość przydatnym (choć surowym) wzorem grepa:

grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *

AKTUALNIE, ogólnie rzecz biorąc, musisz to zrobić:

LC_ALL=C grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" *

awaria:

LC_ALL=C - set locale to C, otherwise many extended chars will not match (even though they look like they are encoded > 0x80)
\x00-\x08 - non-printable control chars 0 - 7 decimal
\x0E-\x1F - more non-printable control chars 14 - 31 decimal
\x80-1xFF - non-printable chars > 128 decimal
-c - print count of matching lines instead of lines
-P - perl style regexps

Instead of -c you may prefer to use -n (and optionally -b) or -l
-n, --line-number
-b, --byte-offset
-l, --files-with-matches

Np. Praktyczny przykład użycia find do grepowania wszystkich plików w bieżącym katalogu:

LC_ALL=C find . -type f -exec grep -c -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" {} + 

Czasami możesz chcieć dostosować grep. np. znak BS (0x08 - backspace) używany w niektórych plikach do wydruku lub w celu wykluczenia VT (0x0B - tabulator pionowy). Znaki BEL (0x07) i ESC (0x1B) można również uznać za drukowalne w niektórych przypadkach.

Non-Printable ASCII Chars
** marks PRINTABLE but CONTROL chars that is useful to exclude sometimes
Dec   Hex Ctrl Char description           Dec Hex Ctrl Char description
0     00  ^@  NULL                        16  10  ^P  DATA LINK ESCAPE (DLE)
1     01  ^A  START OF HEADING (SOH)      17  11  ^Q  DEVICE CONTROL 1 (DC1)
2     02  ^B  START OF TEXT (STX)         18  12  ^R  DEVICE CONTROL 2 (DC2)
3     03  ^C  END OF TEXT (ETX)           19  13  ^S  DEVICE CONTROL 3 (DC3)
4     04  ^D  END OF TRANSMISSION (EOT)   20  14  ^T  DEVICE CONTROL 4 (DC4)
5     05  ^E  END OF QUERY (ENQ)          21  15  ^U  NEGATIVE ACKNOWLEDGEMENT (NAK)
6     06  ^F  ACKNOWLEDGE (ACK)           22  16  ^V  SYNCHRONIZE (SYN)
7     07  ^G  BEEP (BEL)                  23  17  ^W  END OF TRANSMISSION BLOCK (ETB)
8     08  ^H  BACKSPACE (BS)**            24  18  ^X  CANCEL (CAN)
9     09  ^I  HORIZONTAL TAB (HT)**       25  19  ^Y  END OF MEDIUM (EM)
10    0A  ^J  LINE FEED (LF)**            26  1A  ^Z  SUBSTITUTE (SUB)
11    0B  ^K  VERTICAL TAB (VT)**         27  1B  ^[  ESCAPE (ESC)
12    0C  ^L  FF (FORM FEED)**            28  1C  ^\  FILE SEPARATOR (FS) RIGHT ARROW
13    0D  ^M  CR (CARRIAGE RETURN)**      29  1D  ^]  GROUP SEPARATOR (GS) LEFT ARROW
14    0E  ^N  SO (SHIFT OUT)              30  1E  ^^  RECORD SEPARATOR (RS) UP ARROW
15    0F  ^O  SI (SHIFT IN)               31  1F  ^_  UNIT SEPARATOR (US) DOWN ARROW

AKTUALIZACJA: Musiałem ostatnio to ponownie odwiedzić. I YYMV w zależności od ustawień terminala / słonecznej prognozy pogody ALE. . Zauważyłem, że grep nie znalazł wielu znaków Unicode lub Extended. Mimo że intuicyjnie powinny pasować do zakresu od 0x80 do 0xff, 3 i 4 bajtowe znaki Unicode nie zostały dopasowane. ??? Czy ktoś może to wyjaśnić? TAK. @frabjous zapytał, a @calandoa wyjaśnił, że LC_ALL=Cnależy użyć, aby ustawić ustawienia regionalne dla polecenia, aby dopasować grep.

np. moja lokalizacja jest LC_ALL=pusta

$ locale
LANG=en_IE.UTF-8
LC_CTYPE="en_IE.UTF-8"
.
.
LC_ALL=

grep z LC_ALL=pustymi dopasowaniami 2-bajtowe znaki zakodowane, ale nie zakodowane 3 i 4 bajty:

$ grep -P -n "[\x00-\x08\x0E-\x1F\x80-\xFF]" notes_unicode_emoji_test
5:© copyright c2a9
7:call  underscore c2a0
9:CTRL
31:5 © copyright
32:7 call  underscore

grep z LC_ALL=Cwydaje się pasować do wszystkich rozszerzonych znaków, które chciałbyś:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test  
1:���� unicode dashes e28090
3:��� Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5:� copyright c2a9
7:call� underscore c2a0
11:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29:1 ���� unicode dashes
30:3 ��� Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31:5 � copyright
32:7 call� underscore
33:11 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other
34:52 LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other
81:LIVE��E! ���������� ���� ���������� ���� �� �� ���� ����  YEOW, mix of japanese and chars from other

TO dopasowanie perla (częściowo znalezione gdzie indziej przy przepływie stosu) LUB odwrotne grep na górnej odpowiedzi NIE wydają się znajdować WSZYSTKICH ~ dziwnych ~ i ~ cudownych ~ "nie-ascii" znaków bez ustawiania ustawień regionalnych:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test  

1 ‐‐ unicode dashes e28090
3 💘 Heart With Arrow Emoji - Emojipedia == UTF8? f09f9298
5 © copyright c2a9
7 call  underscore c2a0
9 CTRL-H CHARS URK URK URK 
11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other e38182 e38184 . . e0a487
29 1 ‐‐ unicode dashes
30 3 💘 Heart With Arrow Emoji - Emojipedia == UTF8 e28090
31 5 © copyright
32 7 call  underscore
33 11 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other
34 52 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other
73 LIVE‐E! あいうえお かが アイウエオ カガ ᚊ ᚋ ซฌ आइ  YEOW, mix of japanese and chars from other

SO preferowane wyszukiwarki znaków innych niż ascii:

$ perl -ne 'print "$. $_" if m/[\x00-\x08\x0E-\x1F\x80-\xFF]/' notes_unicode_emoji_test

jak w górnej odpowiedzi, odwrotne grep:

$ grep --color='auto' -P -n "[^\x00-\x7F]" notes_unicode_emoji_test

jak w górnej odpowiedzi, ale Z LC_ALL=C:

$ LC_ALL=C grep --color='auto' -P -n "[\x80-\xFF]" notes_unicode_emoji_test

O dziwo, musiałem to dziś zrobić! Skończyło się na użyciu Perla, ponieważ nie mogłem zmusić grep / egrep do pracy (nawet w trybie -P). Coś jak:

cat blah | perl -en '/\xCA\xFE\xBA\xBE/ && print "found"'

W przypadku znaków Unicode (jak \u2212w przykładzie poniżej) użyj tego:

find . ... -exec perl -CA -e '$ARGV = @ARGV[0]; open IN, $ARGV; binmode(IN, ":utf8"); binmode(STDOUT, ":utf8"); while (<IN>) { next unless /\N{U+2212}/; print "$ARGV: $&: $_"; exit }' '{}' \;

Interesujące może być sprawdzenie, jak wyszukać jedną postać Unicode. To polecenie może pomóc. Musisz tylko znać kod w UTF8

grep -v $'\u200d'

Znalezienie wszystkich znaków innych niż ascii sprawia wrażenie, że albo szuka się ciągów Unicode, albo zamierza usunąć te znaki indywidualnie.

W przypadku tych pierwszych wypróbuj jedną z nich (zmienna filesłuży do automatyzacji):

 file=file.txt ; LC_ALL=C grep -Piao '[\x80-\xFF\x20]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

 file=file.txt ; pcregrep -iao '[\x80-\xFF\x20]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

 file=file.txt ; pcregrep -iao '[^\x00-\x19\x21-\x7F]{7,}' $file | iconv -f $(uchardet $file) -t utf-8

Waniliowe grep nie działa poprawnie bez LC_ALL = C, jak wspomniano w poprzednich odpowiedziach.

Zakres ASCII to x00-x7Fspacja x20, ponieważ ponieważ łańcuchy mają spacje, zakres ujemny pomija je.

Zakres inny niż ASCII jest taki x80-xFF, że ponieważ ciągi znaków mają spacje, zakres dodatni dodaje je.

Zakłada się, że ciąg znaków składa się z co najmniej 7 kolejnych znaków w zakresie. {7,}.

Dla danych wyjściowych odczytywanych przez powłokę uchardet $filezwraca domysły kodowania pliku, które jest przekazywane do iconv w celu automatycznej interpolacji.