Czy istnieje wygodny sposób klasyfikowania plików jako „binarne” lub „tekstowe”?

Standardowe narzędzia Unix, jak grepi diffkorzystać z niektórych heurystyki do klasyfikowania plików jako „tekst” lub „binarny”. (Na przykład grepdane wyjściowe mogą zawierać wiersze podobne Binary file frobozz matches.)

Czy istnieje wygodny test, który można zastosować w zshskrypcie, aby przeprowadzić podobną klasyfikację „tekstową / binarną”? (Inne niż coś takiego grep '' somefile | grep -q Binary.)

(Zdaję sobie sprawę, że każdy taki test byłby koniecznie heurystyczny, a zatem niedoskonały).

Jeśli poprosisz fileo tylko typu MIME dostaniesz wiele różnych te, jak text/x-shellscripti application/x-executableetc, ale mogę sobie wyobrazić, jeśli po prostu sprawdzić na „tekst” części należy uzyskać dobre wyniki. Np. (W -bprzypadku braku pliku wyjściowego):

file -b --mime-type filename | sed 's|/.*||'

Innym podejściem byłoby użycie isutf8z kolekcji moreutils .

Wychodzi z 0, jeśli plik jest poprawny UTF-8 lub ASCII, lub zwarciami, drukuje komunikat o błędzie (cisza z -q) i kończy z 1 w przeciwnym razie.

Jeśli podoba ci się heurystyka używana przez GNU grep, możesz jej użyć:

isbinary() {
  LC_MESSAGES=C grep -Hm1 '^' < "${1-$REPLY}" | grep -q '^Binary'
}

To wyszukuje NUL bajtów pierwszy bufor odczytu z pliku (kilka kilo bajtów dla zwykłego pliku, ale może być o wiele mniej do rury lub gniazda lub niektórych urządzeń takich jak /dev/random). W ustawieniach regionalnych UTF-8 oznacza to również sekwencje bajtów, które nie tworzą prawidłowych znaków UTF-8. Zakłada LC_ALLsię, że nie jest ustawiony na coś, co nie jest językiem angielskim.

${1-$REPLY}Forma pozwala na użycie go jako zshkwalifikator glob:

ls -ld -- *(.+isbinary)

wyświetli listę plików binarnych .

Możesz spróbować ustalić, czy iconvmożna odczytać plik. Jest to mniej wydajne niż file(co odczytuje tylko kilka bajtów od początku), ale daje bardziej wiarygodne wyniki:

ENCODING=utf-8
if iconv --from-code="$ENCODING" --to-code="$ENCODING" your_file.ext > /dev/null 2>&1; then
    echo text
else
    echo binary
fi

iconvZasadniczo czyni to brak operacji, ale jeśli napotka niepoprawne dane (niepoprawne UTF-8 w tym przykładzie), zablokuje się i zakończy działanie.

Możesz napisać skrypt, który wywołuje file, i użyć instrukcji case, aby sprawdzić przypadki, które Cię interesują.

Na przykład

#!/bin/sh
case $(file "$1") in
(*script*|*\ text|*\ text\ *)
    echo text
    ;;
(*)
    echo binary
    ;;
esac

choć oczywiście może być wiele specjalnych przypadków, które są interesujące. Po sprawdzeniu stringskopii libmagicwidzę około 200 przypadków, np.

Konqueror cookie text
Korn shell script text executable
LaTeX 2e document text
LaTeX document text
Linux Software Map entry text
Linux Software Map entry text (new format)
Linux kernel symbol map text
Lisp/Scheme program text
Lua script text executable
LyX document text
M3U playlist text
M4 macro processor script text

Niektórzy używają ciągu „tekst” jako części innego typu, np.

SoftQuad troff Context intermediate   
SoftQuad troff Context intermediate for AT&T 495 laser printer
SoftQuad troff Context intermediate for HP LaserJet

podobnie scriptmoże być częścią słowa, ale w tym przypadku nie widzę problemów. Ale skrypt powinien sprawdzać "text"jako słowo , a nie podciąg .

Dla przypomnienia, filewyjście nie używa dokładnego opisu, który zawsze zawierałby „skrypt” lub „tekst”. Szczególne przypadki są czymś do rozważenia. Kontynuacja skomentowała, że --mime-typedziała, podczas gdy to podejście nie, w przypadku .svgplików. Jednak w teście widzę te wyniki dla plików svg:

$ ls -l *.svg
-r--r--r-- 1 tom users  6679 Jul 26  2012 pumpkin_48x48.svg
-r--r--r-- 1 tom users 17372 Jul 30  2012 sink_48x48.svg
-r--r--r-- 1 tom users  5929 Jul 25  2012 vile_48x48.svg
-r--r--r-- 1 tom users  3553 Jul 28  2012 vile-mini.svg
$ file *.svg
pumpkin_48x48.svg: SVG Scalable Vector Graphics image
sink_48x48.svg:    SVG Scalable Vector Graphics image
vile-mini.svg:     SVG Scalable Vector Graphics image
vile_48x48.svg:    SVG Scalable Vector Graphics image
$ file --mime-type *.svg
pumpkin_48x48.svg: image/svg+xml
sink_48x48.svg:    image/svg+xml
vile-mini.svg:     image/svg+xml
vile_48x48.svg:    image/svg+xml

które wybrałem po zobaczeniu tysiąca plików, które pokazują tylko 6 z „tekstem” na wyjściu typu mime. Prawdopodobnie dopasowanie „xml” na końcu danych wyjściowych typu mime może być bardziej użyteczne, powiedzmy, niż dopasowanie „SVG”, ale użycie skryptu, aby to zrobić , spowoduje powrót do podanej tutaj sugestii.

Dane wyjściowe filewymagają dostrajania w obu scenariuszach i nie są w 100% niezawodne (jest mylone przez kilka moich skryptów Perla, nazywając je „danymi”).

Istnieje więcej niż jedna implementacja file. Ten najczęściej używany działa w libmagic, który może być używany z różnych programów (być może nie bezpośrednio z zsh, choć pythonmoże).

Zgodnie z tabelą porównawczą testu plików dla powłok, Perla, Ruby i Pythona , Perl ma -Topcję, za pomocą której może dostarczyć te informacje. Ale nie zawiera żadnej porównywalnej funkcji zsh.

Dalsza lektura:

• kwalifikator globalny zsh, aby wykluczyć pliki binarne

filema opcję, --mime-encodingktóra próbuje wykryć kodowanie pliku.

 $file --mime-encoding Documents/poster2.pdf 
Documents/poster2.pdf: binary
 $file --mime-encoding projects/linux/history-torvalds/Makefile 
projects/linux/history-torvalds/Makefile: us-ascii
 $file --mime-encoding graphe.tex 
Dgraphe.tex: us-ascii
 $file --mime-encoding software.tex 
software.tex: utf-8

Możesz użyć file --mime-encoding | grep binarydo wykrycia, czy plik jest plikiem binarnym. Działa niezawodnie, chociaż może zostać pomylony przez pojedynczy nieprawidłowy znak w długim pliku tekstowym.

Na przykład alias catdo następującego skryptu powłoki, aby uniknąć zniszczenia terminala przez nieumyślne otwarcie pliku binarnego:

#! /bin/sh -

[ ! -t 1 ] && exec /bin/cat "$@"
for i
do
    if file --mime-encoding -- "$i" | grep -q binary
    then
        hexdump -C -- "$i"
    else
        /bin/cat -- "$i"
    fi
done

Kategorie są dowolne. Zanim odpowiesz, jak dokonać klasyfikacji, potrzebujesz (ścisłej) definicji. Aby mieć definicję, potrzebujesz celu .

Co chcesz zrobić z tą klasyfikacją?

• Jeśli chcesz wybrać ascii / binary na FTP, ważne jest, aby nie przesyłać pliku binarnego jako ascii (w przeciwnym razie zostanie uszkodzony). Powinieneś więc sprawdzić, czy plik to zwykły tekst, HTML, RTF i kilka innych. Ale w razie wątpliwości wybierz opcję binarną. A może chcesz również przetestować, czy plik ma tylko taki podzbiór, jak 0x0A, 0x0D i 0x20-0x7F.
• Jeśli chcesz przenieść plik w jakimś protokole (POP3, SMTP), musisz przetestować, aby wybrać, czy kodować w base64, czy po prostu zwykły. W takim przypadku powinieneś sprawdzić, czy nie ma obsługiwanych znaków.
• Każdy inny przypadek… może mieć dowolną inną definicję.

perl -e'chomp(my$f=<>);print "binary$/" if -B $f;print "text$/" if -T _'

zrobię to. Zobacz dokumentację -Bi-T (wyszukaj ciąg na tej stronie The -T and -B switches work as follows).

Przyczyniłem się do https://github.com/audreyr/binaryornot Nie ma jeszcze opakowania linii poleceń (ale), ale jest to prosta biblioteka Pythona wystarczająco łatwa do wywołania nawet z poziomu CLI. Używa dość wydajnej heurystyki, aby ustalić, czy plik jest tekstowy czy binarny.

Teraz ta odpowiedź jest już trochę stara, ale myślę, że mój przyjaciel nauczył mnie wielkiego „hacka”, aby to zrobić.

Używasz diffpolecenia i porównujesz plik z testowym plikiem tekstowym:

$ diff filetocheck testfile.txt

Teraz, jeśli filetocheckjest to plik binarny, wynikiem byłoby:

Binary files filetocheck and testfile.txt differ

W ten sposób możesz wykorzystać diffpolecenie i np. Napisać funkcję sprawdzającą skrypt.