Ogólne rozwiązanie do przetwarzania plików innych niż binarne bashprzy użyciu file -b --mime-encoding:
while IFS= read -d '' -r file; do
[[ "$(file -b --mime-encoding "$file")" = binary ]] &&
{ echo "Skipping $file."; continue; }
echo "Processing $file."
# ...
done < <(find . -type f -print0)
Skontaktowałem się z autorem narzędzia do plików i dodał on sprytny -00parametr w wersji 5.26 (wydany 2016-04-16, jest np. W obecnym Archu i Ubuntu 16.10), który drukuje file\0result\0dla wielu dostarczonych do niego plików jednocześnie, w ten sposób możesz to zrobić na przykład:
find . -type f -exec file -00 --mime-encoding {} + |
awk 'BEGIN{ORS=RS="\0"}{if(NR%2)f=$0;else if(!/binary/)print f}' | …
( awkCzęścią jest odfiltrowanie każdego pliku, który nie jest binarny. ORSJest separatorem wyjściowym.)
Oczywiście można go również używać w pętli:
while IFS= read -d '' -r file; do
echo "Processing $file."
# ...
done < <(find . -type f -exec file -00 --mime-encoding {} + |
awk 'BEGIN{ORS=RS="\0"}{if(NR%2)f=$0;else if(!/binary/)print f}')
Na podstawie tego i poprzedniego stworzyłem mały bashskrypt do odfiltrowywania plików binarnych, który wykorzystuje nową metodę przy użyciu -00parametru filew nowszych wersjach i wraca do poprzedniej metody w starszych wersjach:
#!/bin/bash
# Expects files as arguments and returns the ones that do
# not appear to be binary files as a zero-separated list.
#
# USAGE:
# filter_binary_files.sh [FILES...]
#
# EXAMPLE:
# find . -type f -mtime +5 -exec ./filter_binary_files.sh {} + | xargs -0 ...
#
[[ $# -eq 0 ]] && exit
if [[ "$(file -v)" =~ file-([1-9][0-9]|[6-9]|5\.([3-9][0-9]|2[6-9])) ]]; then
file -00 --mime-encoding -- "$@" |
awk 'BEGIN{ORS=RS="\0"}{if(NR%2)f=$0;else if(!/binary/)print f}'
else
for f do
[[ "$(file -b --mime-encoding -- "$f")" != binary ]] &&
printf '%s\0' "$f"
done
fi
Lub tutaj bardziej POSIX-y, ale wymaga obsługi sort -V:
#!/bin/sh
# Expects files as arguments and returns the ones that do
# not appear to be binary files as a zero-separated list.
#
# USAGE:
# filter_binary_files.sh [FILES...]
#
# EXAMPLE:
# find . -type f -mtime +5 -exec ./filter_binary_files.sh {} + | xargs -0 ...
#
[ $# -eq 0 ] && exit
if [ "$(printf '%s\n' 'file-5.26' "$(file -v | head -1)" | sort -V)" = \
'file-5.26' ]; then
file -00 --mime-encoding -- "$@" |
awk 'BEGIN{ORS=RS="\0"}{if(NR%2)f=$0;else if(!/binary/)print f}'
else
for f do
[ "$(file -b --mime-encoding -- "$f")" != binary ] &&
printf '%s\0' "$f"
done
fi
filenarzędzia gdzieś w skrypcie / potoku, aby ustalić, czy plik to dane, czy tekst