Jak znaleźć kodowanie pliku za pomocą skryptu w systemie Linux?

Muszę znaleźć kodowanie wszystkich plików umieszczonych w katalogu. Czy istnieje sposób na znalezienie zastosowanego kodowania?

fileKomenda nie jest w stanie tego zrobić.

Interesujące mnie kodowanie to: ISO-8859-1. Jeśli kodowanie jest czymś innym, chcę przenieść plik do innego katalogu.

Wygląda na to, że szukasz enca. Może zgadywać, a nawet konwertować między kodowaniami. Wystarczy spojrzeć na stronę podręcznika .

Lub, jeśli to nie pomoże, użyj file -i(linux) lub file -I(osx). Spowoduje to wyświetlenie informacji typu MIME dla pliku, która będzie również zawierać kodowanie zestawu znaków. Znalazłem też stronę dla niego :)

file -bi <file name>

Jeśli chcesz to zrobić dla wielu plików

for f in `find | egrep -v Eliminate`; do echo "$f" ' -- ' `file -bi "$f"` ; done

uchardet - biblioteka wykrywaczy kodowania przeniesiona z Mozilli.

Stosowanie:

~> uchardet file.java 
UTF-8

Różne dystrybucje Linuksa (Debian / Ubuntu, OpenSuse-packman, ...) zapewniają pliki binarne.

oto przykładowy skrypt wykorzystujący plik -I i iconv, który działa na MacOsX. W swoim pytaniu musisz użyć mv zamiast iconv

#!/bin/bash
# 2016-02-08
# check encoding and convert files
for f in *.java
do
  encoding=`file -I $f | cut -f 2 -d";" | cut -f 2 -d=`
  case $encoding in
    iso-8859-1)
    iconv -f iso8859-1 -t utf-8 $f > $f.utf8
    mv $f.utf8 $f
    ;;
  esac
done

Naprawdę trudno jest ustalić, czy jest to iso-8859-1. Jeśli masz tekst składający się tylko z 7 znaków bitowych, którym może być również iso-8859-1, ale nie wiesz. Jeśli masz 8 bitów, znaki górnego regionu również występują w kodowaniu kolejności. Dlatego musiałbyś użyć słownika, aby lepiej odgadnąć, jakie to słowo i ustalić, która to litera. Wreszcie, jeśli wykryjesz, że może to być utf-8, to masz pewność, że nie jest to iso-8859-1

Kodowanie jest jedną z najtrudniejszych rzeczy do zrobienia, ponieważ nigdy nie wiadomo, czy nic ci nie mówi

W Debianie możesz także użyć encguess:

$ encguess test.txt
test.txt  US-ASCII

Aby przekonwertować kodowanie z 8859 na ASCII:

iconv -f ISO_8859-1 -t ASCII filename.txt

W Pythonie możesz użyć modułu chardet: https://github.com/chardet/chardet

Nie można tego zrobić w niezawodny sposób. Jedną z możliwości byłoby zbadać każdy znak w pliku, aby upewnić się, że nie zawiera żadnych znaków w zakresach 0x00 - 0x1fczy 0x7f -0x9f, ale jak powiedziałem, to może być prawdziwe dla dowolnej liczby plików, w tym co najmniej jednego innego wariantu ISO8859.

Inną możliwością jest poszukiwanie określonych słów w pliku we wszystkich obsługiwanych językach i sprawdzenie, czy możesz je znaleźć.

Na przykład znajdź odpowiednik angielskiego „i”, „ale”, „do”, „z” itd. We wszystkich obsługiwanych językach 8859-1 i sprawdź, czy występuje w nich duża liczba wystąpień plik.

Nie mówię o dosłownym tłumaczeniu, takim jak:

English   French
-------   ------
of        de, du
and       et
the       le, la, les

chociaż to możliwe. Mówię o popularnych słowach w języku docelowym (z tego co wiem, islandzki nie ma słowa na „i” - prawdopodobnie będziesz musiał użyć ich słowa na „ryba” [przepraszam, to trochę stereotypowe, nie zrobiłem tego oznacza każde przestępstwo, ilustrujące tylko punkt]).

Wiem, że interesuje Cię bardziej ogólna odpowiedź, ale to, co jest dobre w ASCII, jest zwykle dobre w innych kodowaniach. Oto jedno-liniowy Python, który określa, czy standardowym wejściem jest ASCII. (Jestem pewien, że to działa w Pythonie 2, ale przetestowałem to tylko w Pythonie 3).

python -c 'from sys import exit,stdin;exit()if 128>max(c for l in open(stdin.fileno(),"b") for c in l) else exit("Not ASCII")' < myfile.txt

Jeśli mówisz o plikach XML (ISO-8859-1), deklaracja XML w nich określa kodowanie: <?xml version="1.0" encoding="ISO-8859-1" ?>
Możesz więc użyć wyrażeń regularnych (np. Z perl), aby sprawdzić każdy plik pod kątem takiej specyfikacji.
Więcej informacji można znaleźć tutaj: Jak ustalić kodowanie pliku tekstowego .

W php możesz sprawdzić jak poniżej:

Określając jawnie listę kodowania:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Dokładniejsze „mb_list_encodings”:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Tutaj w pierwszym przykładzie widać, że umieściłem listę kodowań (wykryj kolejność list), które mogą być zgodne. Aby uzyskać dokładniejszy wynik, możesz użyć wszystkich możliwych kodowań poprzez: mb_list_encodings ()

Uwaga: funkcje mb_ * wymagają php-mbstring

apt-get install php-mbstring

W Cygwin wygląda to tak, jak dla mnie działa:

find -type f -name "<FILENAME_GLOB>" | while read <VAR>; do (file -i "$<VAR>"); done

Przykład:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done

Możesz potokować to do awk i utworzyć polecenie iconv, aby przekonwertować wszystko na utf8, z dowolnego kodowania źródłowego obsługiwanego przez iconv.

Przykład:

find -type f -name "*.txt" | while read file; do (file -i "$file"); done | awk -F[:=] '{print "iconv -f "$3" -t utf8 \""$1"\" > \""$1"_utf8\""}' | bash

Możesz wyodrębnić kodowanie pojedynczego pliku za pomocą polecenia file. Mam plik sample.html z:

$ file sample.html 

sample.html: dokument HTML, tekst UTF-8 Unicode, z bardzo długimi liniami

$ file -b sample.html

Dokument HTML, tekst UTF-8 Unicode, z bardzo długimi liniami

$ file -bi sample.html

text / html; charset = utf-8

$ file -bi sample.html  | awk -F'=' '{print $2 }'

utf-8

Używam następującego skryptu do

1. Znajdź wszystkie pliki pasujące do FILTER z SRC_ENCODING
2. Utwórz ich kopię zapasową
3. Konwertuj je na DST_ENCODING
4. (opcjonalnie) Usuń kopie zapasowe

.

#!/bin/bash -xe

SRC_ENCODING="iso-8859-1"
DST_ENCODING="utf-8"
FILTER="*.java"

echo "Find all files that match the encoding $SRC_ENCODING and filter $FILTER"
FOUND_FILES=$(find . -iname "$FILTER" -exec file -i {} \; | grep "$SRC_ENCODING" | grep -Eo '^.*\.java')

for FILE in $FOUND_FILES ; do
    ORIGINAL_FILE="$FILE.$SRC_ENCODING.bkp"
    echo "Backup original file to $ORIGINAL_FILE"
    mv "$FILE" "$ORIGINAL_FILE"

    echo "converting $FILE from $SRC_ENCODING to $DST_ENCODING"
    iconv -f "$SRC_ENCODING" -t "$DST_ENCODING" "$ORIGINAL_FILE" -o "$FILE"
done

echo "Deleting backups"
find . -iname "*.$SRC_ENCODING.bkp" -exec rm {} \;

za pomocą tego polecenia:

for f in `find .`; do echo `file -i "$f"`; done

możesz wyświetlić listę wszystkich plików w katalogu i podkatalogach oraz odpowiadające im kodowanie.

W Perlu użyj Encode :: Detect.