Jak automatycznie wykryć kodowanie pliku tekstowego?

Istnieje wiele zwykłych plików tekstowych zakodowanych w różnych zestawach znaków.

Chcę przekonwertować je wszystkie na UTF-8, ale przed uruchomieniem iconv muszę znać jego oryginalne kodowanie. Większość przeglądarek ma Auto Detectopcję kodowania, jednak nie mogę sprawdzać tych plików tekstowych jeden po drugim, ponieważ jest ich zbyt wiele.

Znając tylko oryginalne kodowanie, mogę przekonwertować teksty iconv -f DETECTED_CHARSET -t utf-8.

Czy jest jakieś narzędzie do wykrywania kodowania zwykłych plików tekstowych? NIE musi być w 100% perfekcyjny, nie mam nic przeciwko, jeśli 100 milionów plików jest źle przekonwertowanych.

Wypróbuj chardetowy moduł Python, który jest dostępny na PyPi:

pip install chardet

Potem biegnij chardetect myfile.txt.

Chardet opiera się na kodzie wykrywania używanym przez Mozillę, więc powinien dawać rozsądne wyniki, pod warunkiem, że tekst wejściowy jest wystarczająco długi do analizy statystycznej. Przeczytaj dokumentację projektu .

Jak wspomniano w komentarzach, jest to dość powolne, ale niektóre dystrybucje dostarczają również oryginalną wersję C ++, którą @Xavier znalazł w https://superuser.com/a/609056 . Gdzieś jest też wersja Java.

Użyłbym tego prostego polecenia:

encoding=$(file -bi myfile.txt)

Lub jeśli chcesz tylko rzeczywisty zestaw znaków (jak utf-8):

encoding=$(file -b --mime-encoding myfile.txt)

W systemie Linux opartym na Debianie pakiet uchardet ( Debian / Ubuntu ) zapewnia narzędzie wiersza poleceń. Zobacz opis opakowania poniżej:

 universal charset detection library - cli utility
 .
 uchardet is a C language binding of the original C++ implementation
 of the universal charset detection library by Mozilla.
 .
 uchardet is a encoding detector library, which takes a sequence of
 bytes in an unknown character encoding without any additional
 information, and attempts to determine the encoding of the text.
 .
 The original code of universalchardet is available at
 http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet
 .
 Techniques used by universalchardet are described at
 http://www.mozilla.org/projects/intl/UniversalCharsetDetection.html

W systemie Linux jest enca, aw systemie Solaris można użyć auto_ef .

Wracając do chardet (python 2.?) To wywołanie może wystarczyć:

python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())' < file
{'confidence': 0.98999999999999999, 'encoding': 'utf-8'}

Chociaż to dalekie od ideału ...

echo "öasd" | iconv -t ISO-8859-1 | python -c 'import chardet,sys; print chardet.detect(sys.stdin.read())'
{'confidence': 0.5, 'encoding': 'windows-1252'}

Dla tych, którzy regularnie używają Emacsa, mogą się przydać (pozwala to sprawdzić i ręcznie zweryfikować transfomację).

Ponadto często stwierdzam, że automatyczne wykrywanie zestawu znaków Emacsa jest znacznie wydajniejsze niż inne narzędzia do automatycznego wykrywania zestawu znaków (takie jak chardet).

(setq paths (mapcar 'file-truename '(
 "path/to/file1"
 "path/to/file2"
 "path/to/file3"
)))

(dolist (path paths)
  (find-file path)
  (set-buffer-file-coding-system 'utf-8-unix)
  )

Następnie wystarczy proste wywołanie Emacsa z tym skryptem jako argumentem (patrz opcja „-l”).

Warto spróbować UTFCast. Nie działało dla mnie (może dlatego, że moje pliki są okropne), ale wygląda dobrze.

http://www.addictivetips.com/windows-tips/how-to-batch-convert-text-files-to-utf-8-encoding/

Mozilla ma ładną bazę kodu do automatycznego wykrywania na stronach internetowych:
http://lxr.mozilla.org/seamonkey/source/extensions/universalchardet/src/

Szczegółowy opis algorytmu:
http://www-archive.mozilla.org/projects/intl/UniversalCharsetDetection.html

isutf8(z moreutilspaczki) wykonał zadanie

Również w przypadku, gdy plik -i daje nieznane

Możesz użyć tego polecenia php, które może odgadnąć zestaw znaków, jak poniżej:

W php możesz sprawdzić jak poniżej:

Określając jawnie listę kodowania:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), 'UTF-8, ASCII, JIS, EUC-JP, SJIS, iso-8859-1') . PHP_EOL;"

Dokładniejsze „ mb_list_encodings ”:

php -r "echo 'probably : ' . mb_detect_encoding(file_get_contents('myfile.txt'), mb_list_encodings()) . PHP_EOL;"

Tutaj w pierwszym przykładzie widać, że umieściłem listę kodowań (wykryj kolejność list), które mogą być zgodne. Aby uzyskać dokładniejszy wynik, możesz użyć wszystkich możliwych kodowań poprzez: mb_list_encodings ()

Uwaga Funkcje mb_ * wymagają php-mbstring

apt-get install php-mbstring 

Zobacz odpowiedź: https://stackoverflow.com/a/57010566/3382822