Czy istnieje polecenie systemu Linux, aby dowiedzieć się, czy plik to UTF-8?

14

.iniPliki Joomla wymagają zapisania jako UTF-8.

Po edycji nie jestem pewien, czy pliki mają format UTF-8, czy nie.

Czy istnieje takie polecenie Linuksa filelub kilka poleceń, które powiedzą, czy plik rzeczywiście ma format UTF-8, czy nie?

linux utf-8 joomla

— Edward
źródło

4

Nie możesz podać kodowania pliku. Możesz tylko zgadnąć. Możesz w większości zgadywać, ale czasem domysły się nie udają. filejest przykładem programu zgadującego mądrze.

— Marco

1

@Marco: Można jednak sprawdzić, czy jest to poprawny UTF-8, czy nie. Istnieje kilka kodowań, które mogą błędnie przejść jako poprawne UTF-8, ale prawie nigdy nie dzieje się to w przypadku kodowania / kodowania ISO-8859-𝒏 lub Windows-125𝒏.

— user1686 24.09.2013

28

Możesz określić kodowanie pliku za pomocą następującego polecenia:

file -bi filename

— Rik
źródło

3

@nicolas W systemie MacOS możesz spróbować file -I filename(-I jest wielką literą i).

— Rik

5

Czy to czyta cały plik?

— ctrl-alt-delor

2

@ kojow7 utf-8 nie ma nagłówka. Czysty ASCII (tylko 7-bitowy), jest nie do odróżnienia od utf-8 (o to chodzi, nagłówek spowoduje różnego rodzaju problemy). Więc jeśli masz plik ASCII dla pierwszego MB, to ma on pojedynczy znak UTF-8, to nie będziesz wiedział, chyba że przeczytasz cały plik.

— ctrl-alt-delor

3

Nie należy tego akceptować jako odpowiedzi. Komenda „plik” tego nie robi; czyta tylko część pliku i używa magicznych liczb, aby się domyślić. Czasami „plik” może i da ci błędną odpowiedź. Aby sprawdzić, czy plik przechodzi kodowanie takie jak ascii, iso-8859-1, utf-8 lub cokolwiek innego, dobrym rozwiązaniem jest użycie polecenia „iconv”.

— Tim

1

Przetestowałem to i może i nie może zawieść.

— Tim

9

Jest, użyj isutf8polecenia z pakietu moreutils .

Źródło: Jak rozpoznać, czy plik jest zakodowany w UTF-8, czy nie?

— Pablo Olmos de Aguilera C.
źródło

@davidpostill Jestem ciekawy, czy złą praktyką jest cytowanie autora w referencji?

— Pablo Olmos de Aguilera C.

Nie. Dobrą praktyką jest jednak, aby link mówił, dokąd mnie prowadzi. Załóżmy, że czytam tylko niebieski tekst. Po edycji mogę powiedzieć, dlaczego i kiedy powinienem to kliknąć. Przedtem nie mogłem. (To nie ja dokonałem edycji, ale jestem pewien, że 94% jestem pewien, że o to chodziło.)

— Hermann Döppes

Ładnie i ładnie współpracuje find -type f -exec isutf8 {} +, ponieważ cytuje też nazwę pliku. (A korzystanie find ... -exec ... +jest również szybkie)

— Tomasz Gandor

2

Nie używaj filepolecenia. Nie sprawdza całego pliku i w zasadzie zgaduje. Czasami daje nieprawidłowe odpowiedzi.

Możesz sprawdzić, czy plik przechodzi kodowanie UTF-8 w następujący sposób:

$ iconv -f utf8 <filename> -t utf8 -o /dev/null

Kod powrotu równy zero oznacza, że przekazuje UTF8. Niezerowy kod powrotu oznacza, że nie jest poprawny UTF8.

Nie można ustalić, czy plik został koniecznie wyeksportowany przy użyciu określonego schematu kodowania, ponieważ niektóre schematy kodowania nakładają się. Aby to zrobić, konieczne jest osadzenie metadanych w pliku, a nawet wtedy zaufasz każdemu, kto wygenerował ten plik, zamiast samodzielnie go sprawdzać ... i zawsze powinieneś sprawdzać go samodzielnie.

— Tim
źródło

0

Jeszcze innym sposobem jest użycie recode, które zakończy się błędem, jeśli spróbuje dekodować UTF-8 i napotka nieprawidłowe znaki.

if recode utf8/..UCS < "$FILE" >/dev/null 2>&1; then
    echo "Valid utf8 : $FILE"
else
    echo "NOT valid utf8: $FILE"
fi

— mivk
źródło