Jakie jest najszybsze, najłatwiejsze narzędzie lub metoda konwersji plików tekstowych między zestawami znaków?

W szczególności muszę przekonwertować z UTF-8 na ISO-8859-15 i odwrotnie.

Wszystko idzie: jednowierszowe w Twoim ulubionym języku skryptowym, narzędzia wiersza poleceń lub inne narzędzia do systemu operacyjnego, stron internetowych itp.

Najlepsze rozwiązania do tej pory:

W systemach Linux / UNIX / OS X / cygwin:

• Gnu iconv sugerowany przez Troelsa Arvina najlepiej stosować jako filtr . Wydaje się być powszechnie dostępny. Przykład:

  $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt
  

  Jak zauważył Ben , istnieje internetowy konwerter wykorzystujący iconv .

• Recode Gnu ( ręczne ) sugerowane przez Cheekysoft przekonwertuje jeden lub kilka plików w miejscu . Przykład:

  $ recode UTF8..ISO-8859-15 in.txt
  

  Ten używa krótszych aliasów:

  $ recode utf8..l9 in.txt
  

  Recode obsługuje również powierzchnie, które można wykorzystać do konwersji między różnymi typami zakończeń linii i kodowaniem:

  Konwertuj znaki nowej linii z LF (Unix) na CR-LF (DOS):

  $ recode ../CR-LF in.txt
  

  Plik kodowania Base64:

  $ recode ../Base64 in.txt
  

  Możesz je również łączyć.

  Konwertuj plik UTF8 zakodowany w Base64 z zakończeniami linii Unix na plik Latin 1 w formacie Base64 z zakończeniami linii Dos:

  $ recode utf8/Base64..l1/CR-LF/Base64 file.txt
  

W systemie Windows z Powershell ( Jay Bazuzi ):

• PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

  (Brak obsługi ISO-8859-15; mówi, że obsługiwane zestawy znaków to Unicode, UTF7, UTF8, UT32, ASCII, Bigendianunicode, domyślny i OEM).

Edytować

Czy masz na myśli wsparcie iso-8859-1? Użycie „String” robi to np. Na odwrót

gc -en string in.txt | Out-File -en utf8 out.txt

Uwaga: Możliwe wartości wyliczeń to „Nieznany, Ciąg, Unicode, Bajt, BigEndianUnicode, UTF8, UTF7, Ascii”.

• CsCvt - Kalytta's Character Set Converter to kolejne świetne narzędzie do konwersji oparte na linii poleceń dla systemu Windows.

Samodzielne podejście do użyteczności

iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt

-f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

Nie musisz podawać żadnego z tych argumentów. Będą domyślnie ustawione na bieżące ustawienia regionalne, którymi zwykle jest UTF-8.

Wypróbuj VIM

Jeśli tak vim, możesz użyć tego:

Nie testowane dla każdego kodowania.

Fajne jest to, że nie musisz znać kodowania źródłowego

vim +"set nobomb | set fenc=utf8 | x" filename.txt

Pamiętaj, że to polecenie bezpośrednio modyfikuje plik

Część wyjaśniająca!

1. +: Używany przez vima do bezpośredniego wprowadzenia polecenia podczas otwierania pliku. Zwykle używany do otwierania pliku w określonym wierszu:vim +14 file.txt
2. |: Separator wielu poleceń (jak ;w bash)
3. set nobomb : brak BOM utf-8
4. set fenc=utf8: Ustaw nowe kodowanie na link do dokumentu utf-8
5. x : Zapisz i zamknij plik
6. filename.txt : ścieżka do pliku
7. ": cytaty są tutaj z powodu potoków. (w przeciwnym razie bash użyje ich jako rury bash)

Pod Linuksem możesz użyć bardzo wydajnej komendy recode, aby spróbować konwertować różne zestawy znaków, a także wszelkie problemy z zakończeniem linii. recode -l pokaże wszystkie formaty i kodowania, między którymi narzędzie może konwertować. Prawdopodobnie będzie to BARDZO długa lista.

iconv (1)

iconv -f FROM-ENCODING -t TO-ENCODING file.txt

Istnieją również narzędzia oparte na iconv w wielu językach.

Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

Najkrótsza wersja, jeśli możesz założyć, że BOM wejściowy jest poprawny:

gc FILE.TXT | Out-File -en utf7 file-utf7.txt

Wypróbuj funkcję Bash iconv

Umieściłem to w .bashrc:

utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

.. aby móc konwertować pliki w taki sposób:

utf8 MyClass.java

Wypróbuj Notepad ++

W systemie Windows mogłem użyć Notepad ++ do konwersji z ISO-8859-1 na UTF-8 . Kliknij, "Encoding"a następnie "Convert to UTF-8".

Oneliner używa find, z automatycznym wykrywaniem zestawu znaków

Kodowanie znaków wszystkich pasujących plików tekstowych jest wykrywane automatycznie, a wszystkie pasujące pliki tekstowe są konwertowane na utf-8kodowanie:

$ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

W celu przeprowadzenia tych etapów podpowłoki shjest używany -exec, prowadzenie jedną wkładkę z -cflagą i przepuszczenie pliku jako argumentu położenia "$1"z -- {}. W międzyczasie utf-8plik wyjściowy ma tymczasową nazwę converted.

W ten file -bisposób oznacza:

• -b, --brief Nie dołączaj nazw plików do linii wyjściowych (tryb skrócony).

• -i, --mime Powoduje, że komenda file wyświetla łańcuchy znaków typu MIME, a nie bardziej tradycyjne, czytelne dla człowieka. Dlatego może powiedzieć na przykład text/plain; charset=us-asciizamiast ASCII text. Te sedkawałki tego polecenia, aby tylko us-asciijak jest to wymagane przez iconv.

findKomenda jest bardzo użyteczna dla takiej automatyzacji zarządzania plikami. Kliknij tutaj, aby uzyskać więcej findobfitości .

PHP iconv ()

iconv("UTF-8", "ISO-8859-15", $input);

DOS / Windows: użyj strony kodowej

chcp 65001>NUL
type ascii.txt > unicode.txt

Polecenia chcpmożna użyć do zmiany strony kodowej. Strona kodowa 65001 to nazwa Microsoft dla UTF-8. Po ustawieniu strony kodowej dane wyjściowe wygenerowane przez następujące polecenia będą ustawione na stronie kodowej.

do pisania pliku właściwości (Java) zwykle używam tego w systemie Linux (dystrybucje mint i ubuntu):

$ native2ascii filename.properties

Na przykład:

$ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

PS: Napisałem Wykonanie numer jeden / dwa w Portugalii, aby wymusić znaki specjalne.

W moim przypadku przy pierwszym wykonaniu otrzymałem ten komunikat:

$ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

Kiedy zainstalowałem pierwszą opcję (gcj-5-jdk) problem został zakończony.

Mam nadzieję, że komuś to pomoże.

Z rubinem:

ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

Źródło: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

Użyj tego skryptu Python: https://github.com/goerz/convert_encoding.py Działa na dowolnej platformie. Wymaga Python 2.7.

Moim ulubionym narzędziem do tego jest Jedit (edytor tekstowy oparty na Javie), który ma dwie bardzo wygodne funkcje:

• Jeden, który pozwala użytkownikowi ponownie załadować tekst z innym kodowaniem (i jako taki, kontrolować wizualnie wynik)
• Kolejny, który umożliwia użytkownikowi jawne wybranie kodowania (i znaku końca linii) przed zapisaniem

Wystarczy zmienić kodowanie załadowanego pliku w IntelliJ IDEA IDE, po prawej stronie paska stanu (u dołu), gdzie wskazany jest aktualny zestaw znaków. Wyświetla monit o ponowne załadowanie lub konwersję, użyj Konwertuj. Należy wcześniej wykonać kopię zapasową oryginalnego pliku.

Jeśli aplikacje macOS GUI to Twój chleb powszedni, SubEthaEdit to edytor tekstowy, do którego zwykle chodzę w celu zakodowania kodowania - jego „podgląd konwersji” pozwala zobaczyć wszystkie nieprawidłowe znaki w kodowaniu wyjściowym i je naprawić / usunąć.

I jest teraz open source , więc tak dla nich for.

Jak opisano w Jak poprawić kodowanie znaków w pliku? Synchronizuj to! umożliwia łatwą konwersję w systemie OS X między wszystkimi kodowaniami obsługiwanymi przez bibliotekę ICU .

Dodatkowo możesz wyświetlić niektóre bajty pliku przetłumaczonego na Unicode ze wszystkich kodowań, aby szybko sprawdzić, który jest odpowiedni dla twojego pliku.