Python, Unicode i konsola Windows

Kiedy próbuję wydrukować ciąg Unicode w konsoli systemu Windows, pojawia się UnicodeEncodeError: 'charmap' codec can't encode character ....błąd. Zakładam, że dzieje się tak, ponieważ konsola systemu Windows nie akceptuje znaków tylko w Unicode. Jaki jest najlepszy sposób obejścia tego? Czy jest jakiś sposób, żebym mógł sprawić, by Python automatycznie drukował ?zamiast niepowodzenia w tej sytuacji?

Edycja: używam Pythona 2.5.

Uwaga: odpowiedź @ LasseV.Karlsen ze znacznikiem wyboru jest nieco nieaktualna (od 2008 r.). Prosimy o ostrożne korzystanie z poniższych rozwiązań / odpowiedzi / sugestii !!

Odpowiedź @JFSebastian jest bardziej aktualna na dzień dzisiejszy (6 stycznia 2016 r.).

Uwaga: ta odpowiedź jest nieco nieaktualna (od 2008 r.). Proszę ostrożnie korzystać z poniższego rozwiązania !!

Oto strona, która szczegółowo opisuje problem i rozwiązanie (wyszukaj na stronie tekst Wrapping sys.stdout into an instance ):

PrintFails - Python Wiki

Oto fragment kodu z tej strony:

$ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line'
  UTF-8
  <type 'unicode'> 2
  Б
  Б

  $ python -c 'import sys, codecs, locale; print sys.stdout.encoding; \
    sys.stdout = codecs.getwriter(locale.getpreferredencoding())(sys.stdout); \
    line = u"\u0411\n"; print type(line), len(line); \
    sys.stdout.write(line); print line' | cat
  None
  <type 'unicode'> 2
  Б
  Б

Na tej stronie jest więcej informacji, które warto przeczytać.

Aktualizacja: Python 3.6 implementuje PEP 528: Zmień kodowanie konsoli systemu Windows na UTF-8 : domyślna konsola w systemie Windows będzie teraz akceptować wszystkie znaki Unicode. Wewnętrznie używa tego samego API Unicode jak na win-unicode-consoleopakowaniu wymienionym poniżej . print(unicode_string)powinno teraz działać.

Pojawia się UnicodeEncodeError: 'charmap' codec can't encode character... błąd.

Ten błąd oznacza, że ​​znaki Unicode, które próbujesz wydrukować, nie mogą być reprezentowane przy użyciu bieżącego chcpkodowania znaków konsoli. Strona kodowa jest często cp437kodowana 8-bitowo, na przykład może reprezentować tylko ~ 0x100 znaków z ~ 1 M znaków Unicode:

>>> u "\ N {EURO SIGN}". encode ('cp437')
Traceback (ostatnie ostatnie połączenie):
...
UnicodeEncodeError: kodek „charmap” nie może zakodować znaku „\ u20ac” na pozycji 0:
mapy znaków do 

Zakładam, że dzieje się tak, ponieważ konsola systemu Windows nie akceptuje znaków tylko w Unicode. Jaki jest najlepszy sposób obejścia tego?

Konsola systemu Windows akceptuje znaki Unicode, a nawet może je wyświetlać (tylko BMP), jeśli skonfigurowano odpowiednią czcionkę . WriteConsoleW()API należy używać zgodnie z sugestią zawartą w odpowiedzi @Daira Hopwood . Można to nazwać transparentnie, tzn. Nie musisz i nie powinieneś modyfikować swoich skryptów, jeśli używasz win-unicode-consolepakietu :

T:\> py -mpip install win-unicode-console
T:\> py -mrun your_script.py

Zobacz O co chodzi z Pythonem 3.4, Unicode, różnymi językami i systemem Windows?

Czy jest jakiś sposób, żebym mógł sprawić, by Python automatycznie drukował ?zamiast niepowodzenia w tej sytuacji?

Jeśli ?w twoim przypadku wystarczy zamienić wszystkie niekodowalne znaki na, możesz ustawić PYTHONIOENCODINGenvvar :

T:\> set PYTHONIOENCODING=:replace
T:\> python3 -c "print(u'[\N{EURO SIGN}]')"
[?]

W Pythonie PYTHONIOENCODING3.6+ kodowanie określone przez envvar jest ignorowane dla buforów konsoli interaktywnej, chyba że PYTHONLEGACYWINDOWSIOENCODINGenvvar jest ustawiony na niepusty ciąg.

Pomimo innych wiarygodnie brzmiących odpowiedzi, które sugerują zmianę strony kodowej na 65001, to nie działa . (Również, zmieniając domyślne kodowanie za pomocą sys.setdefaultencodingto nie jest dobry pomysł ).

Zobacz to pytanie, aby uzyskać szczegółowe informacje i kod, który działa.

Jeśli nie jesteś zainteresowany uzyskaniem wiarygodnej reprezentacji złych znaków, możesz użyć czegoś takiego (praca z pythonem> = 2.6, w tym 3.x):

from __future__ import print_function
import sys

def safeprint(s):
    try:
        print(s)
    except UnicodeEncodeError:
        if sys.version_info >= (3,):
            print(s.encode('utf8').decode(sys.stdout.encoding))
        else:
            print(s.encode('utf8'))

safeprint(u"\N{EM DASH}")

Złe znaki w ciągu zostaną przekonwertowane na reprezentację, którą można wydrukować w konsoli systemu Windows.

Poniższy kod spowoduje, że dane wyjściowe Pythona będą wyświetlane na konsoli jako UTF-8 nawet w systemie Windows.

Konsola będzie dobrze wyświetlać znaki w systemie Windows 7, ale w systemie Windows XP nie będzie ich dobrze wyświetlać, ale przynajmniej będzie działać i co najważniejsze, będziesz mieć spójne dane wyjściowe ze skryptu na wszystkich platformach. Będziesz mógł przekierować dane wyjściowe do pliku.

Poniższy kod został przetestowany w Pythonie 2.6 w systemie Windows.

#!/usr/bin/python
# -*- coding: UTF-8 -*-

import codecs, sys

reload(sys)
sys.setdefaultencoding('utf-8')

print sys.getdefaultencoding()

if sys.platform == 'win32':
    try:
        import win32console 
    except:
        print "Python Win32 Extensions module is required.\n You can download it from https://sourceforge.net/projects/pywin32/ (x86 and x64 builds are available)\n"
        exit(-1)
    # win32console implementation  of SetConsoleCP does not return a value
    # CP_UTF8 = 65001
    win32console.SetConsoleCP(65001)
    if (win32console.GetConsoleCP() != 65001):
        raise Exception ("Cannot set console codepage to 65001 (UTF-8)")
    win32console.SetConsoleOutputCP(65001)
    if (win32console.GetConsoleOutputCP() != 65001):
        raise Exception ("Cannot set console output codepage to 65001 (UTF-8)")

#import sys, codecs
sys.stdout = codecs.getwriter('utf8')(sys.stdout)
sys.stderr = codecs.getwriter('utf8')(sys.stderr)

print "This is an Е乂αmp١ȅ testing Unicode support using Arabic, Latin, Cyrillic, Greek, Hebrew and CJK code points.\n"

Po prostu wprowadź ten kod w linii poleceń przed wykonaniem skryptu w Pythonie:

chcp 65001 & set PYTHONIOENCODING=utf-8

Podobnie jak odpowiedź Giampaolo Rodolà, ale jeszcze bardziej brudna: naprawdę, naprawdę zamierzam spędzić dużo czasu (wkrótce) na zrozumieniu całego tematu kodowań i ich zastosowania w konsolach Windoze,

W tej chwili chciałem tylko sthg, co oznaczałoby, że mój program NIE ulegnie awarii i co zrozumiałem ... a także nie wymagało importowania zbyt wielu egzotycznych modułów (w szczególności używam Jythona, więc przez połowę czasu Python okazuje się, że w rzeczywistości nie jest dostępny).

def pr(s):
    try:
        print(s)
    except UnicodeEncodeError:
        for c in s:
            try:
                print( c, end='')
            except UnicodeEncodeError:
                print( '?', end='')

Uwaga: "pr" jest krótsze niż "print" (i trochę krótsze niż "safeprint") ...!

W przypadku Pythona 2 wypróbuj:

print unicode(string, 'unicode-escape')

W przypadku Pythona 3 wypróbuj:

import os
string = "002 Could've Would've Should've"
os.system('echo ' + string)

Lub wypróbuj win-unicode-console:

pip install win-unicode-console
py -mrun your_script.py

TL; DR:

print(yourstring.encode('ascii','replace'));

Sam napotkałem to, pracując nad botem do czatu na Twitchu (IRC). (Najnowszy Python 2.7)

Chciałem przeanalizować wiadomości na czacie, aby odpowiedzieć ...

msg = s.recv(1024).decode("utf-8")

ale także bezpiecznie wydrukuj je na konsoli w formacie czytelnym dla człowieka:

print(msg.encode('ascii','replace'));

To rozwiązało problem z wyrzucaniem przez bota UnicodeEncodeError: 'charmap'błędów i zastąpiło znaki Unicode na ?.

Przyczyną twojego problemu NIE jest konsola Win, która nie chce akceptować Unicode (tak jak to robi, ponieważ domyślam się, że Win2k jest domyślnie). Jest to domyślne kodowanie systemu. Wypróbuj ten kod i zobacz, co daje:

import sys
sys.getdefaultencoding()

jeśli mówi ascii, to jest twoja przyczyna ;-) Musisz utworzyć plik o nazwie sitecustomize.py i umieścić go w ścieżce Pythona (umieściłem go w /usr/lib/python2.5/site-packages, ale to jest różnica Win - to jest c: \ python \ lib \ site-packages czy coś), z następującą zawartością:

import sys
sys.setdefaultencoding('utf-8')

i być może będziesz chciał określić kodowanie również w swoich plikach:

# -*- coding: UTF-8 -*-
import sys,time

Edycja: więcej informacji można znaleźć w doskonałej książce Dive into Python

Coś podobnego do odpowiedzi JF Sebastiana, ale bardziej bezpośrednie.

Jeśli masz ten problem podczas drukowania do konsoli / terminala, wykonaj następujące czynności:

>set PYTHONIOENCODING=UTF-8

Python 3.6 windows7: Istnieje kilka sposobów na uruchomienie Pythona, możesz użyć konsoli Pythona (która ma logo Pythona) lub konsoli Windows (jest na niej napisane cmd.exe).

Nie mogłem wydrukować znaków utf8 w konsoli systemu Windows. Drukowanie znaków utf-8 wyrzuca mi ten błąd:

OSError: [winError 87] The paraneter is incorrect 
Exception ignored in: (_io-TextIOwrapper name='(stdout)' mode='w' ' encoding='utf8') 
OSError: [WinError 87] The parameter is incorrect 

Po próbie zrozumienia powyższej odpowiedzi bez zrozumienia stwierdziłem, że był to tylko problem z ustawieniem. Kliknij prawym przyciskiem myszy w górnej części okien konsoli cmd, na karcie fontwybierz konsolę lucida.

James Sulak zapytał,

Czy jest jakiś sposób, aby Python automatycznie drukował? zamiast zawieść w tej sytuacji?

Inne rozwiązania zalecają próbę modyfikacji środowiska Windows lub zastąpienia print()funkcji Pythona . Poniższa odpowiedź zbliża się do spełnienia prośby Sulaka.

W Windows 7, Python 3.5 może drukować Unicode bez rzucania UnicodeEncodeError:

    Zamiast:     print(text)
    substytut:     print(str(text).encode('utf-8'))

Zamiast rzucać wyjątek, Python wyświetla teraz niedrukowalne znaki Unicode jako kody szesnastkowe \ xNN , np .:

  Halmalo n \ xe2 \ x80 \ x99 \ xc3 \ xa9tait plus qu \ xe2 \ x80 \ x99un point noir

Zamiast

  Halmalo n'était plus qu'un point noir

To prawda, że ​​to drugie jest preferowane ceteris paribus , ale poza tym to pierwsze jest całkowicie dokładne w przypadku komunikatów diagnostycznych. Ponieważ wyświetla Unicode jako literalne wartości bajtów, może również pomóc w diagnozowaniu problemów z kodowaniem / dekodowaniem.

Uwaga:str() powyżej konieczne jest wezwanie, ponieważ w przeciwnym razie encode()powoduje Python odrzucić znak Unicode jako krotki liczb.