UnicodeEncodeError: Kodek „ascii” nie może zakodować znaku u '\ xa0' na pozycji 20: porządek poza zakresem (128)

Mam problemy z obsługą znaków Unicode z tekstu pobranego z różnych stron internetowych (na różnych stronach). Używam BeautifulSoup.

Problem polega na tym, że błąd nie zawsze jest powtarzalny; czasami działa z niektórymi stronami, a czasem obrzuca, rzucając UnicodeEncodeError. Próbowałem prawie wszystkiego, co mogłem wymyślić, a jednak nie znalazłem niczego, co działałoby konsekwentnie bez zgłaszania jakiegoś błędu związanego z Unicode.

Jedna z sekcji kodu, która powoduje problemy, pokazano poniżej:

agent_telno = agent.find('div', 'agent_contact_number')
agent_telno = '' if agent_telno is None else agent_telno.contents[0]
p.agent_info = str(agent_contact + ' ' + agent_telno).strip()

Oto ślad stosu wygenerowany na NIEKTÓRYCH ciągach znaków po uruchomieniu powyższego fragmentu:

Traceback (most recent call last):
  File "foobar.py", line 792, in <module>
    p.agent_info = str(agent_contact + ' ' + agent_telno).strip()
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa0' in position 20: ordinal not in range(128)

Podejrzewam, że dzieje się tak, ponieważ niektóre strony (a ściślej strony z niektórych witryn) mogą być kodowane, podczas gdy inne mogą być zakodowane. Wszystkie strony mają siedzibę w Wielkiej Brytanii i dostarczają dane przeznaczone do konsumpcji w Wielkiej Brytanii - więc nie ma żadnych problemów związanych z internalizacją lub obsługą tekstu napisanego w języku innym niż angielski.

Czy ktoś ma jakieś pomysły, jak to rozwiązać, abym ZGODNIE rozwiązał ten problem?

Musisz przeczytać HOWTO w języku Python Unicode . Ten błąd jest pierwszym przykładem .

Zasadniczo przestań używać strdo konwersji z Unicode na zakodowany tekst / bajty.

Zamiast tego należy poprawnie użyć .encode()do zakodowania ciągu:

p.agent_info = u' '.join((agent_contact, agent_telno)).encode('utf-8').strip()

lub pracować całkowicie w trybie Unicode.

Jest to klasyczny punkt bólu unicode u pytona! Rozważ następujące:

a = u'bats\u00E0'
print a
 => batsà

Jak dotąd wszystko dobrze, ale jeśli nazwiemy str (a), zobaczmy, co się stanie:

str(a)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)

Och, dip, to nikomu nie pomoże! Aby naprawić błąd, koduj bajty jawnie za pomocą .encode i powiedz pythonowi, jakiego kodeka użyć:

a.encode('utf-8')
 => 'bats\xc3\xa0'
print a.encode('utf-8')
 => batsà

Voil \ u00E0!

Problem polega na tym, że kiedy wywołujesz str (), python używa domyślnego kodowania znaków, aby spróbować zakodować podane bajty, które w twoim przypadku są czasami reprezentacją znaków Unicode. Aby rozwiązać problem, musisz powiedzieć pythonowi, jak postępować z podanym ciągiem znaków, używając .encode („cokolwiek_kod”). Przez większość czasu powinieneś być w porządku, używając utf-8.

Doskonałą prezentację na ten temat można znaleźć w wykładzie PyCon Neda Batcheldera tutaj: http://nedbatchelder.com/text/unipain.html

Znalazłem elegancką metodę usuwania symboli i kontynuowania ciągów znaków w następujący sposób:

yourstring = yourstring.encode('ascii', 'ignore').decode('ascii')

Ważne jest, aby zauważyć, że użycie opcji ignorowania jest niebezpieczne, ponieważ po cichu usuwa obsługę Unicode (i internacjonalizacji) z kodu, który go używa, jak pokazano tutaj (konwersja Unicode):

>>> u'City: Malmö'.encode('ascii', 'ignore').decode('ascii')
'City: Malm'

cóż, próbowałem wszystkiego, ale to nie pomogło, po googlowaniu doszedłem do wniosku, że to pomogło. Python 2.7 jest w użyciu.

# encoding=utf8
import sys
reload(sys)
sys.setdefaultencoding('utf8')

Subtelnym problemem powodującym nawet awarię drukowania jest nieprawidłowe ustawienie zmiennych środowiskowych, np. tutaj LC_ALL ustawione na „C”. W Debianie odradzają ustawianie: Debian wiki w Locale

$ echo $LANG
en_US.utf8
$ echo $LC_ALL 
C
$ python -c "print (u'voil\u00e0')"
Traceback (most recent call last):
  File "<string>", line 1, in <module>
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe0' in position 4: ordinal not in range(128)
$ export LC_ALL='en_US.utf8'
$ python -c "print (u'voil\u00e0')"
voilà
$ unset LC_ALL
$ python -c "print (u'voil\u00e0')"
voilà

Dla mnie zadziałało:

BeautifulSoup(html_text,from_encoding="utf-8")

Mam nadzieję, że to komuś pomoże.

Przekonałem się, że w większości przypadków usunięcie tych postaci jest znacznie prostsze:

s = mystring.decode('ascii', 'ignore')

Problem polega na tym, że próbujesz wydrukować znak Unicode, ale twój terminal go nie obsługuje.

Możesz spróbować zainstalować language-pack-enpakiet, aby to naprawić:

sudo apt-get install language-pack-en

który zapewnia aktualizacje danych tłumaczeń na język angielski dla wszystkich obsługiwanych pakietów (w tym Python). W razie potrzeby zainstaluj inny pakiet językowy (w zależności od znaków, które próbujesz wydrukować).

W niektórych dystrybucjach Linuksa jest to wymagane, aby upewnić się, że domyślne ustawienia narodowe w języku angielskim są poprawnie skonfigurowane (aby znaki Unicode mogły być obsługiwane przez powłokę / terminal). Czasami łatwiej jest go zainstalować, niż konfigurować go ręcznie.

Następnie, pisząc kod, upewnij się, że używasz odpowiedniego kodowania w kodzie.

Na przykład:

open(foo, encoding='utf-8')

Jeśli nadal masz problem, sprawdź dwukrotnie konfigurację systemu, na przykład:

• Twój plik ustawień regionalnych ( /etc/default/locale), który powinien mieć np

  LANG="en_US.UTF-8"
  LC_ALL="en_US.UTF-8"

  lub:

  LC_ALL=C.UTF-8
  LANG=C.UTF-8

• Wartość LANG/ LC_CTYPEw powłoce.

• Sprawdź, jakie ustawienia regionalne obsługuje Twoja powłoka:

  locale -a | grep "UTF-8"

Demonstracja problemu i rozwiązania w nowej maszynie wirtualnej.

1. Zainicjuj i zainicjuj maszynę wirtualną (np. Za pomocą vagrant):

   vagrant init ubuntu/trusty64; vagrant up; vagrant ssh

   ^{Zobacz: dostępne pudełka Ubuntu .} .

2. Drukowanie znaków Unicode (takich jak znak towarowy, jak ™):

   $ python -c 'print(u"\u2122");'
   Traceback (most recent call last):
     File "<string>", line 1, in <module>
   UnicodeEncodeError: 'ascii' codec can't encode character u'\u2122' in position 0: ordinal not in range(128)

3. Teraz instaluję language-pack-en:

   $ sudo apt-get -y install language-pack-en
   The following extra packages will be installed:
     language-pack-en-base
   Generating locales...
     en_GB.UTF-8... /usr/sbin/locale-gen: done
   Generation complete.

4. Teraz problem powinien zostać rozwiązany:

   $ python -c 'print(u"\u2122");'
   ™

5. W przeciwnym razie spróbuj wykonać następujące polecenie:

   $ LC_ALL=C.UTF-8 python -c 'print(u"\u2122");'
   ™

W skorupkach:

1. Znajdź obsługiwane ustawienia narodowe UTF-8 za pomocą następującego polecenia:

   locale -a | grep "UTF-8"

2. Wyeksportuj go przed uruchomieniem skryptu, np .:

   export LC_ALL=$(locale -a | grep UTF-8)

   lub ręcznie jak:

   export LC_ALL=C.UTF-8

3. Sprawdź to, drukując znak specjalny, np . ™:

   python -c 'print(u"\u2122");'

Powyżej testowane w Ubuntu.

Dodaj wiersz poniżej na początku skryptu (lub jako drugi wiersz):

# -*- coding: utf-8 -*-

To jest definicja kodowania kodu źródłowego Pythona. Więcej informacji w PEP 263 .

Oto przegląd niektórych innych tak zwanych odpowiedzi „wykopać”. Są sytuacje, w których po prostu wyrzucenie kłopotliwych znaków / sznurków jest dobrym rozwiązaniem, pomimo wyrażonych tutaj protestów.

def safeStr(obj):
    try: return str(obj)
    except UnicodeEncodeError:
        return obj.encode('ascii', 'ignore').decode('ascii')
    except: return ""

Testowanie:

if __name__ == '__main__': 
    print safeStr( 1 ) 
    print safeStr( "test" ) 
    print u'98\xb0'
    print safeStr( u'98\xb0' )

Wyniki:

1
test
98°
98

Wskazówka: toAsciizamiast tego możesz nazwać tę funkcję ? To kwestia preferencji.

Zostało to napisane dla Python 2. Dla Python 3, myślę, że będziesz chciał użyć bytes(obj,"ascii")zamiast str(obj). Jeszcze tego nie przetestowałem, ale w pewnym momencie zmienię odpowiedź.

Zawsze umieszczam poniższy kod w pierwszych dwóch wierszach plików Pythona:

# -*- coding: utf-8 -*-
from __future__ import unicode_literals

Znaleziono tutaj proste funkcje pomocnicze .

def safe_unicode(obj, *args):
    """ return the unicode representation of obj """
    try:
        return unicode(obj, *args)
    except UnicodeDecodeError:
        # obj is byte string
        ascii_text = str(obj).encode('string_escape')
        return unicode(ascii_text)

def safe_str(obj):
    """ return the byte string representation of obj """
    try:
        return str(obj)
    except UnicodeEncodeError:
        # obj is unicode
        return unicode(obj).encode('unicode_escape')

Po prostu dodaj do kodu zmiennej („utf-8”)

agent_contact.encode('utf-8')

Otwórz terminal i uruchom poniższe polecenie:

export LC_ALL="en_US.UTF-8"

Właśnie użyłem następujących:

import unicodedata
message = unicodedata.normalize("NFKD", message)

Sprawdź, co mówi o tym dokumentacja:

unicodedata.normalize (form, unistr) Zwraca normalną formę formularza dla unistr ciągu znaków Unicode. Prawidłowe wartości formularza to „NFC”, „NFKC”, „NFD” i „NFKD”.

Standard Unicode definiuje różne formy normalizacji ciągu Unicode w oparciu o definicję równoważności kanonicznej i równoważności zgodności. W Unicode kilka znaków można wyrazić na różne sposoby. Na przykład znak U + 00C7 (LATIN CAPITAL LETTER C WITH CEDILLA) można również wyrazić jako sekwencję U + 0043 (LATIN CAPITAL LETTER C) U + 0327 (COMBINING CEDILLA).

Dla każdego znaku istnieją dwie normalne formy: normalna postać C i normalna postać D. Normalna postać D (NFD) jest również znana jako rozkład kanoniczny i tłumaczy każdy znak na swoją rozkładaną formę. Normalna forma C (NFC) najpierw stosuje rozkład kanoniczny, a następnie ponownie komponuje wstępnie połączone znaki.

Oprócz tych dwóch postaci istnieją dwie dodatkowe postacie normalne oparte na równoważności zgodności. W Unicode obsługiwane są niektóre znaki, które normalnie byłyby zunifikowane z innymi znakami. Na przykład U + 2160 (ROMAN NUMERAL ONE) to tak naprawdę to samo, co U + 0049 (LITIN CAPITAL LETTER I). Jest on jednak obsługiwany w standardzie Unicode w celu zapewnienia zgodności z istniejącymi zestawami znaków (np. Gb2312).

Normalna postać KD (NFKD) zastosuje dekompozycję zgodności, tzn. Zastąpi wszystkie znaki zgodności ich odpowiednikami. Forma normalna KC (NFKC) najpierw stosuje rozkład zgodności, a następnie kompozycję kanoniczną.

Nawet jeśli dwa ciągi Unicode są znormalizowane i wyglądają tak samo dla ludzkiego czytelnika, jeśli jeden ma łączące znaki, a drugi nie, mogą nie być sobie równe.

Rozwiązuje to dla mnie. Proste i łatwe.

Poniższe rozwiązanie działało dla mnie, właśnie dodane

„ciąg”

(reprezentujący ciąg jako Unicode) przed moim ciągiem.

result_html = result.to_html(col_space=1, index=False, justify={'right'})

text = u"""
<html>
<body>
<p>
Hello all, <br>
<br>
Here's weekly summary report.  Let me know if you have any questions. <br>
<br>
Data Summary <br>
<br>
<br>
{0}
</p>
<p>Thanks,</p>
<p>Data Team</p>
</body></html>
""".format(result_html)

Niestety działa to w Pythonie 3 przynajmniej ...

Python 3

Czasami błąd występuje w zmiennych środowiskowych i zawiera się w nich

import os
import locale
os.environ["PYTHONIOENCODING"] = "utf-8"
myLocale=locale.setlocale(category=locale.LC_ALL, locale="en_GB.UTF-8")
... 
print(myText.encode('utf-8', errors='ignore'))

gdzie błędy są ignorowane w kodowaniu.

Właśnie miałem ten problem i Google zaprowadził mnie tutaj, więc aby dodać tutaj ogólne rozwiązania, oto, co zadziałało dla mnie:

# 'value' contains the problematic data
unic = u''
unic += value
value = unic

Wpadłem na ten pomysł po przeczytaniu prezentacji Neda .

Nie twierdzę jednak, że w pełni rozumiem, dlaczego to działa. Jeśli więc ktoś może edytować tę odpowiedź lub umieścić komentarz w celu wyjaśnienia, docenię to.

Wystąpił ten błąd podczas uruchamiania manage.py migratew Django ze zlokalizowanymi urządzeniami.

Nasze źródło zawierało # -*- coding: utf-8 -*-deklarację, MySQL został poprawnie skonfigurowany dla utf8, a Ubuntu miał odpowiedni pakiet językowy i wartości /etc/default/locale.

Problem polegał na tym, że w kontenerze Django (używamy Dockera) brakowało LANGzmiennej env.

Ustawianie LANGsię en_US.UTF-8i ponownym uruchomieniu pojemnik przed ponownym uruchomieniem migracje rozwiązaniu problemu.

Wiele odpowiedzi tutaj (na przykład @agf i @Andbdrew) odnosiło się już do najbardziej bezpośrednich aspektów pytania PO.

Myślę jednak, że istnieje jeden subtelny, ale ważny aspekt, który został w dużej mierze zignorowany i który ma duże znaczenie dla każdego, kto jak ja, skończył tutaj, próbując zrozumieć kodowanie w Pythonie: zarządzanie reprezentacją znaków w Python 2 vs Python 3 jest zupełnie inne . Wydaje mi się, że duża część zamieszania dotyczy ludzi czytających o kodowaniu w Pythonie bez świadomości wersji.

Sugeruję, aby każdy zainteresowany zrozumieniem przyczyny problemu OP zaczął od przeczytania wstępu Spolsky'ego do reprezentacji znaków i Unicode, a następnie przeniósł się do Batcheldera na Unicode w Python 2 i Python 3.

Staraj się unikać konwersji zmiennej na str (zmienna). Czasami może to powodować problem.

Prosta wskazówka, której należy unikać:

try: 
    data=str(data)
except:
    data = data #Don't convert to String

Powyższy przykład rozwiąże również błąd kodowania.

Jeśli masz coś takiego, packet_data = "This is data"zrób to w następnym wierszu, zaraz po zainicjowaniu packet_data:

unic = u''
packet_data = unic

Aktualizacja dla Python 3.0 i nowszych. Spróbuj wykonać następujące czynności w edytorze python:

locale-gen en_US.UTF-8
export LANG=en_US.UTF-8 LANGUAGE=en_US.en
LC_ALL=en_US.UTF-8

Ustawia to domyślne kodowanie ustawień regionalnych systemu na format UTF-8.

Więcej można przeczytać tutaj w PEP 538 - Wymuszanie starszej wersji języka C na lokalizację opartą na UTF-8 .

Miałem ten problem, próbując wypisać znaki Unicode stdout, ale zsys.stdout.write zamiast, zamiast drukować (aby móc obsługiwać również wyjście do innego pliku).

Z własnej dokumentacji BeautifulSoup rozwiązałem to za pomocą biblioteki kodeków:

import sys
import codecs

def main(fIn, fOut):
    soup = BeautifulSoup(fIn)
    # Do processing, with data including non-ASCII characters
    fOut.write(unicode(soup))

if __name__ == '__main__':
    with (sys.stdin) as fIn: # Don't think we need codecs.getreader here
        with codecs.getwriter('utf-8')(sys.stdout) as fOut:
            main(fIn, fOut)

Ten problem często występuje, gdy projekt django wdraża się przy użyciu Apache. Ponieważ Apache ustawia zmienną środowiskową LANG = C w / etc / sysconfig / httpd. Po prostu otwórz plik i skomentuj (lub zmień swój styl) to ustawienie. Lub użyj opcji lang komendy WSGIDaemonProcess, w takim przypadku będziesz mógł ustawić inną zmienną środowiskową LANG dla różnych wirtualnych hostów.

Zalecane rozwiązanie nie działało dla mnie i mogłem żyć z odrzucaniem wszystkich postaci nie ascii, więc

s = s.encode('ascii',errors='ignore')

co pozostawiło mi coś rozebranego, co nie powoduje błędów.

To zadziała:

 >>>print(unicodedata.normalize('NFD', re.sub("[\(\[].*?[\)\]]", "", "bats\xc3\xa0")).encode('ascii', 'ignore'))

Wynik:

>>>bats