UnicodeEncodeError: kodek „latin-1” nie może zakodować znaku

Co może powodować ten błąd, gdy próbuję wstawić obcy znak do bazy danych?

>>UnicodeEncodeError: 'latin-1' codec can't encode character u'\u201c' in position 0: ordinal not in range(256)

Jak mam to rozwiązać?

Dzięki!

Znak U + 201C Lewy podwójny cudzysłów nie występuje w kodowaniu Latin-1 (ISO-8859-1).

To jest obecny w stronie kodowej 1252 (zachodnia Europejskiej). Jest to kodowanie specyficzne dla systemu Windows oparte na standardzie ISO-8859-1, ale umieszczające dodatkowe znaki w zakresie 0x80-0x9F. Strona kodowa 1252 jest często mylona z ISO-8859-1 i jest to denerwujące, ale teraz standardowe zachowanie przeglądarki internetowej, że jeśli serwujesz swoje strony jako ISO-8859-1, przeglądarka będzie traktować je jako cp1252. Jednak tak naprawdę są to dwa różne kodowania:

>>> u'He said \u201CHello\u201D'.encode('iso-8859-1')
UnicodeEncodeError
>>> u'He said \u201CHello\u201D'.encode('cp1252')
'He said \x93Hello\x94'

Jeśli używasz bazy danych tylko jako magazynu bajtów, możesz użyć cp1252 do kodowania “i innych znaków obecnych na stronie kodowej Windows Western. Ale nadal inne znaki Unicode, które nie są obecne w cp1252, będą powodować błędy.

Możesz użyć encode(..., 'ignore')do wyeliminowania błędów, pozbywając się znaków, ale tak naprawdę w tym stuleciu powinieneś używać UTF-8 zarówno w bazie danych, jak i na stronach. To kodowanie pozwala na użycie dowolnego znaku. Najlepiej byłoby również powiedzieć MySQL, że używasz łańcuchów UTF-8 (ustawiając połączenie z bazą danych i sortowanie w kolumnach ciągów), aby można było uzyskać prawidłowe porównanie i sortowanie bez rozróżniania wielkości liter.

Napotkałem ten sam problem podczas korzystania z modułu Python MySQLdb. Ponieważ MySQL umożliwia przechowywanie dowolnych danych binarnych w polu tekstowym, niezależnie od zestawu znaków, znalazłem tutaj swoje rozwiązanie:

Używanie UTF8 z Python MySQLdb

Edycja: Cytuj z powyższego adresu URL, aby spełnić żądanie w pierwszym komentarzu ...

„UnicodeEncodeError: kodek 'latin-1' nie może zakodować znaku ...”

Dzieje się tak, ponieważ MySQLdb normalnie próbuje zakodować wszystko do latin-1. Można to naprawić, wykonując następujące polecenia zaraz po ustanowieniu połączenia:

db.set_character_set('utf8')
dbc.execute('SET NAMES utf8;')
dbc.execute('SET CHARACTER SET utf8;')
dbc.execute('SET character_set_connection=utf8;')

„db” jest wynikiem MySQLdb.connect(), a „dbc” jest wynikiem db.cursor().

Najlepszym rozwiązaniem jest

1. ustaw kodowanie mysql na 'utf-8'

2. polub ten komentarz (dodaj use_unicode=Truei charset="utf8")

   db = MySQLdb.connect (host = "localhost", user = "root", passwd = "", db = "testdb", use_unicode = True, charset = "utf8") - KyungHoon Kim 13 marca 2014 o 17:04

szczegóły patrz:

class Connection(_mysql.connection):

    """MySQL Database Connection Object"""

    default_cursor = cursors.Cursor

    def __init__(self, *args, **kwargs):
        """

        Create a connection to the database. It is strongly recommended
        that you only use keyword parameters. Consult the MySQL C API
        documentation for more information.

        host
          string, host to connect

        user
          string, user to connect as

        passwd
          string, password to use

        db
          string, database to use

        port
          integer, TCP/IP port to connect to

        unix_socket
          string, location of unix_socket to use

        conv
          conversion dictionary, see MySQLdb.converters

        connect_timeout
          number of seconds to wait before the connection attempt
          fails.

        compress
          if set, compression is enabled

        named_pipe
          if set, a named pipe is used to connect (Windows only)

        init_command
          command which is run once the connection is created

        read_default_file
          file from which default client values are read

        read_default_group
          configuration group to use from the default file

        cursorclass
          class object, used to create cursors (keyword only)

        use_unicode
          If True, text-like columns are returned as unicode objects
          using the connection's character set.  Otherwise, text-like
          columns are returned as strings.  columns are returned as
          normal strings. Unicode objects will always be encoded to
          the connection's character set regardless of this setting.

        charset
          If supplied, the connection character set will be changed
          to this character set (MySQL-4.1 and newer). This implies
          use_unicode=True.

        sql_mode
          If supplied, the session SQL mode will be changed to this
          setting (MySQL-4.1 and newer). For more details and legal
          values, see the MySQL documentation.

        client_flag
          integer, flags to use or 0
          (see MySQL docs or constants/CLIENTS.py)

        ssl
          dictionary or mapping, contains SSL connection parameters;
          see the MySQL documentation for more details
          (mysql_ssl_set()).  If this is set, and the client does not
          support SSL, NotSupportedError will be raised.

        local_infile
          integer, non-zero enables LOAD LOCAL INFILE; zero disables

        autocommit
          If False (default), autocommit is disabled.
          If True, autocommit is enabled.
          If None, autocommit isn't set and server default is used.

        There are a number of undocumented, non-standard methods. See the
        documentation for the MySQL C API for some hints on what they do.

        """

Mam nadzieję, że twoja baza danych ma przynajmniej UTF-8. Następnie będziesz musiał uruchomić, yourstring.encode('utf-8')zanim spróbujesz umieścić go w bazie danych.

Próbujesz zapisać punkt kodowy Unicode \u201cprzy użyciu kodowania, ISO-8859-1 / Latin-1które nie może opisać tego punktu kodowego. Być może będziesz musiał zmienić bazę danych, aby używała utf-8 i przechowywać dane łańcuchowe przy użyciu odpowiedniego kodowania, albo możesz chcieć wyczyścić dane wejściowe przed zapisaniem zawartości; tj. używając czegoś takiego jak doskonały przewodnik Sama Ruby'ego i18n . To mówi o problemach, które windows-1252mogą powodować, i sugeruje, jak to zrobić, oraz linki do przykładowego kodu!

Użytkownicy SQLAlchemy mogą po prostu określić swoje pole jako convert_unicode=True.

Przykład: sqlalchemy.String(1000, convert_unicode=True)

SQLAlchemy po prostu zaakceptuje obiekty Unicode i zwróci je z powrotem, obsługując samo kodowanie.

Dokumenty

Użyj poniższego fragmentu, aby przekonwertować tekst z łaciny na angielski

import unicodedata
def strip_accents(text):
    return "".join(char for char in
                   unicodedata.normalize('NFKD', text)
                   if unicodedata.category(char) != 'Mn')

strip_accents('áéíñóúü')

wynik:

„aeinouu”

Latin-1 (aka ISO 8859-1 ) to schemat kodowania znaków z pojedynczym oktetem i nie można dopasować \u201c( “) do bajtu.

Czy chodziło Ci o kodowanie UTF-8?

Python: Będziesz musiał dodać # - * - kodowanie: UTF-8 - * - (usuń spacje wokół *) do pierwszej linii pliku Pythona. a następnie dodaj do tekstu do zakodowania: .encode ('ascii', 'xmlcharrefreplace') . Spowoduje to zastąpienie wszystkich znaków Unicode ich odpowiednikiem w ASCII.