Jak przekonwertować ciąg znaków na utf-8 w Pythonie

Mam przeglądarkę, która wysyła znaki utf-8 do mojego serwera Python, ale kiedy pobieram go z ciągu zapytania, kodowanie, które zwraca Python, to ASCII. Jak przekonwertować zwykły ciąg znaków na utf-8?

UWAGA: Ciąg przekazywany z sieci jest już zakodowany w UTF-8, chcę tylko, aby Python traktował go jako UTF-8, a nie ASCII.

>>> plain_string = "Hi!"
>>> unicode_string = u"Hi!"
>>> type(plain_string), type(unicode_string)
(<type 'str'>, <type 'unicode'>)

^ Jest to różnica między ciągiem bajtów (zwykły_ciąg) a ciągiem Unicode.

>>> s = "Hello!"
>>> u = unicode(s, "utf-8")

^ Konwersja do Unicode i określenie kodowania.

Jeśli powyższe metody nie działają, możesz również powiedzieć Pythonowi, aby zignorował fragmenty ciągu, których nie może przekonwertować na utf-8:

stringnamehere.decode('utf-8', 'ignore')

Może to być trochę przesada, ale kiedy pracuję z ascii i Unicode w tych samych plikach, powtarzanie dekodowania może być uciążliwe, oto czego używam:

def make_unicode(input):
    if type(input) != unicode:
        input =  input.decode('utf-8')
    return input

Dodanie następującego wiersza na górze pliku .py:

# -*- coding: utf-8 -*-

pozwala kodować ciągi bezpośrednio w skrypcie, w następujący sposób:

utfstr = "ボールト"

Jeśli dobrze cię rozumiem, masz w kodzie kod bajtowy utf-8.

Konwersja ciągu bajtowego na ciąg Unicode jest znana jako dekodowanie (Unicode -> ciąg bajtów jest kodowany).

Robisz to za pomocą funkcji Unicode lub metody dekodowania . Zarówno:

unicodestr = unicode(bytestr, encoding)
unicodestr = unicode(bytestr, "utf-8")

Lub:

unicodestr = bytestr.decode(encoding)
unicodestr = bytestr.decode("utf-8")

city = 'Ribeir\xc3\xa3o Preto'
print city.decode('cp1252').encode('utf-8')

W Pythonie 3.6 nie mają wbudowanej metody unicode (). Ciągi są już domyślnie przechowywane jako Unicode i konwersja nie jest wymagana. Przykład:

my_str = "\u221a25"
print(my_str)
>>> √25

Przetłumacz za pomocą ord () i unichar (). Każdy znak Unicode ma przypisany numer, coś w rodzaju indeksu. Python ma więc kilka metod na translację między char i jego liczbą. Minusem jest przykład. Mam nadzieję, że to może pomóc.

>>> C = 'ñ'
>>> U = C.decode('utf8')
>>> U
u'\xf1'
>>> ord(U)
241
>>> unichr(241)
u'\xf1'
>>> print unichr(241).encode('utf8')
ñ

Tak, możesz dodać

# -*- coding: utf-8 -*-

w pierwszym wierszu kodu źródłowego.

Możesz przeczytać więcej szczegółów tutaj https://www.python.org/dev/peps/pep-0263/