UnicodeDecodeError: Kodek „utf8” nie może zdekodować bajtu 0x9c

Mam serwer gniazd, który powinien odbierać prawidłowe znaki UTF-8 od klientów.

Problem polega na tym, że niektórzy klienci (głównie hakerzy) wysyłają nad nim niewłaściwe dane.

Mogę z łatwością rozróżnić oryginalnego klienta, ale loguję do plików wszystkie przesłane dane, aby móc je później przeanalizować.

Czasami dostaję takie postacie, œktóre powodują UnicodeDecodeErrorbłąd.

Muszę być w stanie utworzyć ciąg UTF-8 z tymi znakami lub bez nich.

Aktualizacja:

W moim szczególnym przypadku usługa gniazda była MTA i dlatego oczekuję tylko otrzymania poleceń ASCII, takich jak:

EHLO example.com
MAIL FROM: <john.doe@example.com>
...

Logowałem to wszystko w JSON.

Potem niektórzy ludzie bez dobrych intencji postanowili sprzedać wszelkiego rodzaju śmieci.

Dlatego w moim konkretnym przypadku jest całkowicie okazywanie usuwania znaków spoza ASCII.

http://docs.python.org/howto/unicode.html#the-unicode-type

str = unicode(str, errors='replace')

lub

str = unicode(str, errors='ignore')

Uwaga: Spowoduje to usunięcie (zignorowanie) znaków, które zwracają ciąg bez nich.

Dla mnie jest to idealny przypadek, ponieważ używam go jako ochrony przed danymi wejściowymi innymi niż ASCII, co nie jest dozwolone przez moją aplikację.

Alternatywnie: Użyj metody open z codecsmodułu, aby wczytać plik:

import codecs
with codecs.open(file_name, 'r', encoding='utf-8',
                 errors='ignore') as fdata:

Zmiana silnika z C na Python załatwiła sprawę.

Silnik to C:

pd.read_csv(gdp_path, sep='\t', engine='c')

Kodek „utf-8” nie może dekodować bajtu 0x92 na pozycji 18: nieprawidłowy bajt początkowy

Silnik to Python:

pd.read_csv(gdp_path, sep='\t', engine='python')

Brak błędów dla mnie.

Ten rodzaj problemu pojawia się teraz, kiedy przeniosłem się do Python 3. Nie miałem pojęcia, że ​​Python 2 po prostu paruje problemy z kodowaniem plików.

Znalazłem to miłe wyjaśnienie różnic i jak znaleźć rozwiązanie, gdy żadne z powyższych nie działało dla mnie.

http://python-notes.curiousefficiency.org/en/latest/python3/text_file_processing.html

Krótko mówiąc, aby Python 3 zachowywał się tak bardzo, jak to możliwe, użyj Python 2:

with open(filename, encoding="latin-1") as datafile:
    # work on datafile here

Jednak przeczytaj artykuł, nie ma jednego rozmiaru dla wszystkich rozwiązań.

>>> '\x9c'.decode('cp1252')
u'\u0153'
>>> print '\x9c'.decode('cp1252')
œ

Miałem ten sam problem UnicodeDecodeErrori rozwiązałem go za pomocą tej linii. Nie wiem, czy to najlepszy sposób, ale mi się udało.

str = str.decode('unicode_escape').encode('utf-8')

pierwszy, używając get_encoding_type, aby uzyskać typ pliku kodowania:

import os    
from chardet import detect

# get file encoding type
def get_encoding_type(file):
    with open(file, 'rb') as f:
        rawdata = f.read()
    return detect(rawdata)['encoding']

drugi, otwieranie plików typu:

open(current_file, 'r', encoding = get_encoding_type, errors='ignore')

Na wypadek, gdyby ktoś miał ten sam problem. Używam vim z YouCompleteMe , nie udało mi się uruchomić ycmd z tym komunikatem o błędzie, co zrobiłem to: export LC_CTYPE="en_US.UTF-8"problem zniknął.

Co możesz zrobić, jeśli chcesz zmienić plik, ale nie znasz jego kodowania? Jeśli wiesz, że kodowanie jest zgodne z ASCII i chcesz tylko zbadać lub zmodyfikować części ASCII, możesz otworzyć plik za pomocą procedury obsługi błędów surrogateescape:

with open(fname, 'r', encoding="ascii", errors="surrogateescape") as f:
    data = f.read()

Rozwiązałem ten problem, dodając

df = pd.read_csv(fileName,encoding='latin1')