Przetwarzaj sekwencje ucieczki w ciągu w Pythonie

Czasami, gdy otrzymuję dane wejściowe z pliku lub użytkownika, otrzymuję ciąg znaków z sekwencjami ucieczki. Chciałbym przetwarzać sekwencje specjalne w taki sam sposób, w jaki Python przetwarza sekwencje specjalne w literałach łańcuchowych .

Na przykład, powiedzmy, że myStringjest zdefiniowany jako:

>>> myString = "spam\\neggs"
>>> print(myString)
spam\neggs

Chcę funkcji (tak ją nazywam process), która robi to:

>>> print(process(myString))
spam
eggs

Ważne jest, aby funkcja mogła przetwarzać wszystkie sekwencje specjalne w Pythonie (wymienione w tabeli w powyższym linku).

Czy Python ma do tego funkcję?

Właściwą rzeczą do zrobienia jest użycie kodu „ucieczki ciągu” do zdekodowania łańcucha.

>>> myString = "spam\\neggs"
>>> decoded_string = bytes(myString, "utf-8").decode("unicode_escape") # python3 
>>> decoded_string = myString.decode('string_escape') # python2
>>> print(decoded_string)
spam
eggs

Nie używaj AST ani eval. Korzystanie z kodeków tekstowych jest znacznie bezpieczniejsze.

unicode_escape ogólnie nie działa

Okazuje się, że rozwiązanie string_escapelub unicode_escapeogólnie nie działa - w szczególności nie działa w obecności rzeczywistego Unicode.

Jeśli możesz być pewien, że każdy znak spoza ASCII zostanie usunięty (i pamiętaj, że wszystko poza pierwszymi 128 znakami nie jest ASCII), unicode_escapezrobi to dobrze. Ale jeśli w twoim ciągu znajdują się już jakieś dosłowne znaki spoza ASCII, coś pójdzie nie tak.

unicode_escapejest zasadniczo zaprojektowany do konwersji bajtów na tekst Unicode. Ale w wielu miejscach - na przykład w kodzie źródłowym Pythona - dane źródłowe są już tekstem Unicode.

Jedynym sposobem, w jaki może to działać poprawnie, jest zakodowanie tekstu w bajtach. UTF-8 to rozsądne kodowanie całego tekstu, więc to powinno działać, prawda?

Poniższe przykłady są w Pythonie 3, więc literały ciągów są czystsze, ale ten sam problem występuje z nieco innymi manifestacjami w obu Pythonie 2 i 3.

>>> s = 'naïve \\t test'
>>> print(s.encode('utf-8').decode('unicode_escape'))
naïve   test

Cóż, to źle.

Nowym zalecanym sposobem używania kodeków, które dekodują tekst na tekst, jest codecs.decodebezpośrednie wywołanie . To pomaga?

>>> import codecs
>>> print(codecs.decode(s, 'unicode_escape'))
naïve   test

Ani trochę. (Powyższe to również błąd UnicodeError w Pythonie 2.)

unicode_escapeKodek, pomimo swojej nazwy, okazuje się założyć, że wszystkie bajty są non-ASCII w kodowaniu Latin-1 (ISO-8859-1). Więc musiałbyś to zrobić w ten sposób:

>>> print(s.encode('latin-1').decode('unicode_escape'))
naïve    test

Ale to straszne. To ogranicza cię do 256 znaków Latin-1, tak jakby Unicode nigdy nie został wynaleziony!

>>> print('Ernő \\t Rubik'.encode('latin-1').decode('unicode_escape'))
UnicodeEncodeError: 'latin-1' codec can't encode character '\u0151'
in position 3: ordinal not in range(256)

Dodanie wyrażenia regularnego w celu rozwiązania problemu

(Co zaskakujące, nie mamy teraz dwóch problemów.)

To, co musimy zrobić, to zastosować unicode_escapedekoder tylko do rzeczy, które na pewno są tekstem ASCII. W szczególności możemy upewnić się, że zastosujemy go tylko do prawidłowych sekwencji ucieczki Pythona, które na pewno będą tekstem ASCII.

Plan jest taki, że znajdziemy sekwencje specjalne przy użyciu wyrażenia regularnego i użyjemy funkcji jako argumentu, re.subaby zastąpić je wartością bez zmiany znaczenia.

import re
import codecs

ESCAPE_SEQUENCE_RE = re.compile(r'''
    ( \\U........      # 8-digit hex escapes
    | \\u....          # 4-digit hex escapes
    | \\x..            # 2-digit hex escapes
    | \\[0-7]{1,3}     # Octal escapes
    | \\N\{[^}]+\}     # Unicode characters by name
    | \\[\\'"abfnrtv]  # Single-character escapes
    )''', re.UNICODE | re.VERBOSE)

def decode_escapes(s):
    def decode_match(match):
        return codecs.decode(match.group(0), 'unicode-escape')

    return ESCAPE_SEQUENCE_RE.sub(decode_match, s)

I z tym:

>>> print(decode_escapes('Ernő \\t Rubik'))
Ernő     Rubik

Właściwie poprawna i wygodna odpowiedź dla Pythona 3:

>>> import codecs
>>> myString = "spam\\neggs"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
spam
eggs
>>> myString = "naïve \\t test"
>>> print(codecs.escape_decode(bytes(myString, "utf-8"))[0].decode("utf-8"))
naïve    test

Szczegóły dotyczące codecs.escape_decode:

• codecs.escape_decode jest dekoderem bajtów do bajtów
• codecs.escape_decodedekoduje sekwencje specjalne ascii, takie jak: b"\\n"-> b"\n", b"\\xce"-> b"\xce".
• codecs.escape_decode nie przejmuje się ani nie musi wiedzieć o kodowaniu obiektu bajtowego, ale kodowanie bajtów ze ucieczką powinno być zgodne z kodowaniem reszty obiektu.

Tło:

• @rspeer jest poprawne: unicode_escapeto nieprawidłowe rozwiązanie dla python3. Dzieje się tak, ponieważ unicode_escapedekoduje bajty ze ucieczką, a następnie dekoduje bajty na łańcuch znaków Unicode, ale nie otrzymuje żadnych informacji dotyczących kodeka do użycia w drugiej operacji.
• @Jerub ma rację: unikaj AST lub eval.
• Po raz pierwszy dowiedziałem się codecs.escape_decodez tej odpowiedzi "jak mogę .decode ('string-escape') w Python3?" . Zgodnie z tą odpowiedzią funkcja ta nie jest obecnie udokumentowana dla Pythona 3.

ast.literal_evalFunkcja jest blisko, ale będzie oczekiwać, że łańcuch jest prawidłowo cytowany pierwszy.

Oczywiście interpretacja znaków ucieczki z ukośnikiem odwrotnym w Pythonie zależy od tego, w jaki sposób ciąg jest cytowany ( ""vs r""vs u"", potrójne cudzysłowy itp.), Więc możesz chcieć zawinąć dane wejściowe użytkownika w odpowiednie cudzysłowy i przekazać do literal_eval. Zawinięcie go w cudzysłów zapobiegnie również literal_evalzwróceniu liczby, krotki, słownika itp.

Sprawy mogą się jeszcze skomplikować, jeśli użytkownik wpisze niecytowane cudzysłowy typu, który zamierzasz zawijać wokół ciągu.

Jest to zły sposób, ale zadziałał, gdy próbowałem zinterpretować znaki ósemkowe ze zmianą znaczenia przekazane w argumencie łańcuchowym.

input_string = eval('b"' + sys.argv[1] + '"')

Warto wspomnieć, że istnieje różnica między eval i ast.literal_eval (eval jest znacznie bardziej niebezpieczny). Zobacz Używanie metody eval () w Pythonie vs. ast.literal_eval ()?

Poniższy kod powinien działać dla \ n musi być wyświetlany w ciągu znaków.

import string

our_str = 'The String is \\n, \\n and \\n!'
new_str = string.replace(our_str, '/\\n', '/\n', 1)
print(new_str)