Jak sprawdzić, czy ciąg znaków w Pythonie jest w ASCII?

Chcę sprawdzić, czy ciąg znaków jest w ASCII, czy nie.

Jestem tego świadomy ord(), ale kiedy próbuję ord('é'), mam TypeError: ord() expected a character, but string of length 2 found. Zrozumiałem, że jest to spowodowane sposobem, w jaki zbudowałem Pythona (jak wyjaśniono w ord()dokumentacji ).

Czy istnieje inny sposób sprawdzenia?

def is_ascii(s):
    return all(ord(c) < 128 for c in s)

Myślę, że nie zadajesz właściwego pytania ...

Łańcuch w pythonie nie ma właściwości odpowiadającej „ascii”, utf-8 lub innemu kodowaniu. Źródło łańcucha (niezależnie od tego, czy czytasz go z pliku, dane wejściowe z klawiatury itp.) Mogło zakodować łańcuch znaków Unicode w ascii, aby wygenerować łańcuch, ale tam musisz znaleźć odpowiedź.

Być może pytanie, które możesz zadać, brzmi: „Czy ten ciąg jest wynikiem kodowania ciągu Unicode w ascii?” - Na to możesz odpowiedzieć, próbując:

try:
    mystring.decode('ascii')
except UnicodeDecodeError:
    print "it was not a ascii-encoded unicode string"
else:
    print "It may have been an ascii-encoded unicode string"

Python 3 sposób:

isascii = lambda s: len(s) == len(s.encode())

Aby to sprawdzić, przekaż ciąg testowy:

str1 = "♥O◘♦♥O◘♦"
str2 = "Python"

print(isascii(str1)) -> will return False
print(isascii(str2)) -> will return True

Nowy w Python 3.7 ( bpo32677 )

Nigdy więcej męczących / nieefektywnych kontroli ascii na łańcuchach, nowa wbudowana metoda str/ bytes/ bytearray- .isascii()sprawdzi, czy łańcuchy są ascii.

print("is this ascii?".isascii())
# True

Wpadłem ostatnio na coś takiego - na przyszłość

import chardet

encoding = chardet.detect(string)
if encoding['encoding'] == 'ascii':
    print 'string is in ascii'

którego możesz użyć z:

string_ascii = string.decode(encoding['encoding']).encode('ascii')

Vincent Marchetti ma dobry pomysł, ale str.decodejest przestarzały w Pythonie 3. W Pythonie 3 możesz wykonać ten sam test, używając str.encode:

try:
    mystring.encode('ascii')
except UnicodeEncodeError:
    pass  # string is not ascii
else:
    pass  # string is ascii

Zwróć uwagę, że wyjątek, który chcesz złapać, również zmienił się z UnicodeDecodeErrorna UnicodeEncodeError.

Twoje pytanie jest nieprawidłowe; błąd, który widzisz, nie wynika z tego, jak zbudowałeś Pythona, ale z pomieszania ciągów bajtów i ciągów Unicode.

Ciągi bajtów (np. „Foo” lub „bar” w składni Pythona) są ciągami oktetów; numery od 0-255. Ciągi znaków Unicode (np. „Foo” lub „bar”) są ciągami punktów kodu Unicode; numery od 0-1112064. Wygląda jednak na to, że interesuje Cię znak é, który (w twoim terminalu) jest sekwencją wielobajtową reprezentującą pojedynczy znak.

Zamiast tego ord(u'é')spróbuj:

>>> [ord(x) for x in u'é']

To pokazuje, która sekwencja punktów kodowych „é” reprezentuje. Może dać ci [233] lub może dać [101, 770].

Zamiast tego chr()odwrócić, istnieją unichr():

>>> unichr(233)
u'\xe9'

Ten znak może faktycznie być reprezentowany jako pojedynczy lub wiele „kodów” unicode, które same reprezentują grafem lub znaki. Może to być „ez ostrym akcentem (tj. Kod 233)” lub „e” (kod 101), a następnie „wyraźny akcent na poprzedni znak” (kod 770). Tak więc ten sam znak może być przedstawiony jako struktura danych Python u'e\u0301'lub u'\u00e9'.

Przez większość czasu nie powinieneś się tym przejmować, ale może to stanowić problem, jeśli iterujesz ciąg znaków Unicode, ponieważ iteracja działa według punktu kodowego, a nie według znaku rozkładającego się. Innymi słowy, len(u'e\u0301') == 2i len(u'\u00e9') == 1. Jeśli jest to dla Ciebie ważne, możesz przechodzić między formularzami złożonymi i rozłożonymi za pomocą unicodedata.normalize.

Glosariusz Unicode może być pomocnym przewodnikiem do zrozumienia niektórych z tych problemów, wskazując, w jaki sposób poszczególne terminy odnoszą się do różnych części reprezentacji tekstu, co jest o wiele bardziej skomplikowane, niż wielu programistów zdaje sobie sprawę.

Co powiesz na to?

import string

def isAscii(s):
    for c in s:
        if c not in string.ascii_letters:
            return False
    return True

Znalazłem to pytanie, próbując ustalić, jak używać / kodować / dekodować ciąg, którego kodowania nie byłem pewien (i jak uciec / przekonwertować znaki specjalne w tym ciągu).

Moim pierwszym krokiem powinno być sprawdzenie typu ciągu - nie zdawałem sobie sprawy, że mogę uzyskać dobre dane na temat jego formatowania z typów. Ta odpowiedź była bardzo pomocna i doprowadziła do prawdziwego źródła moich problemów.

Jeśli stajesz się niegrzeczny i wytrwały

UnicodeDecodeError: Kodek „ascii” nie może dekodować bajtu 0xc3 na pozycji 263: porządek poza zakresem (128)

szczególnie, gdy kodujesz, upewnij się, że nie próbujesz unicode () łańcucha, który już JEST unicode - z jakiegoś okropnego powodu pojawiają się błędy kodeku ascii. (Zobacz także przepis na Python Kitchen i samouczki docs Python, aby lepiej zrozumieć, jak okropne to może być.)

W końcu zdecydowałem, że to, co chciałem zrobić, to:

escaped_string = unicode(original_string.encode('ascii','xmlcharrefreplace'))

W debugowaniu pomocne było również ustawienie domyślnego kodowania w moim pliku na utf-8 (umieść to na początku pliku python):

# -*- coding: utf-8 -*-

Umożliwia to testowanie znaków specjalnych („àéç”) bez konieczności używania znaków ucieczki unicode (u '\ xe0 \ xe9 \ xe7').

>>> specials='àéç'
>>> specials.decode('latin-1').encode('ascii','xmlcharrefreplace')
'àéç'

Aby ulepszyć rozwiązanie Aleksandra z Python 2.6 (i Python 3.x), możesz użyć modułu pomocniczego curses.ascii i funkcji curses.ascii.isascii () lub różnych innych: https://docs.python.org/2.6/ biblioteka / curses.ascii.html

from curses import ascii

def isascii(s):
    return all(ascii.isascii(c) for c in s)

Możesz użyć biblioteki wyrażeń regularnych, która akceptuje standardową definicję Posix [[: ASCII:]].

Żądło ( strtyp) w Pythonie to seria bajtów. Nie ma sposobu, aby po prostu spojrzeć na ciąg znaków, czy ta seria bajtów reprezentuje ciąg znaków ascii, ciąg znaków o 8-bitowym zestawie znaków, takich jak ISO-8859-1, lub ciąg znaków zakodowany za pomocą UTF-8 lub UTF-16 lub cokolwiek innego .

Jeśli jednak znasz stosowane kodowanie, możesz decodenapisać str w ciągu znaków Unicode, a następnie użyć wyrażenia regularnego (lub pętli), aby sprawdzić, czy zawiera znaki spoza zakresu, którego dotyczy.

Podobnie jak odpowiedź @ RogerDahla, ale skuteczniej jest zwierać, negując klasę postaci i używając wyszukiwania zamiast find_alllub match.

>>> import re
>>> re.search('[^\x00-\x7F]', 'Did you catch that \x00?') is not None
False
>>> re.search('[^\x00-\x7F]', 'Did you catch that \xFF?') is not None
True

Wyobrażam sobie, że wyrażenie regularne jest do tego dobrze zoptymalizowane.

import re

def is_ascii(s):
    return bool(re.match(r'[\x00-\x7F]+$', s))

Aby dołączyć pusty ciąg jako ASCII, zmienić +się *.

Aby zapobiec awariom kodu, możesz użyć try-exceptmetody catchTypeErrors

>>> ord("¶")
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
TypeError: ord() expected a character, but string of length 2 found

Na przykład

def is_ascii(s):
    try:
        return all(ord(c) < 128 for c in s)
    except TypeError:
        return False

Używam następujących do ustalenia, czy ciąg jest ascii czy Unicode:

>> print 'test string'.__class__.__name__
str
>>> print u'test string'.__class__.__name__
unicode
>>> 

Następnie użyj bloku warunkowego, aby zdefiniować funkcję:

def is_ascii(input):
    if input.__class__.__name__ == "str":
        return True
    return False