Python: Usunięcie \ xa0 z ciągu?

Obecnie używam Beautiful Soup do parsowania pliku HTML i wywoływania get_text(), ale wygląda na to, że mam dużo \ xa0 znaków reprezentujących spacje. Czy istnieje skuteczny sposób na usunięcie ich wszystkich w Pythonie 2.7 i zamianę ich w spacje? Wydaje mi się, że bardziej ogólne pytanie brzmi: czy istnieje sposób na usunięcie formatowania Unicode?

Próbowałem użyć line = line.replace(u'\xa0',' '):, jak sugeruje inny wątek, ale zmieniło to \ xa0 na u, więc teraz zamiast tego mam wszędzie „u”. ):

EDIT: Problem wydaje się być rozwiązany str.replace(u'\xa0', ' ').encode('utf-8'), ale po prostu robi .encode('utf-8')bez replace()zdaje się powodować to wypluć nawet dziwacznych w znaki \ xc2 na przykład. Czy ktoś może to wyjaśnić?

\ xa0 jest właściwie niełamiącą spacją w Latin1 (ISO 8859-1), również chr (160). Powinieneś zastąpić go spacją.

string = string.replace(u'\xa0', u' ')

Kiedy .encode ('utf-8'), koduje Unicode do utf-8, co oznacza, że ​​każda Unicode może być reprezentowana przez 1 do 4 bajtów. W tym przypadku \ xa0 jest reprezentowany przez 2 bajty \ xc2 \ xa0.

Przeczytaj na http://docs.python.org/howto/unicode.html .

Uwaga: ta odpowiedź z 2012 roku, Python przeszedł dalej, powinieneś być w stanie unicodedata.normalizeteraz korzystać

W unicodedatabibliotece Pythona znajduje się wiele przydatnych rzeczy . Jednym z nich jest .normalize()funkcja.

Próbować:

new_str = unicodedata.normalize("NFKD", unicode_str)

Zastąpienie NFKD jedną z innych metod wymienionych w powyższym linku, jeśli nie uzyskasz oczekiwanych rezultatów.

Spróbuj użyć .strip () na końcu linii, która line.strip()działała dla mnie dobrze

Po wypróbowaniu kilku metod, aby to podsumować, tak to zrobiłem. Poniżej przedstawiono dwa sposoby unikania / usuwania znaków \ ​​xa0 z przeanalizowanego ciągu HTML.

Załóżmy, że mamy nieprzetworzony kod HTML w następujący sposób:

raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'

Spróbujmy więc wyczyścić ten ciąg HTML:

from bs4 import BeautifulSoup
raw_html = '<p>Dear Parent, </p><p><span style="font-size: 1rem;">This is a test message, </span><span style="font-size: 1rem;">kindly ignore it. </span></p><p><span style="font-size: 1rem;">Thanks</span></p>'
text_string = BeautifulSoup(raw_html, "lxml").text
print text_string
#u'Dear Parent,\xa0This is a test message,\xa0kindly ignore it.\xa0Thanks'

Powyższy kod tworzy te znaki \ xa0 w ciągu. Aby usunąć je poprawnie, możemy użyć dwóch sposobów.

Metoda nr 1 (zalecana): pierwsza to metoda get_text firmy BeautifulSoup z argumentem strip jako True, więc nasz kod staje się:

clean_text = BeautifulSoup(raw_html, "lxml").get_text(strip=True)
print clean_text
# Dear Parent,This is a test message,kindly ignore it.Thanks

Metoda # 2: Inną opcją jest użycie biblioteki unicodedata biblioteki Pythona

import unicodedata
text_string = BeautifulSoup(raw_html, "lxml").text
clean_text = unicodedata.normalize("NFKD",text_string)
print clean_text
# u'Dear Parent,This is a test message,kindly ignore it.Thanks'

Opisałem również te metody na tym blogu, do których możesz się odnieść.

Spróbuj tego:

string.replace('\\xa0', ' ')

Natknąłem się na ten sam problem podczas pobierania danych z bazy danych sqlite3 za pomocą Pythona. Powyższe odpowiedzi nie działały dla mnie (nie wiem dlaczego), ale tak się line = line.decode('ascii', 'ignore')stało : moim celem było jednak usunięcie \ xa0, zamiast zastąpienia ich spacjami.

Otrzymałem to z tego bardzo pomocnego tutoriala o Unicode autorstwa Neda Batcheldera.

Skończyłem tutaj, przeglądając problem z postacią, której nie można wydrukować. Używam MySQL UTF-8 general_cii zajmuję się językiem polskim. W przypadku problematycznych ciągów muszę wykonać następujące czynności:

text=text.replace('\xc2\xa0', ' ')

Jest to po prostu szybkie obejście problemu i prawdopodobnie powinieneś spróbować czegoś z odpowiednią konfiguracją kodowania.

Wypróbuj ten kod

import re
re.sub(r'[^\x00-\x7F]+','','paste your string here').decode('utf-8','ignore').strip()

0xA0 (Unicode) to 0xC2A0 w UTF-8. .encode('utf8')po prostu weźmie twój Unicode 0xA0 i zastąpi 0xC2A0 UTF-8. Stąd pojawienie się 0xC2 ... Kodowanie nie zastępuje, jak zapewne teraz się zorientowałeś.

Jest to odpowiednik znaku spacji, więc usuń go

print(string.strip()) # no more xa0

W Beautiful Soup możesz przekazać get_text()parametr strip, który usuwa białe znaki od początku i na końcu tekstu. Spowoduje to usunięcie \xa0lub dowolne inne białe znaki, jeśli wystąpią one na początku lub na końcu łańcucha. Piękna Zupa zastąpiła pusty sznurek \xa0i to rozwiązało problem.

mytext = soup.get_text(strip=True)

Wersja ogólna z wyrażeniem regularnym (usunie wszystkie znaki kontrolne):

import re
def remove_control_chart(s):
    return re.sub(r'\\x..', '', s)

Python rozpoznaje go jako spację, więc możesz to splitzrobić bez argumentów i dołączyć normalną spacją:

line = ' '.join(line.split())