Jak pozbyć się interpunkcji za pomocą tokenizera NLTK?

Dopiero zaczynam używać NLTK i nie do końca rozumiem, jak uzyskać listę słów z tekstu. Jeśli używam nltk.word_tokenize(), otrzymuję listę słów i znaków interpunkcyjnych. Zamiast tego potrzebuję tylko słów. Jak pozbyć się interpunkcji? Również word_tokenizenie działa z wieloma zdaniami: punkty są dodawane do ostatniego słowa.

Spójrz na inne opcje tokenizacji, które oferuje nltk tutaj . Na przykład możesz zdefiniować tokenizer, który wybiera sekwencje znaków alfanumerycznych jako tokeny i odrzuca wszystko inne:

from nltk.tokenize import RegexpTokenizer

tokenizer = RegexpTokenizer(r'\w+')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Wynik:

['Eighty', 'seven', 'miles', 'to', 'go', 'yet', 'Onward']

Naprawdę nie potrzebujesz NLTK, aby usunąć znaki interpunkcyjne. Możesz go usunąć za pomocą prostego Pythona. Na smyczki:

import string
s = '... some string with punctuation ...'
s = s.translate(None, string.punctuation)

Lub dla Unicode:

import string
translate_table = dict((ord(char), None) for char in string.punctuation)   
s.translate(translate_table)

a następnie użyj tego ciągu w swoim tokenizerze.

Moduł stringów PS ma kilka innych zestawów elementów, które można usunąć (np. Cyfry).

Poniższy kod usunie wszystkie znaki interpunkcyjne, a także znaki spoza alfabetu. Skopiowane z ich książki.

http://www.nltk.org/book/ch01.html

import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time. @ sd  4 232"

words = nltk.word_tokenize(s)

words=[word.lower() for word in words if word.isalpha()]

print(words)

wynik

['i', 'ca', 'do', 'this', 'now', 'because', 'i', 'so', 'tired', 'please', 'give', 'me', 'some', 'time', 'sd']

Jak zauważono w komentarzach, zaczynaj się od sent_tokenize (), ponieważ word_tokenize () działa tylko na jednym zdaniu. Możesz odfiltrować znaki interpunkcyjne za pomocą funkcji filter (). A jeśli masz łańcuchy znaków Unicode, upewnij się, że jest to obiekt Unicode (a nie „str” zakodowany za pomocą jakiegoś kodowania, takiego jak „utf-8”).

from nltk.tokenize import word_tokenize, sent_tokenize

text = '''It is a blue, small, and extraordinary ball. Like no other'''
tokens = [word for sent in sent_tokenize(text) for word in word_tokenize(sent)]
print filter(lambda word: word not in ',-', tokens)

Właśnie użyłem następującego kodu, który usunął całą interpunkcję:

tokens = nltk.wordpunct_tokenize(raw)

type(tokens)

text = nltk.Text(tokens)

type(text)  

words = [w.lower() for w in text if w.isalpha()]

Myślę, że potrzebujesz jakiegoś dopasowania wyrażeń regularnych (poniższy kod jest w Pythonie 3):

import string
import re
import nltk

s = "I can't do this now, because I'm so tired.  Please give me some time."
l = nltk.word_tokenize(s)
ll = [x for x in l if not re.fullmatch('[' + string.punctuation + ']+', x)]
print(l)
print(ll)

Wynik:

['I', 'ca', "n't", 'do', 'this', 'now', ',', 'because', 'I', "'m", 'so', 'tired', '.', 'Please', 'give', 'me', 'some', 'time', '.']
['I', 'ca', "n't", 'do', 'this', 'now', 'because', 'I', "'m", 'so', 'tired', 'Please', 'give', 'me', 'some', 'time']

Powinien działać dobrze w większości przypadków, ponieważ usuwa znaki interpunkcyjne, jednocześnie zachowując tokeny, takie jak „n't”, których nie można uzyskać z tokenizatorów regex, takich jak wordpunct_tokenize.

Szczerze pytasz, co to jest słowo? Jeśli zakładasz, że słowo składa się tylko ze znaków alfabetu, to się mylisz, ponieważ słowa takie jak can'tzostaną zniszczone na kawałki (takie jak cani t), jeśli usuniesz znaki interpunkcyjne przed tokenizacją , co z dużym prawdopodobieństwem wpłynie negatywnie na Twój program.

Dlatego rozwiązaniem jest tokenizacja, a następnie usunięcie tokenów interpunkcyjnych .

import string

from nltk.tokenize import word_tokenize

tokens = word_tokenize("I'm a southern salesman.")
# ['I', "'m", 'a', 'southern', 'salesman', '.']

tokens = list(filter(lambda token: token not in string.punctuation, tokens))
# ['I', "'m", 'a', 'southern', 'salesman']

... a jeśli chcesz, możesz zastąpić pewne znaki, takie jak 'mz am.

Używam tego kodu, aby usunąć interpunkcję:

import nltk
def getTerms(sentences):
    tokens = nltk.word_tokenize(sentences)
    words = [w.lower() for w in tokens if w.isalnum()]
    print tokens
    print words

getTerms("hh, hh3h. wo shi 2 4 A . fdffdf. A&&B ")

A jeśli chcesz sprawdzić, czy token jest prawidłowym angielskim słowem, czy nie, możesz potrzebować PyEnchant

Instruktaż:

 import enchant
 d = enchant.Dict("en_US")
 d.check("Hello")
 d.check("Helo")
 d.suggest("Helo")

Usuń interpunkcję (usunie., A także część obsługi interpunkcji za pomocą poniższego kodu)

        tbl = dict.fromkeys(i for i in range(sys.maxunicode) if unicodedata.category(chr(i)).startswith('P'))
        text_string = text_string.translate(tbl) #text_string don't have punctuation
        w = word_tokenize(text_string)  #now tokenize the string 

Przykładowe wejście / wyjście:

direct flat in oberoi esquire. 3 bhk 2195 saleable 1330 carpet. rate of 14500 final plus 1% floor rise. tax approx 9% only. flat cost with parking 3.89 cr plus taxes plus possession charger. middle floor. north door. arey and oberoi woods facing. 53% paymemt due. 1% transfer charge with buyer. total cost around 4.20 cr approx plus possession charges. rahul soni

['direct', 'flat', 'oberoi', 'esquire', '3', 'bhk', '2195', 'saleable', '1330', 'carpet', 'rate', '14500', 'final', 'plus', '1', 'floor', 'rise', 'tax', 'approx', '9', 'flat', 'cost', 'parking', '389', 'cr', 'plus', 'taxes', 'plus', 'possession', 'charger', 'middle', 'floor', 'north', 'door', 'arey', 'oberoi', 'woods', 'facing', '53', 'paymemt', 'due', '1', 'transfer', 'charge', 'buyer', 'total', 'cost', 'around', '420', 'cr', 'approx', 'plus', 'possession', 'charges', 'rahul', 'soni']

Samo dodanie do rozwiązania przez @rmalouf nie będzie zawierało żadnych liczb, ponieważ \ w + jest równoważne z [a-zA-Z0-9_]

from nltk.tokenize import RegexpTokenizer
tokenizer = RegexpTokenizer(r'[a-zA-Z]')
tokenizer.tokenize('Eighty-seven miles to go, yet.  Onward!')

Możesz to zrobić w jednej linii bez nltk (python 3.x).

import string
string_text= string_text.translate(str.maketrans('','',string.punctuation))