使用 spaCy 删除标点符号；属性错误答案

【问题标题】：Removing punctuation using spaCy; AttributeError使用 spaCy 删除标点符号；属性错误
【发布时间】：2017-11-06 19:27:02
【问题描述】：

目前我正在使用以下代码使用 spaCy 对某些文本数据进行词形还原和计算 TF-IDF 值：

lemma = []

for doc in nlp.pipe(df['col'].astype('unicode').values, batch_size=9844,
                        n_threads=3):
    if doc.is_parsed:
        lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct | n.lemma_ != "-PRON-"])
    else:
        lemma.append(None)

df['lemma_col'] = lemma

vect = sklearn.feature_extraction.text.TfidfVectorizer()
lemmas = df['lemma_col'].apply(lambda x: ' '.join(x))
vect = sklearn.feature_extraction.text.TfidfVectorizer()
features = vect.fit_transform(lemmas)

feature_names = vect.get_feature_names()
dense = features.todense()
denselist = dense.tolist()

df = pd.DataFrame(denselist, columns=feature_names)
df = pd.DataFrame(denselist, columns=feature_names)
lemmas = pd.concat([lemmas, df])
df= pd.concat([df, lemmas])

我需要去除专有名词、标点符号和停用词，但在我当前的代码中执行此操作时遇到了一些问题。我读过一些documentation 和other resources，但现在遇到了错误：

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-21-e924639f7822> in <module>()
      7     if doc.is_parsed:
      8         tokens.append([n.text for n in doc])
----> 9         lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct or n.lemma_ != "-PRON-"])
     10         pos.append([n.pos_ for n in doc])
     11     else:

<ipython-input-21-e924639f7822> in <listcomp>(.0)
      7     if doc.is_parsed:
      8         tokens.append([n.text for n in doc])
----> 9         lemma.append([n.lemma_ for n in doc if not n.lemma_.is_punct or n.lemma_ != "-PRON-"])
     10         pos.append([n.pos_ for n in doc])
     11     else:

AttributeError: 'str' object has no attribute 'is_punct'

有没有更简单的方法可以从文本中删除这些内容，而不必彻底改变我的方法？

提供完整代码here。

【问题讨论】：

标签： python python-3.x nlp spacy

【解决方案1】：

据我所知，您的主要问题实际上很简单：n.lemma_ 返回一个字符串，而不是 Token 对象。所以它没有is_punct 属性。我认为您在这里寻找的是n.is_punct（token 是否是标点符号）。

如果您想更优雅地执行此操作，请查看 spaCy 的新 custom processing pipeline components（需要 v2.0+）。这使您可以将逻辑包装在一个函数中，该函数在您对文本调用 nlp() 时自动运行。您甚至可以更进一步，将custom attribute 添加到您的Doc - 例如doc._.my_stripped_doc 或doc._.pd_columns 或其他内容。这里的优点是您可以继续使用 spaCy 的高性能内置数据结构，如 Doc（及其视图 Token 和 Span）作为应用程序的“单一事实来源”。这样，不会丢失任何信息，并且您将始终保留对原始文档的引用——这对于调试也非常有用。

【讨论】：

有什么方法可以从 spaCy Token 中间删除标点符号？例如有一个令牌“hello-world”我怎样才能将它转换成“hello world”？我已经推荐了spacy.io/api/token#attributes

【解决方案2】：

当您使用 spacy 时，请使用此功能删除标点符号。

df["newcolname"] = df.column name(onwhich yoy want to remove stopword).apply(lambda text: 
                                      " ".join(token.lemma_ for token in nlp(text) 
                                               if not token.is_punct)
df["puncfree"] = df.review.apply(lambda text: 
                                      " ".join(token.lemma_ for token in nlp(text) 
                                               if not token.is_punct))

为了说服和更好地理解，我发布了我用来删除标点符号的代码

“review”是我要从中删除标点符号的列名。

【讨论】：

【解决方案3】：

基于@khawaja-fahad-shafi 的回答，我创建了以下模式，其中data 是pandas DataFrame，text 是字符串字段。我最初将此作为评论而不是答案发布，但格式已关闭。希望它对某人有帮助。

import pandas
import spacy
nlp = spacy.load("en_core_web_md")

(data["text"]
 .apply(lambda text: " "
        .join(token.lemma_ for token in nlp(text) if
              not token.is_punct
              and not token.is_currency
              and not token.is_digit
              and not token.is_punct
              and not token.is_oov
              and not token.is_space
              and not token.is_stop
              and not token.like_num
              and not token.pos_ == "PROPN")))

【讨论】：