常用词的正则表达式过滤器

Question

我正在尝试从一段文本中删除常用词（连词、副词、代词等）。我正在使用正则表达式，但由于某种原因，我的过滤器中的一些常用词没有被过滤掉。

一些没有被过滤的单词示例：“havent”、“why”、“should”

有什么想法吗？

 splitResult = s.split()
        p = re.compile(
            """^(&|also|a|about|again|all|after|are(nt)?|arent|as|an(y)?|at|
                bcuz|before|be(low)?|between|bring|but|by|and|can(not)?|close(d)?|could(nt)?|
                cuz|do(nt)?|down|decide(d)?|decision|on(to)?|or|of|our|over|out|have(nt)?|he(re)?|
                her|his|other(s)?|even|got(ten)?|for|from|get(s)?|got(ten)?|has(nt)?|havent|he(s)?|
                him|his|if|in|to|in(to)?|is(nt)?||make|me|once|play(ed)?|role|say(s)?|seen|she(s)?|
                should(nt)?|stop(ped)?|time|my|no(t)?|must(nt)?|now|you(re)?|your|want|want(ed)?|
                watch(ed)?|way|we(re)?|will|with||i|a|is(nt)?|just|would(nt)?|before|that|the(re)?|
                their|them|they|this|turn|when|at|how|it(s)?|which|who|after|then|if|how|because|know(s)?|
                yet|[A-Za-z]{1,2}|http(s)?://.*|www\..*)$""",re.I)

        for word in splitResult:
            m = p.findall(word)
            if not m:
                word = "".join(c for c in word if c not in ("?", ".", "!", '"', ",","'","(",")"))
                wordsList.insert(ctr,word)

Answer 1

您的模式没有 why 作为其替代之一。

您的模式似乎变得如此之大，以至于您无法管理它。

当周围有空格或撇号时，您的模式不匹配。

havent 和 should 没有理由过滤失败，否则。没有更多代码，没人知道。

（以下是 regex101.com 中的错误，但您仍应相应地修复您的正则表达式。）

根据regex101.com有以下两个错误：

|此位置的交流发电机有效地截断了组，使超出此点的任何其他标记都无用

这意味着你的代码中有||s，本质上。

注意：如果您想匹配虚无（相当于空字符串），则不应在之后进行更改，因为此正则表达式引擎会匹配最早的更改。

他们在这里：

• ||make
• |with||i

（使用正则表达式找到：\|\|）