使用 split() 在各种标点符号处划分字符串

Question

我正在尝试将字符串分成单词，删除空格和标点符号。

我尝试使用split() 方法，一次传递所有标点符号，但结果不正确：

>>> test='hello,how are you?I am fine,thank you. And you?'
>>> test.split(' ,.?')
['hello,how are you?I am fine,thank you. And you?']

我实际上已经知道如何使用正则表达式来做到这一点，但我想弄清楚如何使用split() 来做到这一点。请不要给我正则表达式解决方案。

Answer 1

你可以写一个函数来扩展.split()的使用：

def multi_split(s, seprators):
    buf = [s]
    for sep in seprators:
        for loop, text in enumerate(buf):
            buf[loop:loop+1] = [i for i in text.split(sep) if i]
    return buf

试试看：

>>> multi_split('hello,how are you?I am fine,thank you. And you?', ' ,.?') ['hello', 'how', 'are', 'you', 'I', 'am', 'fine', 'thank', 'you', 'And', 'you']

这样会更清晰，可以在其他情况下使用。

Answer 2

保留标点符号或其他分隔符的简单方法是：

import re

test='hello,how are you?I am fine,thank you. And you?'

re.findall('[^.?,]+.?', test)

结果：

['hello,', 'how are you?', 'I am fine,', 'thank you.', ' And you?']

也许这可以帮助某人。

Answer 3

为 necroing 道歉 - 此线程是非正则表达式拆分句子的第一个结果。看到我必须为我的学生想出一个非 Python 特定的方法，并且这个线程没有回答我的问题，我想我会分享以防万一。

代码的重点是不使用库（而且它在大文件上很快）：

sentence = "George Bernard-Shaw was a fine chap, I'm sure - who can really say?"
alpha = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ"
words = []
word = ""
mode = 0
for ch in sentence:
    if mode == 1:
        words.append(word)
        word = ""
        mode = 0
    if ch in alpha or ch == "'" or ch == "-":
        word += ch
    else:
        mode = 1
words.append(word)
print(words)

输出：

['George', 'Bernard-Shaw', 'was', 'a', 'fine', 'chap', "I'm", 'sure', '-', 'who', 'can', 'really', 'say']

我在大约半小时内才写完这篇文章，所以我确信逻辑可以被清理掉。我还承认，正确处理连字符等警告可能需要额外的逻辑，因为与倒逗号之类的东西相比，它们的使用不一致。确实有任何模块可以正确执行此操作吗？

Answer 4

larsks 答案的修改版本，您无需自己输入所有标点符号：

import re, string

re.split("[" + string.punctuation + "]+", test)
['hello', 'how are you', 'I am fine', 'thank you', ' And you', '']

Answer 5

既然你不想使用 re 模块，你可以使用这个：

 test.replace(',',' ').replace('.',' ').replace('?',' ').split()

Answer 6

这是我能想到的最好的不使用 re 模块的方法：

"".join((char if char.isalpha() else " ") for char in test).split()

Answer 7

如果您想根据 多个 分隔符拆分字符串，就像在您的示例中一样，您将需要使用 re 模块，尽管您有奇怪的反对意见，如下所示：

>>> re.split('[?.,]', test)
['hello', 'how are you', 'I am fine', 'thank you', ' And you', '']

有可能使用split 得到类似的结果，但是您需要为每个字符调用一次 split，并且您需要遍历前一个 split 的结果。这可行，但它是u-g-l-y：

>>> sum([z.split() 
... for z in sum([y.split('?') 
... for y in sum([x.split('.') 
... for x in test.split(',')],[])], [])], [])
['hello', 'how', 'are', 'you', 'I', 'am', 'fine', 'thank', 'you', 'And', 'you']

这使用sum() 来展平上一次迭代返回的列表。