Python 拆分没有空格的文本，但保持日期不变

Question

要分割不带空格的文本，可以使用wordninja，请参阅How to split text without spaces into list of words。这是完成这项工作的代码。

sent = "Test12  to separate mergedwords butkeeprest asitis, say 1/2/2021 or 1.2.2021."

import wordninja
print(' '.join(wordninja.split(sent)))

output: Test 12 to separate merged words but keep rest as it is say 1 2 2021 or 1 2 2021

wordninja 看起来很棒，可以很好地分割那些合并的文本。我的问题是如何在没有空格的情况下拆分文本，但保持日期（和标点符号）不变。理想的输出是：

Test 12 to separate merged words but keep rest as it is, say 1/2/2021 or 1.2.2021

非常感谢您的帮助！

Answer 1

这里的想法是在日期的每个实例中将我们的字符串拆分为一个列表，然后遍历该列表，保留与初始拆分模式匹配的项目，并在其他所有内容上调用 wordninja.split()。然后用 join 重新组合列表。

import re
def foo(s):
    return 'ninja'

string = 'Test12  to separate mergedwords butkeeprest asitis, say 1/2/2021 or 1.2.2021.'
pattern = re.compile(r'([0-9]{1,2}[/.][0-9]{1,2}[/.][0-9]{1,4})')

# Split the string up by things matching our pattern, preserve rest of string.
string_isolated_dates = re.split(pattern, string)

# Apply wordninja to everything that doesn't match our date pattern, join it all together. OP should replace foo in the next line with wordninja.split()
wordninja_applied = ' '.join([el if pattern.match(el) else foo(el) for el in string_isolated_dates])

print(wordninja_applied)

输出：

 ninja 1/2/2021 ninja 1.2.2021 ninja

注意：我将您的函数 wordninja.split() 替换为 foo() 只是因为我不想再下载另一个 nlp 库。但我的代码演示了在保留日期的同时修改原始字符串。

Answer 2

最后我得到了以下代码，基于我帖子下的 cmets（感谢 cmets）：

import re
sent = "Test12  to separate mergedwords butkeeprest asitis, say 1/2/2021 or 1.2.2021."
sent = re.sub(","," ",sent)
corrected = ' '.join([' '.join(wordninja.split(w)) if w.isalnum() else w for w in sent.split(" ")])
print(corrected) 

output: Test 12  to separate merged words but keep rest as it is say 1/2/2021 or 1.2.2021.

这不是一个简单的解决方案，但很有效。