【发布时间】:2023-02-09 12:52:24
【问题描述】:
我正在尝试清理 Discord 消息的转储,修复拼写错误和标点符号。我目前使用拼写和语法纠正工具努力解决的一个问题是在句子之间插入句点。
由于网络礼仪,包含一个句子的消息不会以句号结尾,一些句子可能会被分割成多个连续的消息。如何检测一条消息是前一条消息的延续还是新句子的开始?
我试过使用这个https://nlp.johnsnowlabs.com/2021/01/02/sentence_detector_dl_en.html,但它似乎只能检测以大写字母开头的句子。在我的测试中,如果消息以“I”开头,它会错误地将消息识别为句子,如果消息以小写字母开头,则不会将其识别为句子。
我意识到这可能无法以任何有用的准确度来完成,但我想问一下以防我遗漏了什么。
【问题讨论】:
-
那么你的问题到底是什么?
-
如何检测一条消息是前一条消息的延续还是新句子的开始?
-
您需要先发布您正在运行的代码。没有代码,我们如何提供帮助?
-
我目前没有为此运行任何代码,因为我不确定如何解决这个问题。我已经运行了我的其他代码来解决其他问题。现在我有一个包含更正文本的 .csv 文件,只是分成消息,我想将其重新格式化为语法正确的文本和句子和段落(我将通过寻找时间戳中的跳跃来实现)。我尝试使用用于此任务的库,但如上所述,它很难处理大写字母。我希望有人能给我指出一个更适合这项任务的图书馆。
-
好的,我要回答你的问题:“我如何检测一条消息是前一条消息的延续还是新句子的开始”通过实现一些代码来完成你需要做的事情。一旦你这样做了,如果你有任何问题,你可以在这里发布你的代码和一个问题。如果您还没有任何代码,我不知道我们还能给您什么其他答案。
标签: python nlp text-processing