如何使用 NLTK nltk.tokenize.texttiling 将文本分成段落？答案

【问题标题】：How to split text into paragraphs using NLTK nltk.tokenize.texttiling?如何使用 NLTK nltk.tokenize.texttiling 将文本分成段落？
【发布时间】：2017-08-28 19:33:20
【问题描述】：

我发现这个 Split Text into paragraphs NLTK - usage of nltk.tokenize.texttiling? 解释了如何将文本输入到 texttiling 中，但是我无法真正返回由段落/主题更改标记的文本，如 texttiling http://www.nltk.org/api/nltk.tokenize.html 下所示。

当我将文本输入 texttiling 时，我会返回相同的未标记文本，但作为一个列表，这对我没有用处。

    tt = nltk.tokenize.texttiling.TextTilingTokenizer(w=20, k=10,similarity_method=0, stopwords=None, smoothing_method=[0], smoothing_width=2, smoothing_rounds=1, cutoff_policy=1, demo_mode=False)

    tiles = tt.tokenize(text) # same text returned

我所拥有的是遵循这种基本结构的电子邮件

    From: X
    To: Y                             (LOGISTICS)
    Date: 10/03/2017

    Hello team,                       (INTRO)

    Some text here representing
    the body                          (BODY)
    of the text.

    Regards,                          (OUTRO)
    X

    *****DISCLAIMER*****              (POST EMAIL DISCLAIMER)
    THIS EMAIL IS CONFIDENTIAL
    IF YOU ARE NOT THE INTENDED RECIPIENT PLEASE DELETE THIS EMAIL

如果我们将此电子邮件字符串称为 s，它看起来像

    s = "From: X\nTo: Y\nDate: 10/03/2017 Hello team,\nSome text here representing the body of the text. Regards,\nX\n\n*****DISCLAIMER*****\nTHIS EMAIL IS CONFIDENTIAL\nIF YOU ARE NOT THE INTENDED RECIPIENT PLEASE DELETE THIS EMAIL"

我想要做的是返回字符串 s 的这 5 个部分/段落 - LOGISTICS、INTRO、BODY、OUTRO、POST EMAIL DISCLAIMER - 单独这样我就可以删除除正文之外的所有内容.如何使用 nltk texttiling 分别返回这 5 个部分？

*** 并非所有电子邮件都遵循相同的结构或措辞，所以我不能使用正则表达式。

【问题讨论】：

我也在尝试从邮件中获取相关的正文段落部分。你能从 textTiling 做同样的事情吗？？
考虑使用nltk.tokenize::BlanklineTokenizer

标签： python nltk tokenize paragraph

【解决方案1】：

使用splitlines 怎么样？还是必须使用 nltk 包？

email = """    From: X
    To: Y                             (LOGISTICS)
    Date: 10/03/2017

    Hello team,                       (INTRO)

    Some text here representing
    the body                          (BODY)
    of the text.

    Regards,                          (OUTRO)
    X

    *****DISCLAIMER*****              (POST EMAIL DISCLAIMER)
    THIS EMAIL IS CONFIDENTIAL
    IF YOU ARE NOT THE INTENDED RECIPIENT PLEASE DELETE THIS EMAIL"""

y = [s.strip() for s in email.splitlines()]

print(y)

【讨论】：

感谢@MattR，但是使用这种方法我需要手动删除第 m 行之前的所有行和 n' 之后的所有行m 和 n 因每封电子邮件而异的行。所以这似乎不可行。我不必使用 nltk，主要目标只是删除除 BODY 部分之外的所有内容
@KillianTattan 不确定如何以编程方式识别正文部分。正如您提到的，每封电子邮件都会有所不同。有些甚至可能有多个 BODY 部分。我唯一的想法是创建一些统计模型来识别身体部位……但这需要一些时间。取决于需求的严重程度。
我可以按行拆分并使用朴素贝叶斯对每行进行分类并在需要时将其删除，但这会花费太多时间。据我所知，texttiling 已经以更复杂的方式做到了这一点。我只需要让功能正常工作！感谢您的帮助@MarkR

【解决方案2】：

我想要做的是分别返回字符串 s 的这 5 个部分/段落 - LOGISTICS、INTRO、BODY、OUTRO、POST EMAIL DISCLAIMER - 这样我就可以删除除正文以外的所有内容。如何使用 nltk texttiling 分别返回这 5 个部分？

文本拼接算法 {1,4,5} 并非旨在执行顺序文本分类 {2,3}（这是您描述的任务）。相反，来自http://people.ischool.berkeley.edu/~hearst/research/tiling.html：

TextTiling 是 [一种无监督的] 技术，用于自动将文本细分为代表段落或子主题的多段落单元。

参考资料：

{1} Marti A. Hearst，说明性文本的多段分割。 计算语言学协会第 32 次会议记录，新墨西哥州洛斯克鲁塞斯，1994 年 6 月。pdf
{2}李，J.Y.和 Dernoncourt, F.，2016 年 6 月。具有递归和卷积神经网络的顺序短文本分类。在计算语言学协会北美分会 2016 年会议记录中：人类语言技术（第 515-520 页）。 https://www.aclweb.org/anthology/N16-1062.pdf
{3} Dernoncourt、Franck、Ji Young Lee 和 Peter Szolovits。 “用于医学论文摘要中联合句子分类的神经网络”。在计算语言学协会欧洲分会第 15 届会议论文集：第 2 卷，短论文，第 694-700 页。 2017.https://www.aclweb.org/anthology/E17-2110.pdf
{4} Hearst, M.TextTiling: Segmenting Text into Multi-Paragraph Subtopic Passages，计算语言学，23 (1)，第 33-64 页，3 月1997 年。pdf
{5} Pevzner, L. 和 Hearst, M.，文本分割评估指标的批判和改进，计算语言学，28 (1) ，2002 年 3 月，第 19-36 页。 pdf

【讨论】：