朴素贝叶斯分类器抽取总结

Question

我正在尝试训练一个朴素贝叶斯分类器，但我遇到了数据问题。我打算用它来提取文本摘要。

Example_Input: It was a sunny day. The weather was nice and the birds were singing.
Example_Output: The weather was nice and the birds were singing.

我有一个我打算使用的数据集，并且在每个文档中至少有 1 个句子用于摘要。

我决定使用 sklearn，但我不知道如何表示我拥有的数据。即X和y。

from sklearn.naive_bayes import MultinomialNB
clf = MultinomialNB().fit(X, y)

最接近我的想法是把它做成这样：

X = [
        'It was a sunny day. The weather was nice and the birds were singing.',
        'I like trains. Hi, again.'
    ]

y = [
        [0,1],
        [1,0]
    ]

其中目标值表示 1 - 包含在摘要中，0 - 不包含。不幸的是，这会产生不良形状异常，因为 y 预计是一维数组。我想不出一种表示它的方式，所以请帮忙。

顺便说一句，我不直接使用X 中的字符串值，而是使用来自sklearn 的CountVectorizer 和TfidfTransformer 将它们表示为向量。

Answer 1

根据您的要求，您正在对数据进行分类。这意味着，您需要将每个句子分开来预测它的类别。

例如：
而不是使用：

X = [
        'It was a sunny day. The weather was nice and the birds were singing.',
        'I like trains. Hi, again.'
    ]

如下使用：

X = [
        'It was a sunny day.',
        'The weather was nice and the birds were singing.',
        'I like trains.',
        'Hi, again.'
    ]

使用 NLTK 的句子分词器来实现。

现在，对于标签，使用两个类别。假设 1 表示是，0 表示否。

y = [
        [0,],
        [1,],
        [1,],
        [0,]
    ]

现在，使用这些数据来拟合和预测您想要的方式！

希望对你有帮助！