使用 TF_IDF 提取特征后如何使用朴素贝叶斯分类器

Question

我正在尝试使用朴素贝叶斯分类器对特征进行分类，我使用 TF_IDF 进行特征提取。

finaltfidfVector是一个向量列表，每个向量代表一个数字列表，0如果没有找到单词，如果找到单词的权重。

而classlabels 包含每个向量的所有类标签。我正在尝试使用此代码对其进行分类，但它不起作用。

26652 行数据集

from nltk.classify import apply_features

def naivebyse(finaltfidfVector,classlabels,reviews):

    train_set = []
    j = 0
    for vector in finaltfidfVector:
        arr={}
        if j<18697:
            arr[tuple(vector)] = classlabels[j]
            train_set.append((arr, reviews[j]))
            j += 1

    test_set = []
    j = 18697
    for vector in finaltfidfVector:
        arr = {}
        if j < 26652 and j>=18697:
            arr[tuple(vector)] = classlabels[j]
            test_set.append((arr, reviews[j]))
            j += 1

    classifier = nltk.NaiveBayesClassifier.train(train_set)
    print(nltk.classify.accuracy(classifier, test_set))

输出：

0.0

使用的TF_IDF 引用并应用于finaltfidfVector https://triton.ml/blog/tf-idf-from-scratch?fbclid=IwAR3UlCToGYFEQSmugXo3M5Q9fcld79JfXSfBaDG7wKv5a49O0ZDEft9DFNg。 数据集

this is sample about the used data set before preprocessing and TF_IDF

这是finaltfidfVector 列表中索引为零的第一个向量的示例

[0.0,0.0, 0.0, 0.6214608098422192, 0.0, 0.0, 0.0, 0.0, 0.0, 0.5115995809754083,0.0,0.0, 0.0, 0.0, 0.5521460917862246, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.6214608098422192,0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.6214608098422192, 0.0, 0.0, 0.0, 0.6214608098422192]

classlabels 包含每个向量的类标签 , 1 代表讽刺 0 代表不讽刺。索引0的类标签为1，这个1为finaltfidfVector中的第一个向量。

train_set 的第一项是

({(0.0, 0.0, 1.3803652294655615,.....ect): '0'}, "former versace store clerk sues over secret 'black code' for minority shoppers")

Answer 1

这是一个可复制的玩具示例：

# let's define a train_set
train_set = [
    ({'adam': 0.05,'is': 0.0, 'a': 0.0, 'good': 0.02, 'man': 0.0}, 1),
    ({'eve': 0.0, 'is':  0.0, 'a':  0.0,'good':  0.02,'woman': 0.0}, 1),
    ({'adam': 0.05, 'is': 0.0, 'evil': 0.0}, 0)]

玩具数据集是使用手工制作的“tfidf”分数字典创建的：

tfidf_dict = {
 'adam': 0.05,
 'eve': 0.05,
 'evil': 0.02,
 'kind': 0.02,
 'good': 0.02,
 'bad': 0.02
}

每个已知单词都有一个 tfidf 分数，一个未知单词的分数是 0。而且在 train_set 中，我们有标记为 1 的句子的正分数（“adam is good”），标记为 0 的负分数（“adam是邪恶的”）。

现在运行一些测试：

import nltk
clf = nltk.NaiveBayesClassifier.train(train_set)

看看这在玩具火车上是如何工作的：

>>> nltk.classify.accuracy(clf, train_set)
1.0

由于测试集与训练集具有相同的结构，这足以说明如何训练和运行朴素贝叶斯分类器。