为什么 NLTK NaiveBayes 分类器错误分类了一条记录？

Question

这是我第一次使用 Python 中的 nltk NaiveBayesClassifier 构建情感分析机器学习模型。我知道模型太简单了，但这对我来说只是第一步，下次我会尝试标记化的句子。

我当前模型的真正问题是：我已在训练数据集中将“坏”一词明确标记为负面（从“negative_vocab”变量中可以看出）。然而，当我对列表 ['awesome movie', 'i like it', 'it is so bad'] 中的每个句子（小写）运行 NaiveBayesClassifier 时，分类器错误地将 'it is so bad' 标记为正面。

输入：

import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import names

positive_vocab = [ 'awesome', 'outstanding', 'fantastic', 'terrific', 'good', 'nice', 'great', ':)' ]
negative_vocab = [ 'bad', 'terrible','useless', 'hate', ':(' ]
neutral_vocab = [ 'movie','the','sound','was','is','actors','did','know','words','not','it','so','really' ]

def word_feats(words):
    return dict([(word, True) for word in words])

positive_features_1 = [(word_feats(positive_vocab), 'pos')]
negative_features_1 = [(word_feats(negative_vocab), 'neg')]
neutral_features_1 = [(word_feats(neutral_vocab), 'neu')]

train_set = negative_features_1 + positive_features_1 + neutral_features_1

classifier = NaiveBayesClassifier.train(train_set) 

# Predict
neg = 0
pos = 0
sentence = "Awesome movie. I like it. It is so bad"
sentence = sentence.lower()
words = sentence.split('.')

def word_feat(word):
    return dict([(word,True)])
#NOTE THAT THE FUNCTION 'word_feat(word)' I WROTE HERE IS DIFFERENT FROM THE 'word_feat(words)' FUNCTION I DEFINED EARLIER. THIS FUNCTION IS USED TO ITERATE OVER EACH OF THE THREE ELEMENTS IN THE LIST ['awesome movie', ' i like it', ' it is so bad'].

for word in words:
    classResult = classifier.classify(word_feat(word))
    if classResult == 'neg':
        neg = neg + 1
    if classResult == 'pos':
        pos = pos + 1
    print(str(word) + ' is ' + str(classResult))
    print() 

输出：

awesome movie is pos

i like it is pos

it is so bad is pos

为了确保函数 'word_feat(word)' 迭代每个句子而不是每个单词或字母，我做了一些诊断代码来查看 'word_feat(word)' 中的每个元素是什么：

for word in words:
    print(word_feat(word))

然后打印出来：

{'awesome movie': True}
{' i like it': True}
{' it is so bad': True} 

所以看起来函数'word_feat(word)'是正确的？

有谁知道为什么分类器将“情况如此糟糕”分类为正面？如前所述，我在训练数据中明确将“坏”一词标记为负面。

Answer 1

这个特殊的失败是因为你的 word_feats() 函数需要一个单词列表（一个标记化的句子），但是你将每个单词分别传递给它......所以 word_feats() 迭代它的字母。您已经构建了一个分类器，该分类器根据字符串包含的字母将字符串分类为正数或负数。

您可能处于这种困境中，因为您没有注意变量的名称。在您的主循环中，变量sentence、words 或word 都不包含其名称所声称的内容。要了解和改进您的程序，请从正确命名开始。

除了错误，这不是您构建情感分类器的方式。训练数据应该是标记化句子的列表（每个都标有其情绪），而不是单个单词的列表。同样，您对标记化的句子进行分类。

Answer 2

这是修改后的代码

import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import names
from nltk.corpus import stopwords

positive_vocab = [ 'awesome', 'outstanding', 'fantastic', 'terrific', 'good', 'nice', 'great', ':)' ]
negative_vocab = [ 'bad', 'terrible','useless', 'hate', ':(' ]
neutral_vocab = [ 'movie','the','sound','was','is','actors','did','know','words','not','it','so','really' ]

def word_feats(words):
    return dict([(word, True) for word in words])

positive_features_1 = [(word_feats(positive_vocab), 'pos')]
negative_features_1 = [(word_feats(negative_vocab), 'neg')]
neutral_features_1 = [(word_feats(neutral_vocab), 'neu')]

train_set = negative_features_1 + positive_features_1 + neutral_features_1

classifier = NaiveBayesClassifier.train(train_set) 

# Predict
neg = 0
pos = 0
sentence = "Awesome movie. I like it. It is so bad."
sentence = sentence.lower()
sentences = sentence.split('.')   # these are actually list of sentences

for sent in sentences:
    if sent != "":
        words = [word for word in sent.split(" ") if word not in stopwords.words('english')]
        classResult = classifier.classify(word_feats(words))
        if classResult == 'neg':
            neg = neg + 1
        if classResult == 'pos':
            pos = pos + 1
        print(str(sent) + ' --> ' + str(classResult))
        print

我修改了您正在考虑将“单词列表”作为分类器输入的位置。但实际上你需要逐句传递，这意味着你需要传递“句子列表”

另外，对于每个句子，您需要传递“words as features”，这意味着您需要将句子拆分为空白字符。

此外，如果您希望分类器在情绪分析中正常工作，您需要减少对“停用词”的偏好，例如“它、它们、是等”。因为这些词不足以决定句子是积极的、消极的还是中性的。

上面的代码给出了下面的输出

awesome movie --> pos

 i like it --> pos

 it is so bad --> neg

所以对于任何分类器，训练分类器和预测分类器的输入格式应该相同。在训练时提供单词列表，请尝试使用相同的方法来转换您的测试集。

Answer 3

让我展示你的代码的重写。我在顶部附近所做的所有更改是添加import re，因为使用正则表达式更容易标记化。定义classifier 之前的所有内容都与您的代码相同。

我又添加了一个测试用例（确实非常消极），但更重要的是，我使用了正确的变量名称 - 这样就很难对正在发生的事情感到困惑：

test_data = "Awesome movie. I like it. It is so bad. I hate this terrible useless movie."
sentences = test_data.lower().split('.')

所以sentences 现在包含 4 个字符串，每个字符串都是一个句子。 我没有改变你的 word_feat() 函数。

为了使用分类器，我做了相当大的重写：

for sentence in sentences:
    if(len(sentence) == 0):continue
    neg = 0
    pos = 0
    for word in re.findall(r"[\w']+", sentence):
        classResult = classifier.classify(word_feat(word))
        print(word, classResult)
        if classResult == 'neg':
            neg = neg + 1
        if classResult == 'pos':
            pos = pos + 1
    print("\n%s: %d vs -%d\n"%(sentence,pos,neg))

外层循环又是描述性的，所以sentence 包含一个句子。

然后我有一个内部循环，我们对句子中的每个单词进行分类；我正在使用正则表达式将句子拆分为空格和标点符号：

 for word in re.findall(r"[\w']+", sentence):
     classResult = classifier.classify(word_feat(word))

其余的只是基本的加法和报告。我得到这个输出：

awesome pos
movie neu

awesome movie: 1 vs -0

i pos
like pos
it pos

 i like it: 3 vs -0

it pos
is neu
so pos
bad neg

 it is so bad: 2 vs -1

i pos
hate neg
this pos
terrible neg
useless neg
movie neu

 i hate this terrible useless movie: 2 vs -3

我仍然和你一样——“太糟糕了”被认为是积极的。通过额外的调试行我们可以看到这是因为“it”和“so”被认为是正面词，而“bad”是唯一的负面词，所以总体上是正面的。

我怀疑这是因为它没有在训练数据中看到这些词。

...是的，如果我将“it”和“so”添加到中性词列表中，我会得到“it is so bad: 0 vs -1”。

作为接下来要尝试的事情，我建议：

• 尝试更多的训练数据；像这样的玩具示例存在噪声会淹没信号的风险。
• 考虑删除停用词。

Answer 4

你可以试试这个代码

from nltk.classify import NaiveBayesClassifier

def word_feats(words):
return dict([(word, True) for word in words])

positive_vocab = [ 'awesome', 'outstanding', 'fantastic','terrific','good','nice','great', ':)','love' ]
negative_vocab = [ 'bad', 'terrible','useless','hate',':(','kill','steal']
neutral_vocab = [ 'movie','the','sound','was','is','actors','did','know','words','not' ]

positive_features = [(word_feats(pos), 'pos') for pos in positive_vocab]
negative_features = [(word_feats(neg), 'neg') for neg in negative_vocab]
neutral_features = [(word_feats(neu), 'neu') for neu in neutral_vocab]

train_set = negative_features + positive_features + neutral_features

classifier = NaiveBayesClassifier.train(train_set) 

# Predict
neg = 0
pos = 0

sentence = " Awesome movie, I like it :)"
sentence = sentence.lower()
words = sentence.split(' ')
for word in words:
classResult = classifier.classify( word_feats(word))
if classResult == 'neg':
    neg = neg + 1
if classResult == 'pos':
    pos = pos + 1


print('Positive: ' + str(float(pos)/len(words)))
print('Negative: ' + str(float(neg)/len(words)))

结果是： 正：0.7142857142857143 负数：0.14285714285714285