NLTK，朴素贝叶斯：为什么有些特征没有？

Question

我正在尝试使用 NLTK 实现朴素贝叶斯。

当我打印出信息量最大的特征时，其中一些被指定为“NONE”。这是为什么呢？

我使用的是词袋模型：当我输出特征时，每个特征都被赋值为真。

NONE 从何而来？

我读到了

The feature value 'None' is reserved for unseen feature values;

这里：http://www.nltk.org/_modules/nltk/classify/naivebayes.html

这是什么意思？

from nltk.corpus.reader import CategorizedPlaintextCorpusReader
import nltk.classify.util
from nltk.classify import NaiveBayesClassifier
from nltk.corpus import movie_reviews
import nltk.data
from nltk.corpus import stopwords
import collections
from nltk.classify.util import accuracy
import itertools
from nltk.collocations import BigramCollocationFinder
from nltk.metrics import BigramAssocMeasures
import nltk.metrics

def bag_of_words(words):
    return dict([(word, True) for word in words])

def bag_of_words_not_in_set(words, badwords):
    return bag_of_words(set(words) - set(badwords))

def bag_of_words_without_stopwords(words):
    badwords = stopwords.words("german")
    return bag_of_words_not_in_set(words, badwords)

def label_feats_from_corpus(corp, feature_detector=bag_of_words_without_stopwords):
    label_feats = collections.defaultdict(list)
    for label in corp.categories():
        for fileid in corp.fileids(categories=[label]):
            feats = feature_detector(corp.words(fileids=[fileid]))
            label_feats[label].append(feats)
    return label_feats

def split_label_feats(lfeats, split=0.75):
    train_feats = []
    test_feats = []
    for label, feats in lfeats.items():
        cutoff = int(len(feats) * split)
        train_feats.extend([(feat, label) for feat in feats[:cutoff]])
        test_feats.extend([(feat, label) for feat in feats[cutoff:]])
    return train_feats, test_feats


reader = CategorizedPlaintextCorpusReader('D:/corpus/', r'.*\.txt', cat_pattern=r'(\w+)/*')

all_words = nltk.FreqDist(w.lower() for w in reader.words())

def bigram_word_feats(words, score_fn=BigramAssocMeasures.chi_sq, n=200):
    bigram_finder = BigramCollocationFinder.from_words(words)
    bigrams = bigram_finder.nbest(score_fn, n)
    return dict([(ngram, True) for ngram in itertools.chain(words, bigrams)])

bigrams = bigram_word_feats(reader.words());

lfeats = label_feats_from_corpus(reader)

train_feats, test_feats = split_label_feats(lfeats, split=0.75)
len(train_feats)
nb_classifier = NaiveBayesClassifier.train(train_feats)


print("------------------------")
acc = accuracy(nb_classifier, test_feats)
print(acc)
print("------------------------")
feats = nb_classifier.most_informative_features(n=25)
for feat in feats:
    print(feat) # some are NONE

print("------------------------")
nb_classifier.show_most_informative_features(n=25) # some are NONE

Answer 1

我认为NaiveBayesClassifier 类的完整文档字符串解释了：

如果分类器遇到具有以下特征的输入 从未见过任何标签，而不是分配一个 所有标签的概率为 0，它将忽略该特征。

特征值“None”是为看不见的特征值保留的； 您通常不应将“无”用作其中之一的特征值 您自己的功能。

如果您的数据包含从未与标签关联的特征，则该特征的值将为None。假设你训练了一个带有特征W、X 的分类器，然后用特征W、X、Z 对某些东西进行分类。 None 的值将用于特征 Z，因为该特征在训练中从未见过。

进一步说明：

看到None 我并不感到惊讶，因为语言数据很少。在电影评论语料库中，会有一些词只出现在 1 或 2 个文档中。例如，演员的名字或标题中的单词可能只出现在 1 条评论中。

在分析之前从语料库中删除频繁（停止）和不频繁的单词是很常见的。对于他们的主题模型 Science，Blei and Lafferty (2007) 写道：“这个集合中的总词汇量是 375,144 个术语。我们修剪了出现少于 70 次的 356,195 个术语以及 296 个停止词。”