joblib 转储上的 MemoryError

Question

我运行以下 sn-p 来训练文本分类模型。我对它进行了相当多的优化，它运行得非常顺利，但是它仍然使用了大量的 RAM。我们的数据集非常庞大（1300 万个文档 + 1800 万个词汇表），但在我看来，执行时抛出错误的点非常奇怪。脚本：

encoder = LabelEncoder()
y = encoder.fit_transform(categories)
classes = list(range(0, len(encoder.classes_)))

vectorizer = CountVectorizer(vocabulary=vocabulary,
                             binary=True,
                             dtype=numpy.int8)

classifier = SGDClassifier(loss='modified_huber',
                           n_jobs=-1,
                           average=True,
                           random_state=1)

tokenpath = modelpath.joinpath("tokens")
for i in range(0, len(batches)):
    token_matrix = joblib.load(
        tokenpath.joinpath("{}.pickle".format(i)))
    batchsize = len(token_matrix)
    classifier.partial_fit(
        vectorizer.transform(token_matrix),
        y[i * batchsize:(i + 1) * batchsize],
        classes=classes
    )

joblib.dump(classifier, modelpath.joinpath('classifier.pickle'))
joblib.dump(vectorizer, modelpath.joinpath('vectorizer.pickle'))
joblib.dump(encoder, modelpath.joinpath('category_encoder.pickle'))
joblib.dump(options, modelpath.joinpath('extraction_options.pickle'))

我在这一行得到了 MemoryError：

joblib.dump(vectorizer, modelpath.joinpath('vectorizer.pickle'))

在执行的这一点上，训练完成并且分类器已经被转储。它应该由垃圾收集器收集，以防需要更多内存。除此之外，如果它甚至不是compressing the data，为什么joblib要分配这么多内存。

我对 python 垃圾收集器的内部工作没有深入的了解。我应该强制 gc.collect() 还是使用 'del' 语句来释放那些不再需要的对象？

更新：

我尝试使用 HashingVectorizer，尽管它大大减少了内存使用量，但矢量化速度较慢，因此不是一个很好的选择。

我必须腌制矢量化器，以便稍后在分类过程中使用它，这样我就可以生成提交给分类器的稀疏矩阵。我将在这里发布我的分类代码：

extracted_features = joblib.Parallel(n_jobs=-1)(
    joblib.delayed(features.extractor) (d, extraction_options) for d in documents)

probabilities = classifier.predict_proba(
    vectorizer.transform(extracted_features))

predictions = category_encoder.inverse_transform(
    probabilities.argmax(axis=1))

trust = probabilities.max(axis=1)

Answer 1

如果您向CountVectorizer 提供自定义词汇表，那么稍后在分类期间重新创建它应该不是问题。当您提供一组字符串而不是映射时，您可能希望使用已解析的词汇表，您可以通过以下方式访问：

parsed_vocabulary = vectorizer.vocabulary_
joblib.dump(parsed_vocabulary, modelpath.joinpath('vocabulary.pickle'))

然后加载它并用于重新创建CountVectorizer：

vectorizer = CountVectorizer(
    vocabulary=parsed_vocabulary,
    binary=True,
    dtype=numpy.int8
)

注意这里不需要使用joblib；标准泡菜应该执行相同的操作；您可以使用任何可用的替代方法获得更好的结果，值得一提的是 PyTables。

如果这也占用了大部分内存，您应该尝试使用原始的vocabulary 来重新创建矢量化器；目前，当提供一组字符串作为词汇表时，矢量化器只是将集合转换为排序列表，因此您不必担心可重复性（尽管在生产中使用之前我会仔细检查）。或者您可以自行将集合转换为列表。

总结一下：因为你没有fit()这个Vectorizer，所以使用CountVectorizer的全部附加值就是它的transform()方法；由于所需的全部数据是词汇表（和参数），因此您可能会减少仅对词汇表进行腌制的内存消耗，无论是否已处理。

当您要求从官方来源获取答案时，我想指出您：https://github.com/scikit-learn/scikit-learn/issues/3844，其中 scikit-learn 的所有者和贡献者提到重新创建 CountVectorizer，尽管是出于其他目的。在链接的 repo 中报告问题可能会更好，但请确保包含会导致内存使用过多问题的数据集以使其可重现。

最后你可以使用前面评论中提到的HashingVectorizer。

PS：关于gc.collect() 的使用——在这种情况下我会试一试；关于技术细节，你会发现很多关于 SO 解决这个问题的问题。