德国新闻分类的 HuggingFace Transformers 模型答案

【问题标题】：HuggingFace Transformers model for German news classification德国新闻分类的 HuggingFace Transformers 模型
【发布时间】：2020-12-19 15:41:10
【问题描述】：

我一直在尝试为我的项目（多类德语文本分类）寻找合适的模型，但对 here 提供的模型有点困惑。有带有text-classification 标签的模型，但它们是用于二进制分类的。大多数其他模型用于[MASK] 单词预测。我不确定，该选择哪一个以及它是否适用于多个类

不胜感激任何建议！

【问题讨论】：

我假设你会微调你的模型？
@cronoik 是的，我正在寻找一个模型来用我的数据对其进行微调

标签： python nlp text-classification bert-language-model huggingface-transformers

【解决方案1】：

当您的类完全不同时，您无需寻找特定的文本分类模型，因为大多数列出的模型都使用了一种基本模型，并对基本层进行了微调，并根据需要训练了输出层。在您的情况下，您将删除输出层，它们对基础层的微调不会使您受益或伤害太多。有时他们扩展了可能对您的任务有益的词汇，但您必须检查描述（通常是稀疏的 :() 和自己的词汇以获得有关相应模型的更多详细信息。

一般情况下，我建议您立即使用其中一种基本模型，仅在结果不足的情况下寻找其他模型。

下面是6个类的bert示例：

from transformers import BertForSequenceClassification, BertTokenizer

tokenizer = BertTokenizer.from_pretrained("bert-base-german-dbmdz-uncased")
model = BertForSequenceClassification.from_pretrained("bert-base-german-dbmdz-uncased", num_labels=6)

【讨论】：