如何为 TFRobertaSequenceClassification 指定目标类的数量？答案

【问题标题】：How to specify number of target classes for TFRobertaSequenceClassification?如何为 TFRobertaSequenceClassification 指定目标类的数量？
【发布时间】：2020-09-01 15:51:08
【问题描述】：

我手头有一个文本分类任务，我想使用转换器库中的 roberta 预训练模型。

这是文档：TFRobertaForSequenceClassification

根据我们必须使用的培训文档，

from transformers import RobertaTokenizer, TFRobertaForSequenceClassification

tokenizer = RobertaTokenizer.from_pretrained('roberta-base')
model = TFRobertaForSequenceClassification.from_pretrained('roberta-base')

model.compile('adam', loss='sparse_categorical_crossentropy')
model.fit(x, y)

那么我应该在哪里指定序列分类的目标标签数量？

【问题讨论】：

标签： python machine-learning deep-learning huggingface-transformers

【解决方案1】：

你可以使用num_labels参数。

model = TFRobertaForSequenceClassification.from_pretrained('roberta-base', num_labels = 5)

参考：https://huggingface.co/transformers/main_classes/configuration.html

【讨论】：

是否可以设置辍学率？ TFRobertaForSequenceClassification的分类头有dropout层？我想知道如何通过辍学率