BERT分类器中每个标签的预测概率答案

【问题标题】：Prediction probability of each label in BERT classifierBERT分类器中每个标签的预测概率
【发布时间】：2020-04-03 12:33:18
【问题描述】：

我正在尝试实现一种方法来评估预测概率，就像在 scikit learn 的帮助下所做的那样

confidence = model._predict_proba_lr(x_count).max() * 100

有没有办法使用 BERT 模型进行评估？

目前使用 Bert Base Uncased。
使用 Ktrain 库（内部使用 Keras）
参考代码：https://github.com/amaiya/ktrain/blob/master/examples/text/20newsgroups-BERT.ipynb

【问题讨论】：

【解决方案1】：

在ktrain中，您可以将return_proba=True 传递给predictor.predict 方法以输出概率。有关详细信息，请参阅text classification tutorial。

【讨论】：

【解决方案2】：

我不太了解您使用的具体代码。但是对于分类（我猜这就是你要找的），BERT 在预训练的 BERT 的最后一层上使用了一个线性 + soft-max 层。所以计算概率应该很简单。我发现an example with ktrain 显然您可以在其中指定您想要的概率（第 23 行）。

【讨论】：