BERT 二进制文本分类每次运行都会得到不同的结果答案

【问题标题】：BERT binary Textclassification get different results every runBERT 二进制文本分类每次运行都会得到不同的结果
【发布时间】：2020-04-16 14:10:16
【问题描述】：

我使用来自Simpletransformer 的 BERT 进行二进制文本分类。

我在 Colab 中使用 GPU 运行时类型工作。

我使用 sklearn StratifiedKFold 方法生成了训练集和测试集。我有两个文件，其中包含我的折叠字典。

我在以下 while 循环中运行我的分类：

from sklearn.metrics import matthews_corrcoef, f1_score
import sklearn

counter = 0

resultatos = []

while counter != len(trainfolds):

    model = ClassificationModel('bert', 'bert-base-multilingual-cased',args={'num_train_epochs': 4, 'learning_rate': 1e-5, 'fp16': False, 
                                                                             'max_seq_length': 160, 'train_batch_size': 24,'eval_batch_size': 24 , 
                                                                             'warmup_ratio': 0.0,'weight_decay': 0.00, 
                                                                             'overwrite_output_dir': True})

    print("start with fold_{}".format(counter))
    trainfolds["{}_fold".format(counter)].to_csv("/content/data/train.tsv", sep="\t", index = False, header=False)
    print("{}_fold Train als train.tsv exportiert". format(counter))
    testfolds["{}_fold".format(counter)].to_csv("/content/data/dev.tsv", sep="\t", index = False, header=False)
    print("{}_fold test als train.tsv exportiert". format(counter))

    train_df =  pd.read_csv("/content/data/train.tsv", delimiter='\t', header=None)
    eval_df = df = pd.read_csv("/content/data/dev.tsv", delimiter='\t', header=None)

    train_df = pd.DataFrame({
    'text': train_df[3].replace(r'\n', ' ', regex=True),
    'label':train_df[1]})

    eval_df = pd.DataFrame({
    'text': eval_df[3].replace(r'\n', ' ', regex=True),
    'label':eval_df[1]})

    model.train_model(train_df)

    result, model_outputs, wrong_predictions = model.eval_model(eval_df, f1 = sklearn.metrics.f1_score)
    print(result)

    resultatos.append(result)

    shutil.rmtree("outputs")
    shutil.rmtree("cache_dir")
    #shutil.rmtree("runs")



    counter += 1

对于相同的折叠运行此代码，我得到不同的结果：

这里以两次跑步的 F1 分数为例：

0.6237942122186495
0.6189111747851003
0.6172839506172839
0.632183908045977
0.6182965299684542
0.5942492012779553
0.6025641025641025
0.6153846153846154
0.6390532544378699
0.6627906976744187
The F1 Score is: 0.6224511646974427


0.6064516129032258
0.6282420749279539
0.6402439024390244
0.5971014492753622
0.6135693215339232
0.6191950464396285
0.6382978723404256
0.6388059701492537
0.6097560975609756
0.5956112852664576
The F1 Score is: 0.618727463283623

相同的褶皱怎么会有那么大的不同？

我已经尝试过的是在循环开始之前给出一个固定的随机种子：

random.seed(42)
np.random.seed(42)
torch.manual_seed(42)
torch.cuda.manual_seed_all(42)

我想出了在循环中初始化模型的方法，因为当它在循环之外时，它会以某种方式记住它所学的内容——这意味着在第二次折叠后我的 f1 分数几乎为 1——尽管事实上我删除缓存..

【问题讨论】：

标签： python-3.x text-classification transformer bert-language-model

【解决方案1】：

我自己想通了，只需设置所有 seeds 加上 torch.backends.cudnn.deterministic = True 和 torch.backends.cudnn.benchmark = 假 如this 帖子中所示，我在所有运行中得到相同的结果！

【讨论】：