【发布时间】：2023-02-23 23:15:52
【问题描述】：
在BERT中，我明白了Masked Language Model(MLM)预训练任务是做什么的，但是在计算这个任务的loss时，到底是怎么计算的呢？
很明显，掩码标记的损失（例如交叉熵损失）将包含在最终损失中。
但是其他没有被屏蔽的标记呢？是否为这些代币计算损失并计入最终损失？
【问题讨论】：
标签： deep-learning nlp bert-language-model
【发布时间】：2023-02-23 23:15:52
【问题描述】：
对于未屏蔽的令牌，不计算损失。
【讨论】：