如何微调 BERT 来总结文章答案

【问题标题】：How to fine tune BERT to summarize articles如何微调 BERT 来总结文章
【发布时间】：2020-03-09 23:30:24
【问题描述】：

我正在学习nlp，作为一个学习项目，我正在尝试面对news summarization dataset，使用BERT。

数据集很简单（在 news_summary_more.csv 中） - 它有 articles 和 headlines 列。

我的想法是，将文章用作特征（X），将标题用作目标（Y）。

我的问题是如何衡量微调的成功率，以便模型学习？

模型预测几乎不会与真实目标相同 (y != ^y)，因为有太多选项可以总结文章，并且几乎 100% 的情况下模型的总结会有所不同真正的标题。

例子：

Team A won the game against team B

不同于：

Team A is victorious against team B on the game

虽然两者的含义几乎相同。

那么如何测试模型是否接近真实目标？（也许以某种方式使用 MSE）

【问题讨论】：

【解决方案1】：

f1_score 将是此类数据集的正确衡量标准

【讨论】：