哪个文件用于 TEXTSUM 中的评估步骤？答案

【问题标题】：Which file to be used for eval step in TEXTSUM?哪个文件用于 TEXTSUM 中的评估步骤？
【发布时间】：2017-01-09 00:58:42
【问题描述】：

我正在研究 tensorflow 的 texsum 模型，它是文本摘要。我正在遵循 github/textsum 的自述文件中指定的命令。它说数据文件夹中存在的名为验证的文件将在评估步骤中使用，但数据文件夹中没有验证文件。

我想自己做一个，后来意识到它应该是一个二进制文件。所以我需要准备一个文本文件，它将被转换为二进制文件。但是该文本文件必须具有特定的格式。它会与train step中使用的文件相同吗？我可以对训练步骤和评估步骤使用相同的文件吗？我遵循的步骤顺序是：

第 1 步：使用被提及为玩具数据集“更新”的词汇文件训练模型

第 2 步：训练持续了一段时间，在 running_avg_loss: 3.590769 时“被杀死”

第 3 步：使用与训练相同的数据和词汇文件进行 eval 步骤，我运行了 eval。它继续运行，running_avg_loss 介于 6 到 7 之间

我怀疑第 3 步，是否要使用相同的文件。

【问题讨论】：

【解决方案1】：

因此，您不必运行 eval，除非您实际上是在训练后测试您的模型，以确定训练如何针对从未见过的另一组数据进行。我也一直在唱它以确定我是否开始过度拟合数据。

因此，您通常会提取整个数据集的 20-30% 并将其用于评估过程。然后，您可以针对您的训练数据进行训练。完成后，您可以根据需要立即运行 decode，或者您可以对从一开始留出的 20% - 30% 数据集运行 eval。一旦您对结果感到满意，您就可以运行解码以获取结果。

您的二进制格式应与您的训练数据相同。

【讨论】：