用于翻译的 TensorFlow 数据集 - 如何使用 WMT14 手动下载？

Question

我在这里遵循指南：https://www.tensorflow.org/datasets/catalog/wmt14_translate，但我在尝试下载数据集时遇到了问题，基本上它需要很长时间才能下载。关于TF指南中提到的“手动下载”，是否意味着我必须从链接中手动下载它，并将它们放在我本地的tensorflow_datasets文件夹中？根据代码输出，它似乎正在尝试下载数据。

我的代码：

import tensorflow as tf

datasets, metadata = tfds.load('wmt14_translate/de-en', with_info=True,
                               as_supervised=True)
print(metadata)
train_examples, val_examples, test_examples = datasets['train'], datasets['validation'], datasets['test']

Answer 1

是的，下载确实需要很长时间，因为即使数据集很大（大约 1.5 Gb）。不，您不需要手动下载数据，只需等待代码运行即可。

附：就我而言，我必须运行

数据集 = tfds.load('wmt14_translate/de-en', split='test',shuffle_files=True)

再次单元格以获取dataset 中的所有示例（第二次运行不需要任何时间），否则在第一次运行之后，我只得到一个平行的句子对，我知道为什么。