创建自定义 TFDS 数据集答案

【问题标题】：creating a custom TFDS dataset创建自定义 TFDS 数据集
【发布时间】：2021-02-22 01:03:34
【问题描述】：

我想为汇总任务创建一个自定义 TensorFlow 数据集。我有一套报告，每份报告都有三个黄金摘要。所有数据均为 (.txt) 格式。我想创建一个 TFDS，其中键是报告，值是摘要。所以我会有这种格式： (report1 , summary11) (report1 , summary12) (report1 , summary13) (report2 , summary21) (report2 , summary22) (report2 , summary23)

是否有任何解决方案可以帮助我完成这项任务。我查看了tensorflow网站上的官方文档，对我没有用。

谢谢！

【问题讨论】：

标签： tensorflow dataset tensorflow-datasets trax

【解决方案1】：

可以通过生成器实现用于遍历数据文件的自定义迭代器。当 tf datasets 从生成器检索输入时，您可以修改生成器代码以返回结果

def generator(tuples):
   for tuple in tuples:
      yield tuple[1]

【讨论】：