【问题标题】:Setting up training in Tensorflow with overlapping data?使用重叠数据在 TensorFlow 中设置训练?
【发布时间】:2018-09-11 01:13:45
【问题描述】:

我正在尝试训练神经网络使用时间序列数据进行预测。我正在尝试训练一个神经网络来预测未来 10 分钟的温度,假设我每 5 分钟有一个温度数据点,我想给它 15 分钟的数据用于预测和我的数据有这个。

[1,2,3,4,5,6,7,8,9,10,11,12]

因此,如果我要对数据进行训练,一个潜在的训练样本是 [1,2,3] 作为 x 和 [5] 作为 y(因为它是未来 10 分钟(两个 5 分钟的步骤))。

我想要一种方法来训练所有可能的输入,如下所示。

[1,2,3][5]
[2,3,4][6]
[3,4,5][7]
[4,5,6][8]
[5,6,7][9]
[6,7,8][10]
[7,8,9][11]
[8,9,10][12]

但我不想通过首先将每个可能的示例保存到磁盘然后从中进行训练来进行训练。由于数据被复制,这会占用比所需空间更多的空间。我想对数据进行某种预处理。

我发现的所有使用 tensorflow 输入管道的指令和示例,例如这里的 https://www.tensorflow.org/guide/datasets 都使用“非重叠”数据,我找不到任何可以处理我的场景的东西。

我遇到的问题是,我真的不知道如何在 tensorflow 中设置这种重叠数据场景,而不会将大量重复数据保存到磁盘。如果有人有任何关于最佳方式的链接或指南,我将不胜感激,谢谢。

【问题讨论】:

    标签: tensorflow machine-learning neural-network


    【解决方案1】:

    您可能正在寻找这种转换:https://www.tensorflow.org/api_docs/python/tf/contrib/data/sliding_window_batch

    tf.contrib.data.sliding_window_batch(window_size=3, stride=1)
    

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-08-05
      • 1970-01-01
      • 2020-07-13
      • 2018-07-28
      相关资源
      最近更新 更多