【问题标题】：How to implement an image(2D array) sequence sliding window in tensorflow?如何在张量流中实现图像（二维数组）序列滑动窗口？
【发布时间】：2019-07-11 18:08:33
【问题描述】：

上下文

我们有数据存储在.tfrecord 文件中，X 是我们的训练数据 > 40x40 灰度图像和Y: 是标签。这些图像按顺序排列（顺序很重要）。我们想使用 Tensorflows Estimator API 输入这些图像，以使用 GoogleML 训练具有各种时间窗口大小和移位的神经网络模型（例如：LSTM）。

问题

如何将输入的特征字符串重塑为一定长度的序列，例如将1000 图像放入一个序列，然后对这些序列执行窗口化，例如获取50 图像的窗口，窗口移位25？

当前状态

我们已经成功地实现了这一点（下面的稀疏示例），而不是第一次重塑为 1000 个长度集，但是 结果是窗口从一个集合的元素 975 跨越到下一个集合的元素 25，我们这样做不想。 我们需要从每组1000 图像的开始到结束的重叠窗口，但不能跨越它们的边界。

import tensorflow as tf

# .tfrecord file consisting of data 'X' and labels 'Y'
dataset = tf.data.TFRecordDataset('.tfrecord file')

# define parse function for dataset.map function
def _parse_function(proto):
    # define constants for parsing
    image_size = 40
    num_channels = 1
    num_classes = 3


    # define your tfrecord feature keys and 
    # reshape 1D arrays into 2D arrays (images)
    keys_to_features = {'X': tf.FixedLenFeature([image_size, image_size, num_channels], tf.float32),  # image height, image width, num_channels
                    'Y': tf.FixedLenFeature([], tf.int64)}

    # Load one example
    parsed_features = tf.parse_single_example(proto, keys_to_features)

    # extract image and labels
    image = parsed_features['X']
    labels = tf.cast( parsed_features['Y'], tf.int32 )
    labels = tf.one_hot( labels, depth=num_classes )  # one hot encoding

    return image, labels

# reshape the data into parse format
dataset = dataset.map(_parse_function)

# define dataset parameters
window_size = 50
batch_size = 500
window_shift = int( window_size / 2 )  # 25

# implement sliding window 
dataset = dataset.window(size=window_size, shift=window_shift, drop_remainder=True ).flat_map( lambda x: x.batch(window_size) )

# batch the data
dataset = dataset.batch(batch_size)

# create an iterator
# iterator = dataset.make_one_shot_iterator().get_next()

上面的iterator 将为X 数据返回一个形状张量（batch_size、window_size、image_height、image_width、通道数），在我们的例子中(500, 50, 40, 40, 1) 和Y 作为(500, 3) 数组。

【问题讨论】：

标签： python tensorflow machine-learning neural-network lstm

【解决方案1】：

我设法通过过滤掉跨越边界的窗口来做到这一点。一旦你有了解析的特性，就对所有内容应用窗口，然后计算哪些窗口是溢出的窗口并将它们过滤掉：

ds = tf.data.TFRecordDataset( filename )
ds = ds.map( _parse_function )

# apply windowing
ds = ds.window( size=50, shift=25, drop_remainder=True ).flat_map( lambda x, y: tf.data.Dataset.zip( (x.batch(50), y.batch(50)) ) )
# enumerate dataset and filter every 40th window
ds = ds.apply( tf.data.experimental.enumerate_dataset(start=1) ).filter( lambda i, x: tf.not_equal( i % 40, 0) )
# get rid of enumerations
ds = ds.map( lambda i, x: x )

# batching, shuffling etc...
...

澄清：每 40 个窗口过滤一次，因为如果您有 1000 个组和 25 个窗口移位，则将有 set_len / win_shift = 40 个窗口，最后一个（即第 40 个）将溢出到下一组。另请注意，枚举从 1 开始，因此不会取出第 0 个样本，因为 0 % x == 0。

请注意，这与其说是真正的解决方案，不如说是一种 hack。它适用于 50% 的重叠，但在其他百分比下，计算要丢弃的索引变得更加复杂（如果重叠 >50%，多个窗口会溢出到下一组，因此需要多个过滤器）。

【讨论】：