Tensorflow：如何在 Estimator 中使用来自生成器的数据集

Question

试图建立简单的模型只是为了弄清楚如何处理tf.data.Dataset.from_generator。我不明白如何设置output_shapes 参数。我尝试了几种组合，包括未指定它，但由于张量的形状不匹配，仍然会收到一些错误。这个想法只是产生两个带有SIZE = 10 的numpy 数组并用它们运行线性回归。代码如下：

SIZE = 10


def _generator():
    feats = np.random.normal(0, 1, SIZE)
    labels = np.random.normal(0, 1, SIZE)
    yield feats, labels


def input_func_gen():
    shapes = (SIZE, SIZE)
    dataset = tf.data.Dataset.from_generator(generator=_generator,
                                             output_types=(tf.float32, tf.float32),
                                             output_shapes=shapes)
    dataset = dataset.batch(10)
    dataset = dataset.repeat(20)
    iterator = dataset.make_one_shot_iterator()
    features_tensors, labels = iterator.get_next()
    features = {'x': features_tensors}
    return features, labels


def train():
    x_col = tf.feature_column.numeric_column(key='x', )
    es = tf.estimator.LinearRegressor(feature_columns=[x_col])
    es = es.train(input_fn=input_func_gen)

另一个问题是是否可以使用此功能为 tf.feature_column.crossed_column 的特征列提供数据？总体目标是在批量训练中使用Dataset.from_generator 功能，在数据不适合内存的情况下，数据从数据库中加载到块上。高度赞赏所有意见和示例。

谢谢！

Answer 1

tf.data.Dataset.from_generator() 的可选 output_shapes 参数允许您指定生成器产生的值的形状。它的类型有两个约束来定义它应该如何被指定：

• output_shapes 参数是一个“嵌套结构”（例如，一个元组、一个元组的元组、一个元组的字典等），它必须与生成器产生的值的结构相匹配。

  在您的程序中，_generator() 包含语句 yield feats, labels。因此，“嵌套结构”是两个元素的元组（每个数组一个）。

• output_shapes 结构的每个组件都应该匹配相应张量的形状。数组的形状始终是维度的元组。 （tf.Tensor 的形状更一般：参见this Stack Overflow question 进行讨论。）我们来看看feats 的实际形状：

  >>> SIZE = 10
  >>> feats = np.random.normal(0, 1, SIZE)
  >>> print feats.shape
  (10,)
  

因此，output_shapes 参数应该是一个 2 元素元组，其中每个元素是 (SIZE,)：

shapes = ((SIZE,), (SIZE,))
dataset = tf.data.Dataset.from_generator(generator=_generator,
                                         output_types=(tf.float32, tf.float32),
                                         output_shapes=shapes)

最后，您需要向tf.feature_column.numeric_column() 和tf.estimator.LinearRegressor() API 提供更多有关形状的信息：

x_col = tf.feature_column.numeric_column(key='x', shape=(SIZE,))
es = tf.estimator.LinearRegressor(feature_columns=[x_col],
                                  label_dimension=10)