tf.transform：向 Keras 模型添加预处理？答案

【问题标题】：tf.transform: add preprocessing to Keras model?tf.transform：向 Keras 模型添加预处理？
【发布时间】：2018-10-20 08:42:08
【问题描述】：

我有一个 keras 模型，用于使用 tensorflow 后端进行文本分类。它目前假设输入是一个 numpy 整数数组。

我想对此进行修改，以便可以对原始文本进行训练和预测。根据我收集到的信息，这涉及使用tf.transform 将字符串张量转换为整数张量。

我已经使用tf.transform 完成了这项工作，但现在不确定如何将此预处理步骤作为第一层/步骤添加到我的模型中。需要明确的是，我的输入数据如下所示：

[{"review":"movie is great}, {"review":"awful film"}]

输出是：

[{"review_out": array([-1, -1, 1, 0, 2])}, {"review_out": array([-1, -1, -1, 3, 4])]

执行此操作的函数称为preprocess。所以我只想将运行preprocess 作为我的 DAG 的第一步。

我该怎么做？

作为参考，这很重要，因为我想在 ML Engine 上进行实时预测。

【问题讨论】：

【解决方案1】：

如果您使用tf.data.Dataset()，则存在一个tf.data.Dataset().map(map_func) 函数，可让您将map_func 应用于数据集的所有元素。这可用于添加您的预处理步骤。

例如：

dataset = tf.data.Dataset.from_tensor_slices((x, y))

dataset = dataset.map(preprocess)

model.fit(dataset, ....)

与 numpy 数组相比，使用 tf.data.Dataset() 还有其他优势。

【讨论】：