估计器输入函数随机噪声处理

Question

在 TensorFlow 1.9 中使用自定义估算器。 我的估算器训练 input_function 遵循典型模式，但我想确保我正在做我认为我正在做的事情。我有这个函数，我想将其应用于每个数据集示例。

def add_noise(data, label):
    tile = data['tile']
    sigma_noise = tf.pow(10.0, -SNR/20.0)
    noise = tf.random_normal(shape=tf.shape(tile), mean=0.0, stddev=sigma_noise, dtype=tf.float32) 
    tile += noise
    return {'tile' : tile}, label

所以使用数据集 API：

dataset = dataset.shuffle(buffer_size=70001)
dataset = dataset.map(parse_function)
dataset = dataset.map(add_noise)
dataset = dataset.batch(32)
dataset = dataset.repeat()
iterator = dataset.make_one_shot_iterator()

我的函数 add_noise 是否在每个时期都应用于整个数据集，以便每个输出示例在训练过程中无限期地应用新的随机噪声？

谢谢大家:)

Answer 1

来自map方法的TensorFlowtf.data.Datasetdocumentation：

map(
    map_func,
    num_parallel_calls=None
)

在此数据集的元素之间映射map_func。

此转换将map_func 应用于此数据集的每个元素， 并返回一个包含转换后元素的新数据集，在 与它们在输入中出现的顺序相同。

所以来自dataset.map(add_noise) 的数据集只应用了一次随机噪声，因此从dataset.make_one_shot_iterator() 返回的迭代器只应用了一次随机噪声。如果在每个 epoch 之后，您重复代码，将数据打乱并应用随机噪声等，那么将为每个 epoch 应用一个新的随机噪声，这就是您想要的。