接收图像数据集的相同（非随机）增强

Question

dataset = tf.data.Dataset.range(1, 6) 

def aug(y):
    x = np.random.uniform(0,1)
    if x > 0.5:
         y = 100
    return y

dataset = dataset.map(aug)
print(list(dataset))

运行此代码，然后数据集中的所有元素都保持原样，或全部等于 100。如何使每个元素单独转换？ 我下面更具体的问题基本上是问这个

我通过以下方式创建我的分割训练集：

dataset = tf.data.Dataset.from_tensor_slices((image_paths, mask_paths))

然后我将我的增强函数应用于数据集：

def augment(image_path, mask_path)):
    //use tf.io.read_file and tf.io.decode_jpeg to convert paths to tensors
    
    x = np.random.choice([0,1])
    if x == 1:
        image = tf.image.flip_up_down(image) 
        mask = tf.image.flip_up_down(mask)

    return image, mask

training_dataset = dataset.map(augment)
BATCH_SIZE=2
training_dataset = training_dataset.shuffle(100, reshuffle_each_iteration=True)
training_dataset = training_dataset.batch(BATCH_SIZE)
training_dataset = training_dataset.repeat()
training_dataset = training_dataset.prefetch(-1)

但是，当我可视化我的训练数据集时，所有图像都应用了相同的翻转——要么全部翻转，要么没有翻转。我希望他们有不同的翻转——有些是颠倒的，有些不是。

为什么会这样？

Answer 1

您需要使用 tensorflow 操作（不是 numpy 或普通 python），因为tf.data.Dataset.map() 将映射函数作为图形执行。将函数转换为图形时，numpy 和 base python 将转换为常量。增强功能仅运行np.random.uniform(0,1) 一次 并将其存储为常量。

请注意，无论定义 map_func 的上下文如何（eager vs. graph），tf.data 都会跟踪函数并将其作为图执行。

以上来源为here。

一种解决方案是使用 tensorflow 操作。我在下面提供了一个示例。请注意，if 中的 y 值必须转换为与输入相同的 dtype。

dataset = tf.data.Dataset.range(1, 6) 

def aug(y):
    x = tf.random.uniform([], 0, 1)
    if x > 0.5:
        y = tf.cast(100, y.dtype)
    return y

dataset = dataset.map(aug)
print(list(dataset))

Answer 2

您可以使用均匀随机函数或其他概率分布

tf.random.uniform(
shape, minval=0, maxval=None, dtype=tf.dtypes.float32, seed=None, name=None
)

即使你可以在 TensorFlow 或 Keras 中使用 prebuild 方法进行翻转

tf.keras.layers.experimental.preprocessing.RandomFlip(
mode=HORIZONTAL_AND_VERTICAL, seed=None, name=None, **kwargs
)