具有多个输入和目标的 TensorFlow 数据集

Question

我正在尝试使用 ArcFace 层实现模型： https://github.com/4uiiurz1/keras-arcface

为此，我创建了一个像这样的 tf.data.dataset：

images= tf.data.Dataset.from_tensor_slices(train.A_image.to_numpy())
target = tf.keras.utils.to_categorical(
    train.Label.to_numpy(), num_classes=n_class, dtype='float32'
)
target = tf.data.Dataset.from_tensor_slices(target)

images= images.map(transform_img)

dataset = tf.data.Dataset.zip((images, target, target))

当我打电话给model.fit(dataset)

我收到以下错误：

ValueError: Layer model expects 2 input(s), but it received 1 input tensors. Inputs received: [<tf.Tensor 'IteratorGetNext:0' shape=<unknown> dtype=float32>]

但这应该可以根据：

tf.data with multiple inputs / outputs in Keras

有人能指出我的愚蠢吗？

谢谢！

编辑： 这解决了一些问题：

#reads in filepaths to images from dataframe train
images = tf.data.Dataset.from_tensor_slices(train.image.to_numpy())
#converts labels to one hot encoding vector
target = tf.keras.utils.to_categorical(train.Label.to_numpy(), num_classes=n_class, dtype='float32')
#reads in the image and resizes it
images= images.map(transform_img)
input_1 = tf.data.Dataset.zip((anchors, target))
dataset = tf.data.Dataset.zip((input_1, target))

我认为这是我们正在尝试的。但我得到目标的形状错误，它是 (n_class, 1) 而不仅仅是 (n_class,)

即fit 方法抛出此错误

ValueError: Shapes (n_class, 1) and (n_class, n_class) are incompatible

还有这个警告

input expected is (None, n_class) but received an input of (n_class, 1)

Answer 1

我已经根据 arcface 对解决方案进行了更改，你想要的是代码，我已经设法训练它

第一个来自张量切片作为原始输入，我使用 mnist 进行测试

def map_data(inputs, outputs):
    image = tf.cast(inputs['image_input'], tf.float32)
    image = image / 255.
    image = tf.expand_dims(image, axis=2)
    
    labels = tf.one_hot(outputs, 10)
    
    return {'image_input': image, 'label_input': labels}, labels

dataset = tf.data.Dataset.from_tensor_slices(({
    'image_input': x_train, 'label_input': y_train
}, y_train))
dataset = dataset.map(map_data)
dataset = dataset.batch(2)

这是我尝试使用张量切片中的法线的第二种类型，然后我将其转换为多输入，因为两个法线标签都用于输入和输出

def map_data(images, annot_labels):
    image = tf.cast(images, tf.float32)
    image = image / 255.
    image = tf.expand_dims(image, axis=2) # convert to 0 - 1 range
    
    labels = tf.one_hot(annot_labels, 10)
    
    return {'image_input': image, 'label_input': labels}, labels

dataset = tf.data.Dataset.from_tensor_slices((x_train, y_train))
dataset = dataset.map(map_data)
dataset = dataset.batch(2)

Answer 2

我认为你应该这样做：

target = tf.keras.utils.to_categorical(train.Label.to_numpy(), num_classes=n_class, dtype='float32')
    
images_target = tf.data.Dataset.from_tensor_slices((train.A_image.to_numpy(), target))

images_target = images_target.map(lambda x, y: (transform_img(x), y))
    

target = tf.data.Dataset.from_tensor_slices(target)
    
dataset = tf.data.Dataset.zip((images_target, target))