【问题标题】:TypeError: Inputs to a layer should be tensors. Got: <PrefetchDataset shapes:TypeError:层的输入应该是张量。得到:<PrefetchDataset 形状:
【发布时间】:2021-08-03 21:21:22
【问题描述】:

我正在尝试使用 tf 数据管道从几个文件中读取数据并训练多输入神经网络。我成功地训练了模型,但是当我想测试模型时,我得到了这个错误:

TypeError: Inputs to a layer should be tensors. Got: <PrefetchDataset shapes: (((None, None), (None, None)), (None,)), types: ((tf.float32, tf.float32), tf.float32)>

预处理函数:

def split_chr_by_tab(*lines):
    sep = ","
    features = [tf.strings.to_number(tf.strings.split(line, sep=sep), out_type=tf.float32) for line in lines]
    return tf.concat(features, axis=0)

def separate_input_output(input):
    return tuple([input[:-6], input[-6:-1]]), input[-1]

数据管道:

Train_dataset = tf.data.Dataset.list_files(Train_file_list)
Train_dataset= Train_dataset.shuffle(epoch).repeat(epoch).interleave(lambda filename: tf.data.TextLineDataset(filename).skip(1), num_parallel_calls=25)
Train_dataset= Train_dataset.map(split_chr_by_tab,num_parallel_calls=tf.data.experimental.AUTOTUNE).map(separate_input_output,num_parallel_calls=tf.data.experimental.AUTOTUNE)
Train_dataset= Train_dataset.batch(batch_size).prefetch(buffer_size=tf.data.experimental.AUTOTUNE)

Test_dataset = tf.data.Dataset.list_files(Test_file_list)
Test_dataset= Test_dataset.interleave(lambda filename: tf.data.TextLineDataset(filename).skip(1), num_parallel_calls=25)
Test_dataset= Test_dataset.map(split_chr_by_tab,num_parallel_calls=tf.data.experimental.AUTOTUNE).map(separate_input_output,num_parallel_calls=tf.data.experimental.AUTOTUNE)
Test_dataset= Test_dataset.batch(batch_size).prefetch(buffer_size=tf.data.experimental.AUTOTUNE)

模型训练和评估(预测测试数据时出错):

inp1 = Input(shape=(1000, ),name="inp1")
inp2 = Input(shape=(4, ),name="inp2")
merge1=concatenate([inp1, inp2])
first_dense = Dense(32,kernel_initializer=initializer, )(merge1)
output=dense(1,)(first_dense)
model = Model(inputs=[inp1, inp2], outputs=output)
model.fit(Train_dataset,callbacks=callbacks_list,verbose=1,epochs=epoch,steps_per_epoch=10)
prediction = model(Test_dataset)

你能告诉我为什么我在预测过程中会出错吗?由于某些原因,我需要使用 model(Test_dataset) 而不是 model.predict(Test_dataset)。另外,如何存储预测值和真实标签?

【问题讨论】:

    标签: tensorflow keras deep-learning tensorflow2.0


    【解决方案1】:

    Test_dataset 是一个PrefetchDataset 对象,你不能将它传递给model.__call__,因为它需要一个张量作为输入。改用model.predict():

    prediction = model.predict(Test_dataset)
    

    如果你坚持用调用模型进行预测,那么你可以这样使用它:

    for p, _ in Test_dataset.take(1): # Takes 1 batch
        prediction = model(p)         # Predict 1 batch
    print(prediction)
    

    【讨论】:

    • 由于某些原因,我需要使用 model(Test_dataset) 而不是 model.predict(Test_dataset)
    • @Mehdi 我更新了我的答案,以便使用调用模型进行预测。
    【解决方案2】:

    你也可以使用:

    Test_dataset.map(model)
    

    假设 Test_dataset 已经批处理

    【讨论】:

      猜你喜欢
      • 2021-12-30
      • 2022-06-13
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2019-09-11
      • 2021-02-16
      • 2020-07-14
      相关资源
      最近更新 更多