attr 'output_shapes' 的长度为 0 必须至少为 1

Question

每当我尝试将字符串列表转换为 tf.Dataset 对象时，它都会向我输出此错误。

tensorflow.python.framework.errors_impl.InvalidArgumentError: Length for attr 'output_shapes' of 0 must be at least minimum 1
    ; NodeDef: {{node ParallelMapDatasetV2}}; Op<name=ParallelMapDatasetV2; signature=input_dataset:variant, other_arguments:, num_parallel_calls:int64 -> handle:variant; attr=f:func; attr=Targuments:list(type),min=0; attr=output_types:list(type),min=1; attr=output_shapes:list(shape),min=1; attr=use_inter_op_parallelism:bool,default=true; attr=deterministic:string,default="default"; attr=preserve_cardinality:bool,default=false> [Op:ParallelMapDatasetV2]

代码是：

just_train_filenames = tf.ragged.constant([batch[0] for batch in train_list])

tf_train_ds = tf.data.Dataset.from_generator(
    lambda: just_train_filenames,
    output_signature=(tf.Tensor(shape=(1, None), tf.string))
)

Answer 1

Dataset.map 函数也有同样的问题。 你的 lambda 函数需要有一个返回值。

output_shapes 是本例中 lambda 函数的 output_shape，为 0，因为该函数没有返回值。

在 from_generator 的情况下，lambda 需要返回一个具有迭代器的对象。

来自 tensorflow 文档：https://www.tensorflow.org/api_docs/python/tf/data/Dataset#from_generator

生成器参数必须是返回支持 iter() 协议的对象（例如生成器函数）的可调用对象。

生成器生成的元素必须与给定的任一兼容 output_signature 参数或给定的 output_types 和（可选） output_shapes 参数，以指定者为准。