如何通过 tensorflow 的 tf.data API 加载泡菜文件

Question

我的数据存储在磁盘上的多个泡菜文件中。我想使用 tensorflow 的 tf.data.Dataset 将我的数据加载到训练管道中。我的代码是：

def _parse_file(path):
    image, label = *load pickle file*
    return image, label
paths = glob.glob('*.pkl')
print(len(paths))
dataset = tf.data.Dataset.from_tensor_slices(paths)
dataset = dataset.map(_parse_file)
iterator = dataset.make_one_shot_iterator()

问题是我不知道如何实现_parse_file 功能。此函数的参数path 是张量类型。我试过了

def _parse_file(path):
    with tf.Session() as s:
        p = s.run(path)
        image, label = pickle.load(open(p, 'rb'))
    return image, label

并收到错误消息：

InvalidArgumentError (see above for traceback): You must feed a value for placeholder tensor 'arg0' with dtype string
     [[Node: arg0 = Placeholder[dtype=DT_STRING, shape=<unknown>, _device="/job:localhost/replica:0/task:0/device:CPU:0"]()]]

在互联网上搜索了一些之后，我仍然不知道该怎么做。我会感谢任何给我提示的人。

Answer 1

我自己解决了这个问题。我应该像 doc 一样使用 tf.py_func。

Answer 2

tf.py_func 此功能用于解决该问题，也可作为文档中的说明。