使用自定义文件格式创建 TensorFlow 数据集答案

【问题标题】：Create TensorFlow Dataset with custom file format使用自定义文件格式创建 TensorFlow 数据集
【发布时间】：2019-06-19 18:58:06
【问题描述】：

我正在尝试创建一个 tf.data.Dataset，其中文件名映射到深度图像。我的图像保存为原始二进制文件，每个文件 320*240*4 字节。图片为 320x240 像素，4 个字节代表一个像素。

我不知道如何创建一个解析函数，该函数将采用 tf.Tensor 文件名，并返回包含我的图像的 (240, 320) tf.Tensor。

这是我尝试过的。

import tensorflow as tf
import numpy as np
import struct
import math
from os import listdir


class Dataset:
    def __init__(self):
        filenames = ["./depthframes/" + f for f in listdir("./depthframes/")]

        self._dataset = tf.data.Dataset.from_tensor_slices(filenames).map(Dataset._parse)

    @staticmethod
    def _parse(filename):
        img = DepthImage(filename)
        return img.frame


class DepthImage:
    def __init__(self, path):
        self.rows, self.cols = 240, 320
        self.f = open(path, 'rb')
        self.frame = []
        self.get_frame()

    def _get_frame(self):
        for row in range(self.rows):
            tmp_row = []
            for col in range(self.cols):
                tmp_row.append([struct.unpack('i', self.f.read(4))[0], ])
            tmp_row = [[0, ] if math.isnan(i[0]) else list(map(int, i)) for i in tmp_row]
            self.frame.append(tmp_row)

    def get_frame(self):
        self._get_frame()
        self.frame = tf.convert_to_tensor(np.array(self.frame).reshape(240, 320))


if __name__ == "__main__":
    Dataset()

我的错误如下：

File "C:/Users/gcper/Code/STEM/msrdailyact3d.py", line 23, in __init__ 
    self.f = open(path, 'rb')
TypeError: expected str, bytes or os.PathLike object, not Tensor

【问题讨论】：

您正在对 tf 张量使用 python 操作。你有 tf.py_func 方法可以将 python 函数集成到你的 tensorflow 操作中。

标签： python python-3.x image numpy tensorflow

【解决方案1】：

根据@kvsih 的建议，以下解决方案奏效了。

self._dataset = tf.data.Dataset.from_tensor_slices(filenames)\
    .map(lambda name: tf.py_func(self._parse, [name], tf.int32))

另外，get_frame 不能返回张量。 self._parse 必须返回 tf.int32，如上面的 lambda 中所定义。以下代码替换get_frame

def get_frame(self):
    self._get_frame()
    self.frame = np.array(self.frame).reshape(240, 320)

【讨论】：