Tensorflow如何从OpenCV图像帧中读取张量

Question

Tensorflow 提供了一个label_image.py 实现来推断图像。这对磁盘上的图像非常有用。但我有一个案例，我正在从网络摄像头读取流式视频，我想对每个图像帧进行推理以检测摄像头馈送中的对象。

目前label_image.py 只接受磁盘上的图像，使用read_tensor_from_image_file 将其转换为张量。我如何从内存中的 Open CV 图像帧中获得具有必要预处理的张量，就像在 read_tensor_from_image_file 中完成的那样？

Answer 1

有 3 种方法。你可以

1. 将 numpy 数组输入到 tensorflow，考虑将 opencv python 包装器读取图像作为 numpy 数组，
2. tf.py_func 当您因为性能问题不想提供输入时很有用。
3. 另外，如果您使用 c++，您可以定义一个自定义操作来将 opencv mat 包装到一个张量。