如何在 google-cloud-ml 作业或 Google Cloud Storage 中加载 numpy npz 文件？答案

【问题标题】：How to load numpy npz files in google-cloud-ml jobs or from Google Cloud Storage?如何在 google-cloud-ml 作业或 Google Cloud Storage 中加载 numpy npz 文件？
【发布时间】：2017-12-20 03:17:48
【问题描述】：

我有一个 google-cloud-ml 作业，需要从 gs 存储桶加载 numpy .npz 文件。我关注了this example 如何从 gs 加载 .npy 文件，但由于 .npz 文件已压缩，它对我不起作用。

这是我的代码：

from StringIO import StringIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = StringIO(file_io.read_file_to_string('gs://my-bucket/data.npz'))
data = np.load(f)

这是错误信息：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa2 in position 10: invalid start byte

显然，将数据编码为str 是不正确的，但我不确定如何解决这个问题。

有人可以帮忙吗？谢谢！

【问题讨论】：

标签： google-cloud-ml

【解决方案1】：

原来我需要在file_io.read_file_to_string() 中将二进制标志设置为True。

这是工作代码：

from io import BytesIO
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz', binary_mode=True))
data = np.load(f)

这适用于压缩和未压缩的 .npz 文件。

【讨论】：

【解决方案2】：

尝试改用io.BytesIO，它还有与 Python 3 向前兼容的额外好处：

import io
import tensorflow as tf
import numpy as np
from tensorflow.python.lib.io import file_io

f = io.BytesIO(file_io.read_file_to_string('gs://my-bucket/data.npz'),
               binary_mode=True)
data = np.load(f)

【讨论】：

试过了，但还是不行——得到了同样的错误信息。不过谢谢！
在read_file_to_string 中设置binary_mode=True 然后你的代码就可以工作了。谢谢。
我刚刚编辑了代码，谢谢。奇怪的是，它在我做的测试中运行良好，但无论如何这看起来更好。

【解决方案3】：

另一种选择是（注意早期 TF 版本和更高版本之间的区别）：

import numpy as np
from tensorflow.python.lib.io import file_io
from tensorflow import __version__ as tf_version

if tf_version >= '1.1.0':
    mode = 'rb'
else: # for TF version 1.0
    mode = 'r'

f_stream = file_io.FileIO('mydata.npz', mode)
d = np.load( BytesIO(f_stream.read()) )

同样，对于泡菜文件：

import pickle
d = pickle.load(file_io.FileIO('mydata.pickle', mode))

【讨论】：