在谷歌云机器学习中读取文件

Question

我尝试使用gcloud ml-engine jobs submit training 在google cloud ml-engine 上运行tensorflow-wavenet，但云作业在尝试读取json 配置文件时崩溃：

with open(args.wavenet_params, 'r') as f:
   wavenet_params = json.load(f)

arg.wavenet_params 只是我上传到谷歌云存储桶的 json 文件的文件路径。文件路径如下所示：gs://BUCKET_NAME/FILE_PATH.json。

我仔细检查了文件路径是否正确，并且我确信这部分是导致崩溃的原因，因为我注释掉了其他所有内容。

崩溃日志文件没有提供太多关于发生了什么的信息：

Module raised an exception for failing to call a subprocess Command '['python', '-m', u'gcwavenet.train', u'--data_dir', u'gs://wavenet-test-data/VCTK-Corpus-Small/', u'--logdir_root', u'gs://wavenet-test-data//gcwavenet10/logs']' returned non-zero exit status 1.

我将wavenet_params = json.load(f) 替换为f.close()，仍然得到相同的结果。

当我使用 gcloud ml-engine local train 在本地运行它时，一切正常。

我认为问题在于通常使用gcloud ml-engine 读取文件，或者我无法从带有gs://BUCKET_NAME/FILE_PATH 的python 文件中访问谷歌云存储桶。

Answer 1

Python 的open 函数无法从 GCS 读取文件。您将需要使用能够执行此操作的库。 TensorFlow 包含一个这样的库：

import tensorflow as tf
from tensorflow.python.lib.io import file_io

with file_io.FileIO(args.wavenet_params, 'r') as f:
  wavenet_params = json.load(f)