【问题标题】:Use datafile at google cloud storage bucket from python script从 python 脚本使用谷歌云存储桶中的数据文件
【发布时间】:2020-05-11 06:38:02
【问题描述】:

试图加载一个数据文件,我已经从我的 python 脚本(它是一个 keras 模型训练作业)上传到我的谷歌云存储桶,但不断得到。 IOError:[Errno 2] 没有这样的文件或目录:'gs://mykerasstorage/my_dataset.npy'。 Altought文件最明确地上传到那个地方。我用来读取数据集的代码是:

    training_data = np.load('gs://mykerasstorage/my_dataset.npy')

【问题讨论】:

    标签: python keras google-cloud-platform gcp-ai-platform-training


    【解决方案1】:

    您正在从 Python 引用 Google Storage (gs) 中的文件。 Python 没有gs 协议,并试图在您当前的位置找到一个以这种方式命名的文件,......但没有找到。

    如果你想在你的机器上运行你的脚本,你必须:

    • 首先,将其保存到本地文件(从 GUI 或使用 Google Cloud python library
    • 运行引用本地文件 np.load('your_local_path_to_file') 的脚本

    或者您可以使用colabs,它可以让您训练您的模型并使用巨大的计算资源运行测试。

    【讨论】:

    • 不确定运行脚本的谷歌云计算平台上的“本地路径”是什么,如何获取?
    • 嗨@Tessmus,您可以查看此documentation 以在您的机器中下载文件。请注意,您可以指定文件将下载到的文件目标。这将是“本地路径”的引用,numpy.load() 将在其中搜索您刚刚下载的文件。或者,您也可以使用gsutil cp 命令轻松将文件下载到本地计算机。
    猜你喜欢
    • 2021-03-30
    • 1970-01-01
    • 1970-01-01
    • 2021-09-06
    • 1970-01-01
    • 1970-01-01
    • 2017-05-13
    • 2019-04-13
    • 2020-10-22
    相关资源
    最近更新 更多