从 Jupyter Notebook 实例 (GCP) 下载大对象 [重复]答案

【问题标题】：Download Large Object from Juypter Notebook Instance (GCP) [duplicate]从 Jupyter Notebook 实例 (GCP) 下载大对象 [重复]
【发布时间】：2021-11-30 02:27:06
【问题描述】：

我已经在云端训练了一个模型并保存了它。现在，我正在尝试将其下载到我的本地计算机上并与其他人共享。但是，似乎由于文件太大（700MB），每次我尝试下载它时都会被截断（最终大小为 300MB 而不是 700MB）。我真的需要下载这个模型，并且需要几天的时间来重新训练，有没有从 Juypter Notebook Instance 获得这么大的文件？

【问题讨论】：

你是如何运行这个服务器和训练这个模型的？它只是在计算实例上运行还是在特定的托管服务上运行？
它只是在一个计算实例上！我在 Vertex AI 部分创建了一个新笔记本

标签： google-cloud-platform jupyter-notebook

【解决方案1】：

在您的管道中，您可以定义一个 ModelExportOP，它将您的模型导出到您在管道中创建和定义的 Google Storage 存储桶。

一旦您将它放入管道中，您可以grant yourself read privilege 到存储桶并下载它。

【讨论】：

好的！我会试一试！非常感谢:)
好的，所以它不起作用，因为我没有使用 Vertex AI 训练模型本身。所以没有直接的管道：/您对此有任何其他见解吗？我在 Juypter Notebook 实例中编写了所有内容，并在这些实例中使用 GPU 训练了模型。（一个基本的例子就是在本地机器上训练的 Keras 模型）。所以我不清楚在这种情况下如何使用 ModelExportOp。
啊，好吧，如果您在笔记本中使用了某个库，它可能取决于您使用的库，您能否提供更多信息或指向公共存储库的链接？在 Notebooks 中，您可以将值写入文件（因为它只是 Python），但导出模型本身的方法将取决于模型在 Notebook 中的保存方式以及用于创建它的库。
是的！我实际上想通了，类似于您所说的，我从笔记本本身进行了 API 调用，然后使用 python 将其直接从笔记本发送到 GCP 存储桶:)