在应用引擎中处理大型云存储文件答案

【问题标题】：processing large cloud storage files in app engine在应用引擎中处理大型云存储文件
【发布时间】：2013-04-22 03:49:36
【问题描述】：

我需要在 GAE 中处理高达 2GB 的大文件（我使用的是 Python）。当然我会在后端运行代码，但是由于本地存储不可用，数据需要在内存中。

是否有像 boto 或其他云存储支持协议的包装器这样的文件描述符？还是其他推荐的技术？

谢谢，谢伊

【问题讨论】：

【解决方案1】：

您可能对"Google Cloud Storage Python API Overview" 感兴趣。它就像一个普通的本地文件一样工作。我在我的项目中使用过它，没有遇到任何问题。

【讨论】：

不幸的是，所提到的“文件 API”已被弃用。官方继任者 GCS 的行为不像本地文件，因为它缺乏对修改/附加的支持。有更新的解决方案吗？
@jsphpl，这里是更新的链接：cloud.google.com/appengine/docs/python/googlecloudstorageclient
感谢您的链接。我不知道该怎么说，所以请再次阅读我最初的评论。
@jsphpl，这是一个示例，您可以使用来自 Google App Engine 的 Python 使用 Google Cloud Storage 处理任意大小的文件。 cloud.google.com/appengine/docs/python/googlecloudstorageclient/… 我在我的应用程序中使用了这种方法，它可以工作。它确实适用于追加。你试过了吗？它奏效了吗？如果不是，为什么？

【解决方案2】：

数据文件“不需要在内存中”，如果您尝试这样做，您将运行 oom. 如果您可以按顺序处理它，请将其作为文件流打开。我已经用blobstore做到了，应该是相似的

【讨论】：