如何从 GAE 上传文件到 S3（一个恐怖故事）

Question

我正在尝试从 GAE 将文件上传到亚马逊 S3。

我尝试了官方的 amazon sdk（jetS3t，建立在 lower-level sdk 之上），只是为了发现即使您可以通过在本地 JVM 上设置权限来使其在本地工作，它也不支持部署后与 GAE 加密相关的原因。

然后出于绝望，我找到了一些好灵魂forked the official low-level amazon sdk，以便它可以与GAE一起使用。这种工作（即使我可以看到一些奇怪的 NullPointer 异常被抛出）并且文件被上传......但如果文件大小超过 5MB，我会从 API 中收到错误：

com.google.apphosting.api.ApiProxy$RequestTooLargeException: The request to API call urlfetch.Fetch() was too large

我不完全理解这一点，因为当前的 GAE 限制似乎是 32MB 的文件大小上传和 1MB 的请求/响应，而我的问题仅在文件大约 5MB 或更大时出现。

我认为我剩下的唯一选择是 jclouds，但我无法找到使用 BlobStore 库将文件上传到 S3 的示例。

有没有人可以分享使用 jClouds 上传 S3 文件的经验/示例？我是否可能会发生同样的情况 urlfetch.Fetch() was too large 错误？

任何帮助表示赞赏。

Answer 1

URLFetch 请求限制为 5MB，如 here 所述。唯一可行的解​​决方案是将大的有效载荷分解成更小的块。幸运的是，S3 提供了multipart upload API。

Answer 2

在release notes for 1.5.0 上，我读到为了响应大众的需求，HTTP 请求和响应的大小已增加到 32 MB。 所以，请求和响应，没有提到 URL 获取。

确实，查看URL Fetch documentation，它说它最大为 5 Mb。