【发布时间】：2017-06-13 12:03:33
【问题描述】：
我有一个https://link，它返回一个包含 50gb 数据的 json 对象。我想使用 java 代码直接将这个 json 下载到 S3。或任何其他可以将此数据直接下载到 s3 的工具。
我真的尝试了几种从 java 代码中下载大约 200Mb 数据的方法，但是当大小增加时它会失败。
我在这里需要帮助。
【问题讨论】：
-
"its fail" ...好吧，它以什么方式失败？有什么错误？无论如何，它不应该失败，并且任何 通用工具都应该能够处理这个问题，例如
curl或wget。 S3 支持高达 5TB 的对象，任何标准 HTTP 客户端都无法从 S3 下载任何大小的对象，这没有根本原因。 -
问题不清楚是上传到 S3 还是从 S3 下载。如果上传，那么您可以在单个请求中放置的最大值为 5Gb。您至少需要使用分段上传。