【发布时间】：2013-04-25 16:50:12
【问题描述】：
我们正在 AWS 上开发一个 API，使用 EC2、SQS 和 S3 的组合。我们的前端服务器驻留在 EC2 上，我们将所有用户提交的数据存储在 S3 上。我们不想将我们的 S3 存储暴露给最终用户，因此所有提交最初都通过 EC2。我们所有的最终用户都知道我们的 API 端点，他们向其发布数据（通常是原始文本，目前最大约 1MB），并从中获取结果。
不过，我们怀疑这种模式不太可能扩大规模，因为我们获得了更多用户并且提交的数据越来越多。所以我们一直在寻找管理用户输入的替代方法。其中最吸引人的似乎是CORS，其中S3 now supports，它允许最终用户直接上传到S3，而无需最初缓冲到EC2。但是我们正在开发一个 API 而不是 Web 应用程序，而且似乎 CORS 总是需要某种基于浏览器的 Javascript 来执行实际的上传。我们最终可能会为大型上传提供某种浏览器 UI，但我们现在希望向开发人员提供的只是我们的 API 端点。
所以基本上我们想知道是否有任何其他可能的解决方案我们可以看看。目前对我们来说最重要的事情是避免公开我们的后端存储，以便只公开我们的 API url（这也很重要，因为我们希望保留将后端存储换成 S3 以外的东西的可能性未来）。我们还研究了允许用户使用自己的 S3 帐户提交的可能性，某些 API 确实可以这样做，但不要觉得这是一个没有吸引力的选项。
【问题讨论】：
-
你能多描述一下工作流程吗？用户 POST（然后是什么）......有处理和后来的 GET。只需更多地描述工作流程，因为它与典型的处理批次（如果是）和用户身份验证有关。还有什么堆栈，php任何花絮
-
@DrewPierce 谢谢。是的，目前它通常是一个 POST，然后由我们的分析引擎进行处理，然后由后续的 GET 检索结果。我们使用 SQS 对输入和输出进行入队/出队（没有数据进入 SQS。它只是告诉处理引擎有关新提交到 S3 的信息）。我们的用户身份验证都由我们的 API 管理平台单独处理，这只是一个调用。哦，我们没有使用“流行”语言……好吧，它是 Common Lisp :) 实际上，目前一切都像魅力一样，但我们没有规模，这就是我们所关心的.
-
您可以使用 HTTP PUT 从您的 API 或浏览器上的 JavaScript 客户端将文件上传到 S3。 CORS 解决了阻止 JavaScript 客户端向 S3 发送 HTTP 请求的跨域问题，但它不会阻止您的 API 发出正常的 PUT 请求。
-
@FedericoRaggi 谢谢，但关键是目前我们特别希望只公开我们的 API 端点（api.example.com 的形式）。我们一直在处理 EC2 上这些端点的客户端 POST，然后将它们放到我们的 S3 存储中。但是对于大量或大量的上传，这可能不会非常有效。这就是为什么我们查看 CORS 以寻找可能的直接上传。但这迫使我们支持某种上传 UI，这不是我们想要依赖的一切。因此我的问题。
-
亚马逊支持 POST 用于像您这样的基于浏览器的上传场景。您提到用户已经使用 POST 请求将他们的数据上传到您的 API 端点，因此希望您可以修改您今天拥有的内容以针对 Amazon 的 S3 而不是您的 API 工作。我相信亚马逊允许您将策略对象作为 POST 请求的一部分传递，因此您无需公开您的 S3 存储桶或为每个用户分配单独的存储桶。以下是亚马逊关于基于浏览器上传的文档的链接：docs.aws.amazon.com/AmazonS3/2006-03-01/dev/UsingHTTPPOST.html
标签： rest upload amazon-s3 amazon-ec2 cors