使用预签名 URL 将文件 PUT 到 S3

Question

我整晚都在使用 Amazon S3 预签名 URL 来尝试 PUT 文件。我在 java 代码中生成预签名的 URL。

    AWSCredentials credentials = new BasicAWSCredentials( accessKey, secretKey );
    client = new AmazonS3Client( credentials );
    GeneratePresignedUrlRequest request = new GeneratePresignedUrlRequest( bucketName, "myfilename", HttpMethod.PUT);
    request.setExpiration( new Date( System.currentTimeMillis() + (120 * 60 * 1000) ));
    return client.generatePresignedUrl( request ).toString();

然后我想使用生成的预签名 URL 来使用 curl 放置文件。

curl -v -H "content-type:image/jpg" -T mypicture.jpg https://mybucket.s3.amazonaws.com/myfilename?Expires=1334126943&AWSAccessKeyId=<accessKey>&Signature=<generatedSignature>

我认为，就像 GET 一样，这可以在不公开的存储桶上工作（这就是预签名的重点，对吗？）好吧，每次尝试我都拒绝访问。最后出于沮丧，我更改了存储桶的权限以允许每个人都写入。当然，然后预签名的 URL 起作用了。我迅速从存储桶中删除了 EVERYONE 权限。现在，我无权删除通过我自己的自预签名 URL 上传到我的存储桶中的项目。我see now 我可能应该在我上传的内容上放一个 x-amz-acl 标头。我怀疑在我做对之前我会创建更多不可删除的对象。

这引出了几个问题：

• 如何使用 PUT 和生成的预签名 URL 通过 curl 上传？
• 如何删除上传的文件和我创建的用于测试它的存储桶？

最终目标是手机将使用这个预签名的 URL 来 PUT 图像。我试图让它卷曲作为概念证明。

更新：我在amazon forums 上提出了一个问题。如果那里提供了答案，我会把它作为答案放在这里。

Answer 1

也遇到了这个问题。我们已经在跟踪文件何时上传到后端，因此我们的解决方法是在客户端使用 Rails 应用程序通过调用 copy_from 上传文件后设置内容类型。

Answer 2

这确实有点令人费解，我认为这是AWS SDK for Java 中的一个错误（见下文） - 但首先，以下curl 命令将上传您的文件（假设更新的 pre-当然是签名的 URL）：

curl -v -T mypicture.jpg https://mybucket.s3.amazonaws.com/myfilename?Expires=1334126943&AWSAccessKeyId=<accessKey>&Signature=<generatedSignature>

也就是说，我已经排除了Content type 标头，结果会产生application/octet-stream（或binary/octet-stream），这显然是不希望的；因此，需要进一步挖掘。

背景/分析

对Amazon S3 的 PUT（和 DELETE 以及 HEAD）请求的预签名 URL 原则上是已知的，在本网站上的相关问题中至少可以证明这一点（例如，请参阅我对 Upload to s3 with curl using pre-signed URL (getting 403) 的回答）。

便利的Query String Request Authentication Alternative 被记录为使用以下说明查询字符串请求身份验证方法的伪语法：

StringToSign = HTTP-VERB + "\n" +
    Content-MD5 + "\n" +
    Content-Type + "\n" +
    Expires + "\n" +
    CanonicalizedAmzHeaders +
    CanonicalizedResource;    

它确实包含 Content-Type 标头，并且（正如您已经发现的那样）这是某些记录案例中缺少的部分，请参见例如AWS 团队对 GetPreSignedURL with PUT request 的回复，添加后会生成一个有效的预签名 URL。

这很容易通过AWS SDK for .NET 实现，它提供了方便的方法GetPreSignedUrlRequest.WithContentType 来做到这一点：

为此请求设置 ContentType 属性。该属性默认 到“二进制/八位字节流”，但如果你需要别的东西，你可以 设置此属性。

因此，如下扩展相应的示例Upload an Object Using Pre-Signed URL - AWS SDK for .NET 会产生一个具有内容类型的工作预签名 URL，可以按预期通过 curl 上传（即完全按照您的尝试）：

    // ...
    GetPreSignedUrlRequest request = new GetPreSignedUrlRequest();
    // ...
    request.WithContentType("image/jpg");
    // ...

现在，人们想以类似的方式扩展语义相同的样本Upload an Object Using Pre-Signed URL - AWS SDK for Java，但是（正如您已经发现的那样），没有专门的方法来实现这一点。不过，这可能只是一种缺乏便利的方法，最终可以通过addRequestParameter() 或setResponseHeaders() 实现，例如：

  // ...
  request.setExpiration( new Date( System.currentTimeMillis() + (120 * 60 * 1000) ));
  request.addRequestParameter("content-type", "image/jpg");
  return client.generatePresignedUrl( request ).toString();
  // ...

但是，这两种方法的文档都提出了其他用途，而且它确实不起作用，即它们总是产生相同的签名，无论哪种内容类型都是这样设置的（如果有的话）。

对 SDK 的进一步调试表明，它们都提供了一种语义相似的核心方法来根据上面引用的 伪语法 计算查询字符串身份验证，请参阅 buildSigningString() for .NET 和 @987654334 @ 代表 Java。

但Java版本中的相应代码将所有有趣的headers添加到一个列表中，然后对它们进行排序，其中“Interesting”定义为Content-MD5、Content-Type、Date , 而 x-amz- 实际上从未执行过，因为确实没有任何方法可以以某种方式提供这些标头，这些标头仅适用于 DefaultRequest 类而不是用于初始化前者的 GeneratePresignedUrlRequest 类，这用作依次计算签名的输入，参见受保护方法createRequest()。

有趣/值得注意的是，在 .NET 和 Java 中计算查询字符串身份验证的两种方法是由 header 和 parameter 源的几乎相反的组合构成它们的输入在调用堆栈上，这可能暗示 Java 错误的原因，但显然这也可能很难破译，即内部架构当然可能会有很大差异。

初步结论

这有两个角度：

• AWS SDK for Java 肯定缺乏设置内容类型的便捷方法，这可能是一种比较少见的情况，但在其他 AWS 开发工具包中也有相应的明显用例 - 鉴于它在 AWS 中的广泛使用，这令人惊讶相关的后端服务。
• 无论如何，与 .NET 版本相比，Query String Request Authentication 的实现方式似乎有些可疑 - 再次令人惊讶，因为它是一个核心功能，但是，这仍在 S3 模型/命名空间内，因此可能仅在上述各个用例中需要。

总之，解决此问题的唯一合理方法是更新 SDK，因此需要提交错误报告 - 显然，也可以复制/扩展 SDK 功能以单独解决这种特殊情况（理想情况下以某种方式允许提交对aws-sdk-for-java project 的拉取请求），但是以兼容和可维护的方式来实现这一点似乎有点棘手，因此最好由 SDK 维护人员自己完成。