.NET 中带有 KMS 的 AWS S3 客户端加密在传输的最后部分发出 ProtocolViolationException

Question

以下代码尝试使用多部分传输、客户端信封加密和 Amazon KMS 服务将 17MB 测试文件复制到 S3 存储桶以处理数据加密密钥。多部分块大小为 5MB。

在传输最后一个（部分）块时，仅如果IsLastPart 标志设置为true，对UploadPart 的调用会生成一个System.Net.ProtocolViolationException，指示：Bytes to be written to the stream exceed the Content-Length bytes size specified.

这表明 Content-Length html 标头未更新以反映加密引擎添加到最后一个密码块以进行正确对齐的必要“填充字节”。结果，当添加这些最终字节时，它们超出了给定的 Content-Length 并产生了此错误。

如果IsLastPart未设置（即留下false），则操作成功，但下载和解密操作也失败。

注意：KmsAlgorithm 类并非由 AWS .NET 开发工具包提供。这个类来自另一个 Stack Overflow posting，因为 .NET 版本的 AWS SDK 没有像 Java SDK 那样在 KMS 和 S3 之间提供 connector class 来支持信封加密。

那么，使用客户端加密和 KMS 托管密钥将多部分上传发送到 S3 的正确方法是什么？

    static string bucketName = "*****************************";
    static string keyName = "test.encrypted.bin";
    static string uploadSourcePath = "c:\\temp\\test.bin";
    static long partSize = 5 * 1024 * 1024;
    static String uploadId = "";

    static void Main(string[] args)
    {
        if (checkRequiredFields())
        {
            String cmkId = "************************************";

            // Prepare our KMS client and kmsAlgorithm
            using (AmazonKeyManagementServiceClient kmsClient = new AmazonKeyManagementServiceClient())
            using (KMSAlgorithm kmsAlgo = new KMSAlgorithm(kmsClient, cmkId))
            {
                // Generate the encryption materials object with the algorithm object
                EncryptionMaterials encryptionMaterials = new EncryptionMaterials(kmsAlgo);

                // Now prepare an S3 crypto client
                using (AmazonS3EncryptionClient cryptoClient = new AmazonS3EncryptionClient(encryptionMaterials))
                {
                    // Initiate the multipart upload request specifying the bucket and key values
                    InitiateMultipartUploadResponse initResp = cryptoClient.InitiateMultipartUpload(
                        new InitiateMultipartUploadRequest()
                        {
                            BucketName = bucketName,
                            Key = keyName
                        });

                    uploadId = initResp.UploadId;

                    long fileLength = new FileInfo(uploadSourcePath).Length;
                    long contentLength = fileLength;
                    long bytesRemaining = fileLength;


                    List<PartETag> partETags = new List<PartETag>();
                    int partNumber = 0;

                    while (bytesRemaining > 0)
                    {
                        long transferSize = bytesRemaining > partSize ? partSize : bytesRemaining;
                        long partIndex = fileLength - bytesRemaining;

                        partNumber++;

                        UploadPartResponse resp =
                            cryptoClient.UploadPart(
                                new UploadPartRequest()
                                {
                                    BucketName = bucketName,
                                    Key = keyName,
                                    FilePath = uploadSourcePath,
                                    FilePosition = partIndex,
                                    PartSize = transferSize,
                                    PartNumber = partNumber,
                                    UploadId = uploadId,
                                    IsLastPart = transferSize < AwsS3FileSystemSample1.Program.partSize
                                });

                        partETags.Add( new PartETag( partNumber, resp.ETag ));

                        bytesRemaining -= transferSize;
                    }

                    // Now complete the transfer
                    CompleteMultipartUploadResponse compResp = cryptoClient.CompleteMultipartUpload(
                        new CompleteMultipartUploadRequest()
                        {
                            Key = keyName,
                            BucketName = bucketName,
                            UploadId = initResp.UploadId,
                            PartETags = partETags
                        });
                }
            }
        }

        Console.WriteLine("Press any key to continue...");
        Console.ReadKey();
    }

对于任何错误和任何帮助，我们深表歉意。

Answer 1

在 AWS SDK for .NET 源代码中的 git hub 上经过大量测试和一些代码探索后，这里的神奇秘诀是将 UploadPartRequest 的 PartSize 成员设置为零(0) 将 IsLastPart 成员设置为 true 时。

究竟为什么这会起作用是一个有争议的问题。由于最后一部分的数据通常由加密引擎填充以满足密码块边界，因此在加密完成之前，实际的 Content-Length 是未知的。也许将 PartSize 设置为零允许底层代码将 Content-Length 设置为密文的填充长度，而不是 PartSize中给出的值>。为什么当 IsLastPart 设置为 true 时不会自动执行此操作是一个谜。

无论如何，以下摘要可能会有所帮助。使用客户端加密和多部分上传时，在上传对象数据的最后一部分时，将 PartSize 成员设置为零 (0) 并将 IsLastPart 设置为 true。

此代码片段可能会有所帮助。

      while (bytesRemaining > 0)
      {
          long transferSize = bytesRemaining > partSize ? partSize : bytesRemaining;
          long partIndex = fileLength - bytesRemaining;

          bytesRemaining -= transferSize;
          bool isLastPart = bytesRemaining == 0;

          partNumber++;

          UploadPartResponse resp =
              cryptoClient.UploadPart(
                  new UploadPartRequest()
                  {
                      BucketName   = bucketName,
                      Key          = keyName,
                      FilePath     = uploadSourcePath,
                      FilePosition = partIndex,
                      PartSize     = isLastPart ? 0 : transferSize,
                      PartNumber   = partNumber,
                      UploadId     = uploadId,
                      IsLastPart   = isLastPart 
                  });

          partETags.Add( new PartETag( partNumber, resp.ETag ));
      }

我希望这对其他人有帮助。

Answer 2

感谢您尝试使用我在链接帖子中的实现。

虽然我没有阅读任何明确支持这一点的内容，但我认为 Amazon S3 加密客户端可能与分段上传不兼容。虽然它不是确定的，但我一直无法找到一个 Java 示例（SDK 有一个 KMS 实现），同时使用 Amazon S3 Encryption Client on Multipart Uploads。我怀疑的原因是文件是使用链阻塞加密的，如果分段上传的每个部分都是零散加密的，那么链阻塞就会被破坏，并且每个片段的单独初始化向量将丢失以进行解密。

我想唯一知道的方法是先用 Java 测试一下。