如何将多个 S3 对象异步放入内存

Question

我正在尝试将多个 S3 对象异步拉入内存。

对于单个对象，我可以使用AmazonS3：

s3Object = s3Client.getObject(bucketName, String key)
S3ObjectInputStream stream = s3Object.getObjectContent();
byte[] byteArray  IOUtils.toByteArray(s3InputStream);
stream.close()

对于目录下载中的对象，AWS 提供TransferManager，但问题是我不希望它写入文件/磁盘。我希望所有对象都在内存中归还给我。

如何实现一次从 S3 异步拉取多个对象并将其返回到内存中？

Answer 1

我自己还没用 Java 做过，但理论上你应该可以通过使用 CompletableFuture 来实现。

此 AWS 文档中的第二个示例展示了如何从 S3 异步获取一个对象：Asynchronous Programming。要将对象作为字节数组而不是文件获取，您需要将 AsyncResponseTransformer.toFile 替换为 AsyncResponseTransformer.toBytes。

然后，您需要对要加载的每个文件都执行此操作，然后使用 CompletableFuture.allOf() 等待所有 CompletableFutures 完成文件加载。