使用适用于 Amazon S3 存储桶的 Java 开发工具包下载大量文件答案

【问题标题】：Download a Large Number of Files Using the Java SDK for Amazon S3 Bucket使用适用于 Amazon S3 存储桶的 Java 开发工具包下载大量文件
【发布时间】：2013-01-26 17:21:46
【问题描述】：

我有大量文件需要从 S3 存储桶下载。我的问题类似于this article，除了我试图在 Java 中运行它。

public static void main(String args[]) {
        AWSCredentials myCredentials = new BasicAWSCredentials("key","secret");
        TransferManager tx = new TransferManager(myCredentials);
        File file = <thefile>
        try{
        MultipleFileDownload myDownload = tx.downloadDirectory("<bucket>", null, file);
        System.out.println("Transfer: " + myDownload.getDescription());
        System.out.println("  - State: " + myDownload.getState());
        System.out.println("  - Progress: " + myDownload.getProgress().getBytesTransfered());

        while (myDownload.isDone() == false) {
           System.out.println("Transfer: " + myDownload.getDescription());
           System.out.println("  - State: " + myDownload.getState());
            System.out.println("  - Progress: " + myDownload.getProgress().getBytesTransfered());
            try {
                // Do work while we wait for our upload to complete...
                Thread.sleep(500);
            } catch (InterruptedException ex) {
                ex.printStackTrace();
            }
         }
         } catch(Exception e){
          e.printStackTrace();
         }

      }

这改编自 TransferManager 类示例，用于多次上传。此存储桶中有超过 100,000 个对象。任何帮助都会很棒。

【问题讨论】：

你的问题是什么，上面的代码不起作用吗？
不，它没有。我的问题是我是否遗漏了什么。我对 SDK 很陌生，所以我不知道是否还有更多需要。对tx.downloadDirectory("<bucket>", null, file); 的调用不会返回，并且它永远不会移动到while 循环。 SDK 没有谈论这是否是一个阻塞调用，所以我不知道我是否做得对，因为我没有从调用中得到任何反馈。它确实从我的存储桶中的目录创建了一个目录，但随后它停止了。

标签： java amazon-web-services amazon-s3 download amazon

【解决方案1】：

请使用 list() 方法获取文件列表，然后使用 get() 方法获取每个文件。

class S3 extends AmazonS3Client {

    final String bucket;


    S3(String u, String p, String Bucket) {
        super(new BasicAWSCredentials(u, p));
        bucket = Bucket;
    }


    String get(String k) {
        try {
            final S3Object f = getObject(bucket, k);
            final BufferedInputStream i = new BufferedInputStream(f.getObjectContent());
            final StringBuilder s = new StringBuilder();
            final byte[] b = new byte[1024];
            for (int n = i.read(b); n != -1; n = i.read(b)) {
                s.append(new String(b, 0, n));
            }
            return s.toString();
        } catch (Exception e) {
            log("Cannot get " + bucket + "/" + k + " from S3 because " + e);
        }
        return null;
    }


    String[] list(String d) {
        try {
            final ObjectListing l = listObjects(bucket, d);
            final List<S3ObjectSummary> L = l.getObjectSummaries();
            final int n = L.size();
            final String[] s = new String[n];
            for (int i = 0; i < n; ++i) {
                final S3ObjectSummary k = L.get(i);
                s[i] = k.getKey();
            }
            return s;
        } catch (Exception e) {
            log("Cannot list " + bucket + "/" + d + " on S3 because " + e);
        }
        return new String[]{};
    }
}

【讨论】：

【解决方案2】：

TransferManager 在内部使用 countdownlatch，这让我相信它可以进行并发下载（这似乎是正确的做法）。使用它比依次获取一个文件更有意义吗？

【讨论】：