【发布时间】:2017-04-27 21:50:39
【问题描述】:
我正在使用 Apache Spark 来解析文件。我有 Amazon S3 路径 s3n://my-bucket/amazone-folder/ 如何使用此路径列出所有文件和子文件夹。
【问题讨论】:
标签: java amazon-web-services apache-spark amazon-s3
我正在使用 Apache Spark 来解析文件。我有 Amazon S3 路径 s3n://my-bucket/amazone-folder/ 如何使用此路径列出所有文件和子文件夹。
【问题讨论】:
标签: java amazon-web-services apache-spark amazon-s3
AWS Java-SDK documentation 有您可以用于此目的的 API 详细信息:
提供了一种在“foreach”中迭代 Amazon S3 对象的简单方法 陈述。例如:
for ( S3ObjectSummary summary : S3Objects.withPrefix(s3, "my-bucket", "photos/") ) {
System.out.printf("Object with key '%s'\n", summary.getKey());
}
S3ObjectSummarys 的列表将被延迟获取,一次一页, 因为他们是需要的。页面的大小可以通过 withBatchSize(int) 方法。
这是另一个教程解释how to work with AWS Java SDK
【讨论】: