Scalding 中的多个输入文件

Question

我想处理 大量 存储在 s3 中的文本文件。不幸的是，我不能简单地将列表与 MultipleTextLineFiles 源一起使用，因为方法代码变得太大并且会引发 java.lang.RuntimeException。

我最后一次尝试是将 jar 文件与包含文件列表的文本文件一起发送，然后使用“scala.io.Source.fromURL(getClass.getResource(filename)).getLines().toSeq”读取 但这会失败并抛出 NoSuchElementException。

有什么建议吗？

Answer 1

尝试将所有文​​件名作为 args 传递给一个类，然后相应地处理它们（循环遍历 args 列表，或单独处理它们）：

import com.twitter.scalding.{ Args, Job }

class someScalaClass(args: Args) extends Job(args) {
   args.restrictTo(Set("arg1", "arg2") 
   val someFile = args.getOrElse("arg1").read
}

如果没有更多上下文信息，我不确定还能说什么，如果您可以编辑并提供摩尔详细信息

Answer 2

如果您的所有文件都在同一个文件夹中并且您需要处理所有文件，只需将文件夹路径作为输入 arg 传递给 TextLine。它将读取其中的所有文件（对于 s3，您需要在 EMR 上执行作业）。