【发布时间】:2021-03-09 16:17:52
【问题描述】:
试图将文本文件传递给函数以在 Scala 中执行某些操作,但我不知道如何将其传递给函数。
我想传递它,因为我有多个文本文件并且完成的工作非常紧张
object SimpleApp {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName("Simple Application")
val sc = new SparkContext(conf)
val books = sc.textFile(
"hdfs://quickstart.cloudera:8020/user/cloudera/books/books2/*"
)
checkLang(books)
}
def checkLang (books: textFile) = {
//do sonething
}
【问题讨论】:
-
booksis not atextFileis a RDD[String] - 请阅读文档:spark.apache.org/docs/latest/api/scala/org/apache/spark/…
标签: scala apache-spark mapreduce rdd