【问题标题】:how do I pass a textfile through a parameter in scala如何通过scala中的参数传递文本文件
【发布时间】:2021-03-09 16:17:52
【问题描述】:

试图将文本文件传递给函数以在 Scala 中执行某些操作,但我不知道如何将其传递给函数。

我想传递它,因为我有多个文本文件并且完成的工作非常紧张

object SimpleApp {
  def main(args: Array[String]) {
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf)
val books = sc.textFile(
      "hdfs://quickstart.cloudera:8020/user/cloudera/books/books2/*"
    )
checkLang(books)

}


def checkLang (books: textFile)  = {


//do sonething

}

【问题讨论】:

标签: scala apache-spark mapreduce rdd


【解决方案1】:
import org.apache.spark.rdd.RDD

def checkLang (books: RDD[String]){
//do stuff

}

【讨论】:

  • 虽然此代码可能会回答问题,但提供有关此代码为何和/或如何回答问题的额外上下文可提高其长期价值。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-12-25
  • 1970-01-01
  • 2011-08-07
  • 2014-05-15
  • 2017-12-18
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多