【发布时间】:2014-02-27 23:19:13
【问题描述】:
请告诉我如何使用 SparkContext 指定 textFile() 的输入路径。像下面这对我不起作用。
sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")
这里,54310是core-site.xml中指定的端口号
【问题讨论】:
标签: scala hadoop apache-spark
请告诉我如何使用 SparkContext 指定 textFile() 的输入路径。像下面这对我不起作用。
sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")
这里,54310是core-site.xml中指定的端口号
【问题讨论】:
标签: scala hadoop apache-spark
只是一个简单的错误。我们在 Spark Context 中加载的文件需要扩展名
sc.textFile(hdfs://localhost:54310/home/myFiles/sampleFile.txt")
【讨论】: