【问题标题】:InputPath syntax for SparkContext textFileSparkContext textFile 的 InputPath 语法
【发布时间】:2014-02-27 23:19:13
【问题描述】:

请告诉我如何使用 SparkContext 指定 textFile() 的输入路径。像下面这对我不起作用。

sc.textFile("hdfs://localhost:54310/home/myFiles/sampleFile")

这里,54310是core-site.xml中指定的端口号

【问题讨论】:

    标签: scala hadoop apache-spark


    【解决方案1】:

    只是一个简单的错误。我们在 Spark Context 中加载的文件需要扩展名

    sc.textFile(hdfs://localhost:54310/home/myFiles/sampleFile.txt")

    【讨论】:

    • 不,有或没有扩展作品。 HDFS 与扩展无关。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-06
    • 1970-01-01
    • 2018-04-18
    • 2013-09-25
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多