为什么没有在 SparkContext.textFile() 读取文件答案

【问题标题】：why is not read File at SparkContext.textFile()为什么没有在 SparkContext.textFile() 读取文件
【发布时间】：2017-07-21 17:29:38
【问题描述】：

为什么我无法阅读 hadoop README？

【问题讨论】：

你好像忘了问问题。
@cricket_007 这篇文章更新了，请给我评论
您真的为 EC2 付费来学习 Spark？那是浪费钱......无论如何，你仍然没有问题。是什么让您认为第一行不是空白的？
我不知道..，我已经执行到本地操作系统并且测试成功了。因此我想将本地包迁移到 ec2
您拥有的 spark 代码在 ec2 和本地运行相同。您应该在 spark 之外打开该文件并验证第一行实际上有一些字符。然后您可以担心显示的 WARN。

标签： apache-spark amazon-ec2

【解决方案1】：

您可以在下面找到 Spark 2.1.0 的解决方案

val appName = "Read Text File Example"
val master = "local[*]"

val conf = new SparkConf().setAppName(appName).setMaster(master)

val spark = SparkSession
  .builder()
  .config(conf)
  .getOrCreate()

val sp = spark.read.text("pathtofile/README.md")

sp.collect().foreach(println)

【讨论】：