如何将文本文件加载到 pySpark？答案

【问题标题】：How do I load text file to pySpark?如何将文本文件加载到 pySpark？
【发布时间】：2020-04-11 07:49:00
【问题描述】：

我想将文件加载到本地 PySpark。但我不能，并且出现了这个错误。你知道，我是做什么的吗？

【问题讨论】：

【解决方案1】：

当您通过 Spark 加载文件时，它还需要协议，默认情况下，它需要 HDFS（分布式计算文件系统）。

由于您正在尝试做本地文件，请遵循此方法

sc.textFile("file:///path to the file/")

已经回复here

【讨论】：

谢谢，例如：con = sc.textFile("file:///e:/friendship-data.txt")？我做到了，但该错误出现了！
我刚刚在我的 mac 机器上试过，它工作了.. 不知道你的 windows 盒子出了什么问题...... 20/04/11 14:25:30 WARN SparkContext: Killing executors当前调度程序不支持。 >>> sc.textFile("file:////Users/test/dc2.txt") file:////Users/hireshroy/dc2.txt MapPartitionsRDD[1] at textFile at NativeMethodAccessorImpl.java:0跨度>