在 pyspark 上使用 Spark 的代码

Question

我在 pyspark 中遇到问题。我已经使用 pyspark 在 Spark 上执行了这些行，如下所示，它给了我以下错误，

>>> text_file=sc.textFile("/Users/Aroon/spark/Scala/word")

Traceback（最近一次调用最后一次）： 文件“”，第 1 行，在 NameError: name 'sc' 未定义。

Answer 1

错误消息非常清楚地表明 sparkContext 不是在 sc 变量上创建的。如果您在 pyspark shell 上，这将自动创建。因为它没有，我预测你正在通过 spark-submit 运行它。在这种情况下，请添加以下样板代码以运行您的脚本。

from pyspark import SparkContext

sc = SparkContext(appName="Scalaword")

更多关于你所拥有的信息会更好地帮助你。