zeppelin aws中的spark python错误运行程序

Question

我在 zeppelin Web 服务 spark aws emr 中尝试了有关 python 的示例代码，并在运行此代码时发现错误 我期望的输出是我的 s3 存储中文件中的字数

text_file = sc.textFile("s3://mybuckettest2/Scenarios.txt")
counts = text_file.flatMap(lambda line: line.split(" ")) \
             .map(lambda word: (word, 1)) \
             .reduceByKey(lambda a, b: a + b)
counts.saveAsTextFile("s3://mybuckettest2/test.txt")

错误：

 Traceback (most recent call last):
  File "/tmp/zeppelin_python-2374039163027007666.py", line 319, in <module>
    raise Exception(traceback.format_exc())
Exception: Traceback (most recent call last):
  File "/tmp/zeppelin_python-2374039163027007666.py", line 307, in <module>
    exec(code, _zcUserQueryNameSpace)
  File "<stdin>", line 1, in <module>
NameError: name 'sc' is not defined

Answer 1

我是从documentation 找到的。

在 Scala、Python 和 R 环境中，SparkContext、SQLContext 和 ZeppelinContext 会自动创建并分别作为变量名 sc、sqlContext 和 z 公开。使用 Spark 2.x 时，从 0.6.1 开始，SparkSession 可作为变量 spark 使用。

这意味着sc 用于scala，您必须使用sqlContext 用于pyspark。