无法启动 pyspark (DSE 4.6)答案

【问题标题】：Can't start pyspark (DSE 4.6)无法启动 pyspark (DSE 4.6)
【发布时间】：2015-03-11 08:34:45
【问题描述】：

我已经在集群中安装了 Datastax 企业 4.6，但我无法弄清楚 pyspark 抛出此错误的原因。 scala 接口工作得很好，但 python 没有。有没有人知道如何解决这个问题？

Python 2.6.6 Centos 6.5

干杯

bash-4.1$ dse pyspark --master spark://IP:7077
Python 2.6.6 (r266:84292, Jan 22 2014, 01:49:05)
[GCC 4.4.7 20120313 (Red Hat 4.4.7-4)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
Traceback (most recent call last):
  File "/usr/share/dse/spark/python/pyspark/shell.py", line 33, in <module>
    import pyspark
  File "/usr/share/dse/spark/python/pyspark/__init__.py", line 63, in <module>
    from pyspark.context import SparkContext
  File "/usr/share/dse/spark/python/pyspark/context.py", line 34, in <module>
    from pyspark import rdd
  File "/usr/share/dse/spark/python/pyspark/rdd.py", line 1972
    return {convertColumnValue(v) for v in columnValue}
                                    ^
SyntaxError: invalid syntax
>>>

【问题讨论】：

标签： python apache-spark datastax-enterprise datastax

【解决方案1】：

DSE 4.6 中包含的 PySpark 支持需要 Python 2.7.x，并且会抛出您在 Python 2.6.x 上看到的错误。即将发布的补丁版本应该会解决 Python 2.6.x 的问题。目前还没有具体日期。

【讨论】：