【发布时间】:2019-07-04 14:40:51
【问题描述】:
我要回答的问题是:
创建RDD
使用映射创建由列指定的 NumPy 数组的 RDD。 RDD 的名称是 Rows
我的代码:Rows = df.select(col).rdd.map(make_array)
输入此内容后,我收到一个奇怪的错误,基本上是:异常:工作程序中的 Python 与驱动程序 3.6 中的版本不同,PySpark 无法使用不同的次要版本运行。请检查环境变量 PYSPARK_PYTHON 和 PYSPARK_DRIVER_PYTHON 是否设置正确。
我知道我正在使用 Python 3.6 的环境中工作。我不确定这个特定的代码行是否触发了这个错误?你怎么看
请注意,这不是我在这个 Jupyter 笔记本上的第一行代码。 如果您需要更多信息,请告诉我,我会提供。我不明白为什么会这样。
【问题讨论】:
-
检查你的奴隶。我有一次同样的错误。您的一个从属服务器默认运行 python 2。