spark-submit python 文件并获得 No module Found答案

【问题标题】：spark-submit python file and getting No module Foundspark-submit python 文件并获得 No module Found
【发布时间】：2020-03-06 06:28:20
【问题描述】：

 spark-submit --master yarn-cluster --deploy-mode cluster test.py

以错误结束

import pandas as pd ImportError: No module named pandas

这是我看到的唯一错误。

使用 anaconda python 发行版 2.7 PYSPARK_VENV]/lib/python2.7/site-packages/ 位置有熊猫。

【问题讨论】：

【解决方案1】：

设置 PYSPARK_PYTHON 路径应该可以解决这个问题：

检查 pyspark 路径使用：which pyspark

export PYSPARK_PYTHON=/pyspark/path/from/above

【讨论】：

【解决方案2】：

您可以查看 [PYSPARK_VENV]/lib/python2.7/site-packages/ 文件夹中是否安装了 pandas。看起来您正在另一个 python 解释器上执行您的 pyspark 应用程序。请确保您已经为该解释器安装了 pandas 包。

在这些 knida 情况下，您可以使用 Anaconda 来管理 python 包。

【讨论】：