在 CDH 5.12 上使用 Spark 2.2 安装 IPython

【问题标题】：IPython Installation with Spark 2.2 on CDH 5.12在 CDH 5.12 上使用 Spark 2.2 安装 IPython
【发布时间】：2017-10-30 17:03:57
【问题描述】：

我在带有 RHEL 的 CDH 5.12 上有一个带有 Spark 2.2 的集群，我正在尝试设置 IPython 以与 pyspark2 一起使用。我已经安装了 IPython 5.x LTS（长期支持），但我无法让它工作。

到目前为止

yum -y update
yum install epel-release
yum -y install python-pip
yum groupinstall 'Development Tools'
yum install python-devel

pip install IPython==5.0 --user

但我无法让它工作。有人知道我错过了什么吗？

【问题讨论】：

标签： apache-spark pyspark ipython lts

【解决方案1】：

pyspark 启动脚本查找，

# Determine the Python executable to use for the driver:
if [[ -n "$IPYTHON_OPTS" || "$IPYTHON" == "1" ]]; then
  # If IPython options are specified, assume user wants to run IPython
  # (for backwards-compatibility)
  PYSPARK_DRIVER_PYTHON_OPTS="$PYSPARK_DRIVER_PYTHON_OPTS $IPYTHON_OPTS"
  PYSPARK_DRIVER_PYTHON="ipython"
elif [[ -z "$PYSPARK_DRIVER_PYTHON" ]]; then
  PYSPARK_DRIVER_PYTHON="${PYSPARK_PYTHON:-"$DEFAULT_PYTHON"}"
fi

在~/.bashrc 中设置以下变量

echo "export PATH=$PATH:/path_to_downloaded_spark/spark-1.6.0/bin"
echo "export PYSPARK_DRIVER_PYTHON=ipython"
echo "export PYSPARK_DRIVER_PYTHON_OPTS='notebook'

【讨论】：

它可能真的很接近，我仍然收到这个错误：env: ipython: No such file or directory