最近在玩spark , 需要看一下python的spark lib 是怎么加入环境变量的。

执行:

sh -x bin/pyspark

报错

+ dirname bin/pyspark
+ cd bin/..
+ pwd
+ FWDIR=/usr/local/spark-0.9.1-bin-hadoop1
+ export SPARK_HOME=/usr/local/spark-0.9.1-bin-hadoop1
+ SCALA_VERSION=2.10
+ [ ! -f /usr/local/spark-0.9.1-bin-hadoop1/RELEASE ]
bin/pyspark: 38: bin/pyspark: Syntax error: Bad fd number

上网查找了一下,发现是shell 的环境出的问题。

查看执行脚本时使用了什么shell

ll `which sh`

发现使用的是

/bin/sh -> dash

而pyspark脚本使用的是:/usr/bin/env bash

解决方法:

/bin/bash  bin/pyspark

一劳永逸的解决方法(将sh直接改了,直接指向/bin/bash):

rm -f /bin/sh;
ln -sf /bin/bash /bin/sh

相关文章:

  • 2021-10-12
  • 2022-12-23
  • 2021-06-24
  • 2022-01-11
  • 2022-12-23
  • 2022-12-23
  • 2021-11-16
  • 2022-12-23
猜你喜欢
  • 2021-12-15
  • 2022-12-23
  • 2022-12-23
  • 2021-06-28
  • 2021-05-21
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案