安装方法见上上篇。

踩坑:

明明安装成功了tensorflow和tensorflowonspark,却在pyspark上用不起来。

报错:>>> import tensorflow as tf
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
ImportError: No module named tensorflow

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

原因:

网上说的解决方案基本都是改路径之类的,对我不生效。

观察后发现,python的版本不对!现在我们用的是最新的python3 。而pyspark用的python2.

 

解决:

修改环境配置文件:vim ~/.bashrc,添加如下的环境变量设置

            export PYSPARK_PYTHON=python3

            保存后,使文件生效:source ~/.bashrc

启动pyspark,看是否已经使用最新版本的python

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

再导入tensorflow和tensorflowonspark,不再报错!

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

但是tensorflow导入时出现的这些内容,查资料后发现:numpy版本太高。

解决:

卸载numpy,换个低版本的安装上。

卸载:

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

 安装:

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

效果:如上图所示,导入tensorflow和tensorflowonspark不报任何额外信息。

【Spark+NLP】21、在pyspark上使用tensorflow框架和tensorflowonspark(框架?)

教程上这样写的:如果所有的都安装正确,你不应该看到任何错误。因此,安装成功~~~~~~(~ ̄▽ ̄)~

 

ps:一个小坑:

我使用pip安装啥都失败,都说域名啥的有误,报错Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))…………

网上说这是连接的网不好,建议换国内的知名的网站下载。

而我发现,我更新了vmware,虚拟网络配置自己改了,我压根没联网。。。。哈哈哈。。。(砸桌子)

 

ps2:

最近断更了差不多20天,因为我参加了个网络安全对抗比赛,目测能得个小奖,啦啦啦~~

相关文章:

  • 2021-04-20
  • 2021-09-27
  • 2021-07-17
  • 2021-11-24
  • 2022-12-23
  • 2022-01-05
  • 2021-05-19
  • 2021-11-20
猜你喜欢
  • 2021-11-24
  • 2021-06-12
  • 2022-02-19
  • 2021-09-04
  • 2021-07-28
  • 2021-04-30
  • 2021-08-22
相关资源
相似解决方案