1、异常问题记录:

Sparkstreaming-windows测试过程异常问题记录

解决办法:去http://search.maven.org上下载对应的.jar,如下载:spark-streaming-kafka-0-8-assembly_2.11-2.4.5.jar

放在site-page的目录下,我这边的路径为:/usr/lib/python2.7/site-packages/pyspark/jars,而我python安装路径:/usr/bin/python2.7

2. hdfs上无权限问题:

org.apache.hadoop.security.AccessControlException: Permission denied: user=angela, access=WRITE,

inode="/user/angela/checkpoint/sparkstreaming_windows_31229":hdfs:hdfs:drwxr-xr-x

解决方案 ;找对应的同事新建一个/user/angela目录,并赋予相应权限。

相关文章:

  • 2022-12-23
  • 2022-12-23
  • 2021-11-09
  • 2022-12-23
  • 2021-12-28
  • 2022-12-23
  • 2021-09-15
  • 2022-12-23
猜你喜欢
  • 2021-09-22
  • 2021-05-24
  • 2022-12-23
  • 2021-11-16
  • 2022-12-23
  • 2021-07-26
  • 2021-10-10
相关资源
相似解决方案