java.io.IOException：方案没有文件系统：maprfs。将 maprfs jar 添加到 bash_profile 不起作用答案

【问题标题】：java.io.IOException: No FileSystem for scheme: maprfs. Adding the maprfs jar to bash_profile didn't workjava.io.IOException：方案没有文件系统：maprfs。将 maprfs jar 添加到 bash_profile 不起作用
【发布时间】：2019-03-18 23:02:21
【问题描述】：

通过 spark-shell 运行以下命令时出现以下错误。我还在我的 bash_profile 中添加了 maprfs jar，如下所示。我尝试了类似帖子中的大多数解决方案，但无法解决这个问题。

scala> val input = sc.textFile("maprfs:///user/uber/list/brand.txt")
input: org.apache.spark.rdd.RDD[String] = maprfs:///user/uber/list/brand.txt MapPartitionsRDD[1] at textFile at <console>:24

scala> input.count()
java.io.IOException: No FileSystem for scheme: maprfs
  at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2660)
  at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2667)
  at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:94)
  at org.apache.hadoop.fs.FileSystem$Cache.getInternal(FileSystem.java:2703)
  at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:2685)
  at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:373)
  at org.apache.hadoop.fs.Path.getFileSystem(Path.java:295)
  at org.apache.hadoop.mapred.FileInputFormat.singleThreadedListStatus(FileInputFormat.java:258)
  at org.apache.hadoop.mapred.FileInputFormat.listStatus(FileInputFormat.java:229)
  at org.apache.hadoop.mapred.FileInputFormat.getSplits(FileInputFormat.java:315)
  at org.apache.spark.rdd.HadoopRDD.getPartitions(HadoopRDD.scala:204)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.rdd.MapPartitionsRDD.getPartitions(MapPartitionsRDD.scala:49)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:253)
  at org.apache.spark.rdd.RDD$$anonfun$partitions$2.apply(RDD.scala:251)
  at scala.Option.getOrElse(Option.scala:121)
  at org.apache.spark.rdd.RDD.partitions(RDD.scala:251)
  at org.apache.spark.SparkContext.runJob(SparkContext.scala:2126)
  at org.apache.spark.rdd.RDD.count(RDD.scala:1168)
  ... 49 elided

bash_profile：

导出 MAPR_HOME=/opt/mapr/hadoop/hadoop-2.7.0/share/hadoop/common/lib/maprfs-5.1.0-mapr.jar 导出 PATH=$MAPR_HOME:$PATH

【问题讨论】：

标签： java scala apache-spark hadoop mapr

【解决方案1】：

如果您查看 Spark 架构，您会发现您有驱动程序和执行程序。当您像以前那样设置环境时，它将影响您的驱动程序，而不是执行程序。

看at this question。这应该对您有所帮助。

【讨论】：

我认为他们不会明白他们从那个答案中缺少哪些罐子。

【解决方案2】：

这看起来您使用的 Spark 版本在类路径中没有各种 MapR jar。这很难说，因为您没有提供有关您使用的软件版本的任何信息。

您是否尝试过使用 MapR 提供的版本？

【讨论】：