从本地 spark-submit 检查远程 HDFS 上是否存在文件

Question

我正在开发一个 Java 程序，专门用于在 HDFS 文件系统（位于 HDFS_IP）上使用 Spark。 我的目标之一是检查路径hdfs://HDFS_IP:HDFS_PORT/path/to/file.json 的HDFS 上是否存在文件。在本地调试我的程序时，我发现我无法使用以下代码访问这个远程文件

private boolean existsOnHDFS(String path) {
     Configuration conf = new Configuration();
     FileSystem fs;
     Boolean fileDoesExist = false ;
     try {
         fs = FileSystem.get(conf);
         fileDoesExist = fs.exists(new Path(path)) ;
     } catch (IOException e) {
            e.printStackTrace();
     }
     return fileDoesExist ;
 }

实际上，fs.exists 试图在我的本地 FS 中而不是 HDFS 中查找文件 hdfs://HDFS_IP:HDFS_PORT/path/to/file.json。顺便说一句，让hdfs://HDFS_IP:HDFS_PORT 前缀使fs.existscrash 并抑制它回答false，因为/path/to/file.json 在本地不存在。

fs 的适当配置是什么才能在本地和从 Hadoop 集群执行 Java 程序时正常工作？

编辑：我终于放弃并将错误修复传递给我团队中的其他人。感谢那些试图帮助我的人！

Answer 1

问题是您向 FileSystem 传递了一个空的 conf 文件。

你应该这样创建你的文件系统：

FileSystem.get(spark.sparkContext().hadoopConfiguration());

当 spark 是 SparkSession 对象时。

正如你在文件系统的代码中看到的：

 /**
   * Returns the configured filesystem implementation.
   * @param conf the configuration to use
   */
  public static FileSystem get(Configuration conf) throws IOException {
    return get(getDefaultUri(conf), conf);
  }

  /** Get the default filesystem URI from a configuration.
   * @param conf the configuration to use
   * @return the uri of the default filesystem
   */
  public static URI getDefaultUri(Configuration conf) {
    return URI.create(fixName(conf.get(FS_DEFAULT_NAME_KEY, DEFAULT_FS)));
  }

它根据作为参数传递的配置创建 URI，它在 DEFAULT_FS 为时查找键 FS_DEFAULT_NAME_KEY(fs.defaultFS)：

  public static final String  FS_DEFAULT_NAME_DEFAULT = "file:///";