HDFS中的Pyspark重命名文件答案

【问题标题】：Pyspark renaming file in HDFSHDFS中的Pyspark重命名文件
【发布时间】：2020-05-08 08:47:57
【问题描述】：

我正在使用 spark 2.3.1 并想在 pyspark 程序中重命名 HDFS 文件。我正在关注这个答案[https://stackoverflow.com/a/58172249/12927963] (Pyspark)

对于这一行

fs.rename(Path(hdfs_dir+''+file_name),Path(hdfs_dir+''+new_filename))

我收到以下错误。

NameError：名称“路径”未定义

如果我从行中删除 Path 关键字

我收到以下错误。

Py4JError：调用 o562.rename 时出错。痕迹： py4j.Py4JException: 方法重命名([class java.lang.String, class java.lang.String]) 不存在

那么如何解决这个问题呢？

【问题讨论】：

【解决方案1】：

定义路径为

Path = sc._gateway.jvm.org.apache.hadoop.fs.Path

【讨论】：