【发布时间】：2020-02-05 05:50:20
【问题描述】：
我正在尝试在 Spark 上安装 Google Cloud Storage。我使用-libjars 在hadoop 类路径中添加了“gcs-connector-latest-hadoop2.jar”。我仍然收到 GoogleCloudStorageFileSystem class not found 错误。
$ hadoop fs -libjars /PATH/gcs-connector-hadoop2-latest.jar -ls /HDFS_PATH
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: Cannot load filesystem: java.util.ServiceConfigurationError: org.apache.hadoop.fs.FileSystem: Provider com.google.cloud.hadoop.fs.gcs.GoogleHadoopFileSystem could not be instantiated
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.NoClassDefFoundError: com/google/cloud/hadoop/gcsio/GoogleCloudStorageFileSystem
20/02/05 05:41:33 WARN fs.FileSystem: java.lang.ClassNotFoundException: com.google.cloud.hadoop.gcsio.GoogleCloudStorageFileSystem
我这里有什么遗漏吗？
【问题讨论】：
-
你能发布你正在使用的代码吗？此外，您能否检查您是否将连接器添加到 Hadoop/Spark 类路径？最后，我鼓励您检查您是否遵循了文档中的步骤：github.com/GoogleCloudDataproc/bigdata-interop/blob/master/gcs/…
-
@Alexandre Moraes 只是
hadoop fs -ls命令正在抛出该警告。 -
此错误 GoogleHadoopFileSystem 很可能与连接器不是类路径的一部分有关。我建议您检查您正在使用的 .jar 文件并检查文件 GoogleHadoopFileSystem.class 是否丢失。你能做到吗？
-
我已经验证过了。 GoogleHadoopFileSystem 类存在于我在
libjars中提到的 *.jar 文件中。 -
我建议的下一步是下载一个新的 .jar 文件并尝试它是否有效。
标签： hadoop hdfs google-cloud-storage hadoop2 google-cloud-dataproc