找不到 spark-hbase maven 依赖项答案

【问题标题】：Can't find spark-hbase mvn dependency找不到 spark-hbase maven 依赖项
【发布时间】：2016-06-12 10:43:06
【问题描述】：

我想使用 Spark 读取 HBase 中的表。我添加了以下依赖项：

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

如hbasewebsite中提到的，但是依赖无法解决！！

我也尝试了不同的版本（1.2.0、1.1.2），但没有成功。

【问题讨论】：

定义“它不起作用”？您是否收到任何错误或您的代码没有达到预期效果？
依赖无法解决，我会编辑问题
但是如果你想使用maven，你为什么要尝试添加一个SBT依赖呢？你不应该使用 pom.xml 文件吗？
我也在 pom.xml 文件中尝试过这个依赖，但无法解析。

标签： maven apache-spark sbt hbase

【解决方案1】：

hbase-spark 似乎不在 maven Central 中，这是将从中检索依赖项的默认存储库。

您需要配置构建管理工具（不清楚您使用的是 Maven 还是 SBT）以使用正确的存储库。

从project page你可以使用

不过，目前似乎只有快照可用。

另外，正如下面作者的评论中提到的那样，行

libraryDependencies += "org.apache.hbase" %% "hbase-spark" % "2.0.0-SNAPSHOT"

应该是

libraryDependencies += "org.apache.hbase" % "hbase-spark" % "2.0.0-SNAPSHOT"

在这种情况下不需要双 %，因为您不想将 scala 版本附加到工件名称。

【讨论】：

我正在使用 sbt。我尝试将这些网站作为存储库添加到我的 build.sbt。 resolvers += "Spark-Hbase repo" at "repository.apache.org/content/repositories/snapshots" ，但它也不起作用
hbase-spark 确实上传了一整套工件，包括 jar、sources、javadocs。你可以在这里查看：repository.apache.org/content/repositories/snapshots/org/apache/…
这很奇怪，我添加存储库后不知道为什么它不起作用！
现在可以使用了。我正在使用：“org.apache.hbase” %% “hbase-spark”，正如网站中提到的那样。但它适用于：“org.apache.hbase”%“hbase-spark”
我已将快照 jar 的 URL 添加到 mvn settings.xml 中，但它无助于解决问题。实际上问题是我们如何使用 mvn 下载这些 jar？

【解决方案2】：

添加此存储库

云时代 https://repository.cloudera.com/artifactory/cloudera-repos/
然后你可以通过maven下载它：

org.apache.hbase hbase-spark 1.2.0-cdh5.7.0

【讨论】：

【解决方案3】：

我在 pom.xml 中使用 hbase-spark 依赖项时遇到了同样的问题

<!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
</dependency>

我通过以下步骤解决了上述问题：

点击下图蓝色标记区域，从maven repository 下载hbase-spark依赖jar。

根据所附图片在 /src/main/resources 内创建一个 lib 文件夹。

将下载的jar复制到lib文件夹，并在pom.xml中添加jar文件的系统路径

    <!-- https://mvnrepository.com/artifact/org.apache.hbase/hbase-spark -->
<dependency>
   <groupId>org.apache.hbase</groupId>
   <artifactId>hbase-spark</artifactId>
   <version>2.0.0-alpha4</version>
   <scope>system</scope>
   <systemPath>${project.basedir}/src/main/resources/lib/hbase-spark-2.0.0-alpha4.jar</systemPath>
</dependency>

希望对你有所帮助。

【讨论】：