在intellij中将hive连接到spark答案

【问题标题】：connecting hive to from spark in intellij在intellij中将hive连接到spark
【发布时间】：2018-02-14 14:16:04
【问题描述】：

我正在尝试从安装在本地计算机上的 Intellij 中的 spark 程序连接到远程配置单元。

我将 hadoop 集群配置文件放在本地机器上，并在 Intellij 中配置环境变量 HADOOP_CONF_DIR 运行此 spark 程序的配置，以便能够检测到此 hadoop 集群，但 intelliJ 不知何故不读取这些文件，并且 spark 程序默认为本地配置单元元存储实例。

无论如何配置 intelliJ 以在本地读取 hadoop 配置文件。非常感谢任何帮助。

【问题讨论】：

【解决方案1】：

请配置 SPARK_CONF_DIR 变量并将 hive-site.xml 复制到该目录中。 Spark 将连接指定的 hive 元存储并确保 hive-site.xml 指向您的集群详细信息。

谢谢拉维

【讨论】：

嗨拉维，感谢您的回复。我已经尝试过 - 将 hive-site.xml 和 hdfs-site.xml 复制到本地目录并将 SPARK_CONF_DIR 指向该路径，但它不起作用。
嗨 Hitesh，您能否通过运行 hive cli 命令检查您是否能够从本地计算机访问远程配置单元 hive --config /etc/spark/conf 替换/etc/spark/conf 到 SPARK_CONF_DIR 路径。
嗨 Ravi，我可以通过 spark-shell 从本地 spark 设置连接到 Hive，但问题只能通过 IDE (IntelliJ)，它无法读取配置文件。您是否能够通过这些配置文件让 IntelliJ 或其他 IDE 连接到远程配置单元。
是的，我能够解决这个问题。请将所需的 hadoop conf (xml) 文件添加到项目的资源目录中，然后 spark 将能够获取 hive 配置以自动连接。

【解决方案2】：

将hadoop配置文件夹添加到intellij项目类路径

项目设置 -> 库 -> + -> java -> 选择包含所有配置文件的文件夹 -> 类

【讨论】：