从未安装 Hadoop(HDFS) 的节点将数据导出到 Hive

【问题标题】：Export data into Hive from a node without Hadoop(HDFS) installed从未安装 Hadoop(HDFS) 的节点将数据导出到 Hive
【发布时间】：2014-10-01 08:28:31
【问题描述】：

是否可以将尚未安装 hadoop(HDFS) 或 Sqoop 的节点的数据导出到 Hive 服务器？我会从可能是 Mysql 或某个目录中的文件的源中读取数据，然后使用 Hadoop 核心类或类似 Sqoop 的东西将数据导出到我的 Hadoop 集群中。我正在用 Java 编程。

【问题讨论】：

该节点是否有 hive 或没有 hadoop 生态系统？我不太了解
嗨，K S，是的，该节点没有安装任何 Hive 或 Hadoop 相关软件。我猜在没有安装它们的情况下无法导出数据，但想确保。
那么，它是不是像某个节点中的一个数据文件，它与 hadoop 集群边缘节点有连接？
是的，完全正确。我想在连接/访问 Hadoop 集群的节点中读取纯 .txt 文件。

标签： hadoop export hdfs

【解决方案1】：

因为你是最终目的地是一个蜂巢表。我建议如下：

创建一个 Hive 决赛桌。

使用以下命令从其他节点加载数据

LOAD DATA LOCAL INPATH '<full local path>/kv1.txt' OVERWRITE INTO TABLE table_name;

参考this

使用Java，你可以使用JSCH lib来调用这些shell命令左右。

希望这会有所帮助。

【讨论】：

谢谢KS，我会试试的。您还认为与仅在本地安装 Hadoop 相比是个好主意吗？
这取决于用例。可能存在需要从边缘节点加载数据的情况。
好的，谢谢。我可能会安装hadoop。似乎调用 Hive 集群可能变得难以调试。与其看一个地方，不如看两个地方。