Hadoop/Hive：在远程机器上从 .csv 加载数据

【问题标题】：Hadoop/Hive : Loading data from .csv on a remote machineHadoop/Hive：在远程机器上从 .csv 加载数据
【发布时间】：2014-06-27 13:02:06
【问题描述】：

我有一个可以来自 http url 的 csv 文件。有什么办法可以从那里加载它：-

这就是我正在尝试的

LOAD DATA INPATH 'http://192.168.56.101:8081/TeamHalf.csv' OVERWRITE INTO TABLE csvdata;

【问题讨论】：

有什么问题？您收到错误消息了吗？
不，实际上我正在尝试从 http 服务器复制文件。但这是不可能的。我正在尝试将 mysql db 的结果集导入到不同的服务器和文件系统上。这适用于我使用 sqoop stackoverflow.com/questions/24400513/…

【解决方案1】：

Hive Load 命令如下：

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

1) 如果指定了 LOCAL - 从本地 FS 文件路径加载

2) 如果没有 LOCAL - 仅从 HDFS 文件路径加载，即：文件路径必须引用与表（或分区）位置相同的文件系统中的文件

所以从远程 http:path 加载将不起作用。参考HIVE DML。可能的方法是（暂存）将数据从远程 http:path 加载到 LocalFS 或 HDFS ，然后到 Hive Warehouse。

【讨论】：