Hive CSV 导入限制答案

【问题标题】：Hive CSV Import LimitHive CSV 导入限制
【发布时间】：2014-07-30 02:15:51
【问题描述】：

我有一个包含大约 330 万行的大型 csv 文件，我已将其上传到 Hive 元存储并从中创建了一个表。

但是当我运行一个

从表中选择计数（*）

查询一下，它只显示了大约 170 万行。

我已经运行了一个

从表中选择 *

查询并下载结果为 csv，该文件中只有大约 170 万行。

您可以导入 hive 并从中创建表的 csv 文件是否有大小限制？

非常感谢任何提示。

【问题讨论】：

如何创建 Hive 表？是通过 Hive 命令行界面还是 HUE？我发现使用 HUE 从 Hive Metastore 导入或导出数据存在一些限制，因此这是一种可能性。另外，您是否尝试在 JobHistory 或任何日志文件中查看作业？

标签： hive hiveql

【解决方案1】：

我建议再次检查您的文件，您所说的情况可能会在多种情况下发生：

1.) 您的文件中没有那么多记录。

2.) 您的某些行没有被新行分隔，这意味着记录正在合并。这就是您获得较少记录的原因。

希望这会有所帮助...！！！

【讨论】：

嗨 Mukesh，感谢您回复我。作为一种变通方法，我上传了几个较小的 150 万行块，创建了表，并在查询中将它们联合在一起，然后根据查询结果创建了一个表。从查询结果创建的最终表具有正确的行数。我在 sql server 和 notepad++ 中打开了文件。它在每种情况下显示正确的行数。知道发生了什么吗？