目前，insert overwrite table T1 select * from T2; 在我的集群中大约需要 100 分钟。 Table T1 is ORC 格式化和 T2 is text 格式化。我正在从 T2 读取 60 GB 的文本数据并插入 ORC 表 T1（插入后为 10 GB）。如果我对两个表格都使用文本格式，则插入大约需要 50 分钟。在这两种情况下，我们可以做些什么来提高写入速度（我有大表进来）或任何其他建议？？
【问题讨论】：
标签： hadoop hive hadoop2 beeline
我最近导出了一种方法，它将源文件拆分为多个分区，对于 100GB 数据，从文本表到 hive 中的 orc 表大约需要 6 分钟。 下面的方法
在将文件插入文本表之前
1.使用 split 命令将文件拆分为 unix 位置的小分区
2.然后从路径中删除原始文件并保持文件拆分。
插入文本表格
3.现在将数据加载到文本表中
4. 加载需要几分钟，您可以看到分区数与您在 unix 级别所做的相同
插入orc表
@卑鄙的我
【讨论】：
当您将数据从文本写入文本时，这可能是一种正常行为 - 它只是将数据从一个文件逐行写入另一个文件。除此之外，Text-to-ORC 还会做更多的工作。与 text-to-text 操作相比，text-to-orc 导入将对您的数据执行额外的桶分区操作和压缩操作。这就是你的时间影响的原因。 ORC 格式对文本格式有两个主要好处：
通常INSERT操作是单次操作，而访问操作会非常频繁。因此，通常在开始时花更多时间导入数据，然后由于数据的优化存储和 优化了对这些数据的访问时间
【讨论】：