如何在 Hive 中为批处理数据创建分层分区

Question

考虑 2000 年的数据。

test.csv

country_code,product_code,rpt_period 我们，crd，2000 我们，PCL，2000 我们，mtg，2000 在,crd,2000 在，PCL，2000 在,mtg,2000

现在我将新生成的 2001 记录附加到 test.csv。将新数据附加到 test.csv 后，我的数据如下所示。

append.csv

country_code,product_code,rpt_period 我们，crd，2000 我们，PCL，2000 我们，mtg，2000 在,crd,2000 在，PCL，2000 在,mtg,2000 我们，crd，2001 我们，PCL，2001 我们，mtg，2001 在,crd,2001 在, pcl, 2001 在,mtg,2001

蜂巢中可能出现以下情况？如果是，请回答问题。

1. 如何使用此数据为分区表Foo 创建架构？还有我 希望分区列为 country_code 和 product_code。
2. 例如，我想（从 test.csv 文件记录）加载到表Foo？使用 hive LOAD DATA 命令？
3. 如何将 append.csv（仅 2001 条记录）加载到表 Foo。这也需要使用 hive LOAD DATA 命令来完成

谢谢。

Answer 1

是的，您提到的所有场景都可以使用 Hive。

1. 创建临时表并加载您拥有的所有数据，然后您可以创建包含您提到的 2 列的分区表。

对于 2 和 3：只需加载命令即可。如果您打算加载到分区表中，则必须通过创建临时表并插入到分区表中。

让我知道这是您想要的，否则请更新您的问题。