动态模式解决方案 - HIVE/AVRO

Question

要求是跟上目标 ORC 表的架构演变。我正在从源接收 JSON 事件。我们计划将这些转换为 AVRO（因为它支持模式演变）。由于架构可以每天/每周更改，我们需要不断摄取新的数据 JSON 文件，将它们转换为 AVRO 并将所有数据（旧/新）存储在 ORC 配置单元表中。我们如何解决这个问题？

Answer 1

您可以遵循以下方法，这是您可以实施的多种解决此问题的方法之一。

1.创建 HBASE 表

• 最初读取 AVRO 数据并在 HBASE 中创建表。（您可以使用 spark 高效地执行此操作）
• HBASE 表甚至会在未来负责架构演变。

2。创建 Hive Wrapper 表

• 创建指向 HBASE 表的配置单元包装表（存储处理程序）。 （你可以阅读更多关于它的信息here

3.创建 ORC 表

• 现在从步骤 2 中创建的表创建 ORC 表

4.您需要处理的事情

• 由于 Hive 表与架构紧密耦合，因此您需要在步骤 2 中将数据写入 Hive 包装器表之前处理一个步骤。您需要在此处识别新列，然后将这些列适当地添加到现有包装器或兽人表。这同样可以通过 NiFi 或 Spark 或像 shell 脚本一样简单来实现。根据您的用例选择合适的工具。