Nifi PutHiveStreaming 将数据写入 HDFS 但无法查看 Hive 表中的数据

Question

1. 我正在使用 HDF Nifi 1.5 和 Hdp Hive 3.1。

2. 在 Hive 中创建分区和分桶表：

CREATE TABLE default.client_tbl (client_key int, clt_name varchar(45), clt_description varchar(200), version int) 分区由 (clt_status varchar(8)) CLUSTERED BY(client_key) INTO 3 BUCKETS 存储为 ORC TBLPROPERTIES('事务性'='true');

1. 使用 ExecuteSQL --> PutHiveStreaming

Nifi 日志显示写入 HDFS 路径的数据，但我无法查看 Hive 表中的数据。

请查找 nifi-app.log 的附件。

Answer 1

如果您使用的是 HDP Hive 3.1，那么您将需要 PutHive3Streaming 而不是 PutHiveStreaming。前者适用于 Hive 3，后者适用于 Hive 1.2.x。

话虽如此，Hive 3 组件自 NiFi 1.7.0+ 起可用。此外，如果您使用的是 Apache NiFi 发行版，则默认情况下它不包括 Hive 3 NAR（由于其大小）。您必须自己构建它或使用为 HDF 构建的那个（用于针对 HDP Hive 3），您可以获得 HDF 3.2 版本（NiFi 1.7.0）版本here。