使用 NiFi 从 s3 存储桶中读取镶木地板数据

Question

伙计们！

我刚刚开始学习 NiFi。不要扔石头）只是帮助或指导。我需要从 s3 存储桶中读取 parquet 数据，我不明白如何设置 list3 和 fetchs3object 处理器来读取数据。 完整路径如下所示： s3://inbox/prod/export/date=2022-01-07/user=100/ 2022-01-09 06:51:23 23322557 cro.parquet 我将数据写入 sql 数据库 - 我没有问题。

我尝试自己配置lists3处理器，我认为不是很好 桶收件箱 aws_access_key_id aws_secret_access_key 地区 美国东部 端点覆盖 URL http://s3.wi-fi.ru:8080

Answer 1

我要做的是尝试在 NiFi 之外测试访问密钥 ID 和密钥，以确保它们正常工作。如果它们工作正常，那么这是 NiFi 配置的问题。如果密钥/ID 不起作用，那么通过获取有效的新值并将它们提供给 NiFi，它可能会有更好的工作机会。