使用 Nifi 将行附加到 csv

Question

我们每天都有来自 FTP 站点的 csv 文件。我们需要做的是将当天 csv 中的新行添加到当前存在于 HDFS 目录中的文件中。我们目前的流程是：

1. 让 SFTP 处理器从站点中提取文件
2. 更新属性根据文件名创建一个 HDFS 文件夹
3. Update Attribute 还会根据年份创建一个子文件夹
4. 文件然后转储到 HDFS 子文件夹中

总共大约有 8 个单独的目录，即“sales_report”、“inventory”、“personnel”等。对于这些文件夹中的每一个，我们希望将其中的 csv 文件附加到而不是新的，每天都有单独的文件。

最好的方法是什么？我知道我需要一个 csv 读取器和写入器服务，但我不确定要使用哪些处理器以及我需要什么样的 nifi 表达式（如果有的话）。任何详细的答复将不胜感激。

此外，从技术上讲，生成的文件不需要是 csv，只要它是 Hive 可以识别的格式。

Answer 1

PutHDFS 处理器具有用于冲突解决的属性，带有附加选项。

“如果有，则附加到现有文件，否则创建一个新文件。”