【发布时间】:2019-04-15 08:32:48
【问题描述】:
我在 NiFi 中有数据管道,它监听系统日志并处理接收到的数据并通过“ExtractText”处理器提取属性然后通过“ReplaceText”制作流入输入格式,最后通过“PutInflux”处理器插入到 influxdb。但是我在 putInflux 处理器之前排了很长的队,因为插入速度比生成的数据慢。请帮助我提高插入速度。 Data PipeLine
【问题讨论】:
标签: apache-nifi influxdb
我在 NiFi 中有数据管道,它监听系统日志并处理接收到的数据并通过“ExtractText”处理器提取属性然后通过“ReplaceText”制作流入输入格式,最后通过“PutInflux”处理器插入到 influxdb。但是我在 putInflux 处理器之前排了很长的队,因为插入速度比生成的数据慢。请帮助我提高插入速度。 Data PipeLine
【问题讨论】:
标签: apache-nifi influxdb
您是一次将多行放入 Influx(即流文件中的多行)还是一次放入一行?如果是后者,请在 PutInfluxDB 之前尝试 MergeContent 或 MergeRecord,以将多行放入文件中。这样您就不必支付通过电线传输每条线路的开销,您可以一次放置很多条。
【讨论】:
感谢马蒂布, 我增加了 PutInfluxDB 处理器中的线程数并解决了问题:)
【讨论】: