【问题标题】:inserting data to influxdb by nifi is too slow通过nifi向influxdb插入数据太慢了
【发布时间】:2019-04-15 08:32:48
【问题描述】:

我在 NiFi 中有数据管道,它监听系统日志并处理接收到的数据并通过“ExtractText”处理器提取属性然后通过“ReplaceText”制作流入输入格式,最后通过“PutInflux”处理器插入到 influxdb。但是我在 putInflux 处理器之前排了很长的队,因为插入速度比生成的数据慢。请帮助我提高插入速度。 Data PipeLine

ReplaceText processor configuration : (view_stat -> measurement , Listing_id -> tag, event_id -> value , Timestamp -> time )

PutInflux processor configuration

【问题讨论】:

    标签: apache-nifi influxdb


    【解决方案1】:

    您是一次将多行放入 Influx(即流文件中的多行)还是一次放入一行?如果是后者,请在 PutInfluxDB 之前尝试 MergeContent 或 MergeRecord,以将多行放入文件中。这样您就不必支付通过电线传输每条线路的开销,您可以一次放置很多条。

    【讨论】:

      【解决方案2】:

      感谢马蒂布, 我增加了 PutInfluxDB 处理器中的线程数并解决了问题:)

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2013-11-21
        • 1970-01-01
        相关资源
        最近更新 更多