【发布时间】:2017-02-04 21:55:36
【问题描述】:
该插件适用于低音量主题,但对于高音量则无法给出错误:
unexpected error error="The value for message_count is too large. You passed 1001 in the request, but the maximum value is 1000.
我更改了配置设置以下参数: buffer_chunk_limit 2k flush_interval 1
即使缓冲区块限制为 2k,我仍然看到缓冲文件的大小要大得多,好像块限制没有任何影响。
我现在收到以下关于高容量主题的错误:
2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8"
2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace
2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit.
2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.``
2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit
2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.``
在输出转发器文档中,我没有看到任何对块限制参数的引用。而且我不确定如何强制将较小的块设置为 pubsub。
我寻找了一种增加对 pubsub 的限制的方法,但在 pubsub 文档上找不到任何关于将日志发布到 pubsub 时 fluentd 错误显示的 1000 限制的内容。
感谢任何帮助。
【问题讨论】:
标签: fluentd google-cloud-pubsub