【问题标题】:Having trouble with sending high volume topics to Google cloud pubsub using fluentd plugin使用 fluentd 插件向 Google Cloud pubsub 发送大量主题时遇到问题
【发布时间】:2017-02-04 21:55:36
【问题描述】:

该插件适用于低音量主题,但对于高音量则无法给出错误:

  unexpected error error="The value for message_count is too large. You passed 1001 in the request, but the maximum value is 1000.

我更改了配置设置以下参数: buffer_chunk_limit 2k flush_interval 1

即使缓冲区块限制为 2k,我仍然看到缓冲文件的大小要大得多,好像块限制没有任何影响。

我现在收到以下关于高容量主题的错误:

  2017-02-04 21:38:08 +0000 [warn]: temporarily failed to flush the buffer. next_retry=2017-02-04 21:38:03 +0000 error_class="Gcloud::Pubsub::ApiError" error="The value for message_count is too large. You passed 6915 in the request, but the maximum value is 1000." plugin_id="object:3fbb05554ad8"
  2017-02-04 21:38:08 +0000 [warn]: suppressed same stacktrace
  2017-02-04 21:38:09 +0000 [warn]: Size of the emitted data exceeds buffer_chunk_limit.
  2017-02-04 21:38:09 +0000 [warn]: This may occur problems in the output plugins ``at this server.``
  2017-02-04 21:38:09 +0000 [warn]: To avoid problems, set a smaller number to the buffer_chunk_limit
  2017-02-04 21:38:09 +0000 [warn]: in the forward output ``at the log forwarding server.``

在输出转发器文档中,我没有看到任何对块限制参数的引用。而且我不确定如何强制将较小的块设置为 pubsub。

我寻找了一种增加对 pubsub 的限制的方法,但在 pubsub 文档上找不到任何关于将日志发布到 pubsub 时 fluentd 错误显示的 1000 限制的内容。

感谢任何帮助。

【问题讨论】:

    标签: fluentd google-cloud-pubsub


    【解决方案1】:

    如果你使用的是fluent-plugin-gcloud-pubsub,使用这个插件可以解决这个问题。

    https://github.com/mia-0032/fluent-plugin-gcloud-pubsub-custom

    此插件会持续维护。并且grpc/grpc#7804 也已修复,所以我推荐它。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2015-11-10
      • 2019-05-10
      • 2013-10-25
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2017-04-03
      • 2016-02-04
      相关资源
      最近更新 更多