带有错误时间戳和时间键的日志被忽略答案

【问题标题】：Logs shipped with wrong timestamp and timekey ignored带有错误时间戳和时间键的日志被忽略
【发布时间】：2019-05-07 15:17:02
【问题描述】：

我想将我的 Vault 日志发送到 s3。基于此issue 我这样做了：

## vault input
<source>
  @type tail
  path /var/log/vault_audit.log
  pos_file /var/log/td-agent/vault.audit_log.pos
  <parse>
    @type json
  </parse>
  tag s3.vault.audit
</source>

## s3 output
<match s3.*.*>
  @type s3

  s3_bucket vault
  path logs/

  <buffer time>
    @type file
    path /var/log/td-agent/s3
    timekey 30m
    timekey_wait 5m
    chunk_limit_size 256m
  </buffer>

  time_slice_format %Y/%m/%d/%H%M
</match>

我希望我的日志每 30 分钟发送一次到 S3，并在目录中格式化为：logs/2019/05/01/1030

相反，我的日志平均每 2-3 分钟发送一次，并且 S3 中的输出时间格式从纪元开始，即：logs/1970/01/01/0030_0.gz

（时间在我的系统上设置正确）

【问题讨论】：

您需要将time 传递给缓冲区部分。 <buffer time>。你可以试试这个，让我知道它是否解决了它？。
@Imran 感谢您的帮助。不幸的是，添加time 并没有帮助，我添加了<buffer time> 并重新启动了代理。我已更新问题以反映您建议的配置
@Imran FluentD 似乎也从我的 JSON 日志中删除了 time 键。这可能与问题有关吗？即：{"time": "2019-05-07T17:50:13.301850515Z", "data": {}} 以{"data": {}} 的身份登录到 S3，这真是出乎意料。
尝试在匹配中添加include_time_key true（在path logs/之后），看看它是否有效。
如果您的日志根本没有到达 S3，请检查您的 match 模式是否正常工作，并且代理用户是否有权限来跟踪文件。另外，请检查我的示例工作配置。

标签： amazon-s3 fluentd

【解决方案1】：

这是对我来说很好的示例配置。

您需要确保将time 传递给缓冲区部分，并尝试明确提供应该是哪种format。

通过检查代理启动日志来检查您的匹配表达式是否正常工作。另外，试试<match s3.**>

<match>
  @type s3

  s3_bucket somebucket
  s3_region "us-east-1"
  path "logs/%Y/%m/%d/%H"
  s3_object_key_format "%{path}/%{time_slice}_%{index}.%{file_extension}"
  include_time_key true
  time_format "%Y-%m-%dT%H:%M:%S.%L"

  <buffer tag,time>
    @type file
    path /fluentd/buffer/s3
    timekey_wait 5m
    timekey 30m
    chunk_limit_size 64m
    flush_at_shutdown true
    total_limit_size 256m
    overflow_action block
  </buffer>
  <format>
    @type json
  </format>
  time_slice_format %Y%m%d%H%M%S
</match>

【讨论】：

谢谢，我给了你答案，因为配置有效。我的问题来自我认为无法解析的时间戳：2019-05-12T14:52:13.136621898Z。您对此有什么准确的格式字符串的想法吗？我试过time_format "%Y-%m-%dT%H:%M:%S.%NZ"
@Juicy 我看到你为此创建了另一个问题并在那里回复了一些更多信息。