使用 FluentD 删除密钥答案

【问题标题】：Remove a key with FluentD使用 FluentD 删除密钥
【发布时间】：2016-02-02 17:45:46
【问题描述】：

我有一个由工具生成的 JSON 文件。我想在转发之前删除一个属性。

<source>
  @type tail
  path /var/log/app/file.json
  pos_file /var/log/td-agent/file.pos # pos record
  tag file_json
  format json
</source>

<match file_json>
  @type exec
  tag_key file_filtered
  buffer_path /tmp/file_buffer.buf
  command jq 'del(.timestamp)'
  format json
</match>

<match file_filtered>
  @type file
  path /var/log/app/file_fwd.json
  # time_slice_format %Y%m%d
  # time_slice_wait 10m
  # time_format %Y%m%dT%H%M%S%z
  # compress gzip
  # utc
</match>

我不知道所有 JSON 属性，但我知道我不能拥有 timestamp 字段。我使用jq 来移除这个模仿函数的属性：

tail file.json | jq 'del(.timestamp)'

FluentD 可以为我做这件事吗？我在这里描述的方式不会导致过滤文件，但配置会被接受。

【问题讨论】：

标签： json filter fluentd

【解决方案1】：

见官方文档中的record_transformer fileter。

http://docs.fluentd.org/articles/filter_record_transformer#removekeys-optional-string-type

【讨论】：

对不起，我不能让它工作......我不知何故觉得它是用于 TSV 而不是 JSON。