向 Logstash Twitter 输入和 Elasticsearch 输出添加字段

Question

我正在使用 logstash 将 twitter 流保存到 elasticsearch。在保存之前，我想

1. 添加一个新字段，指示推文是 RT、回复还是自然推文
2. 使用 tweet id 作为 elasticsearch 的文档 id

但我也做不到！ Logstash 配置文件：

input {
twitter {
    oauth_token => ""
    oauth_token_secret => ""
    consumer_key => ""
    consumer_secret => ""
    full_tweet => true
    keywords => ["test"]
}
}

filter {
ruby {
    code => "
        if !event['retweeted_status'].nil?
            event['tweet_type'] = 'Retweet'
        elsif !event['in_reply_to_screen_name'].nil?
            event['tweet_type'] = 'Reply'
        else
            event['tweet_type'] = 'Organic'
        end
    "
}
}

output {
elasticsearch {
    document_id => [id]
    index_type => "twitter"
    protocol => "http"
    bind_host => "127.0.0.1"
}
}

我做错了什么？

Answer 1

您无需使用 ruby​​ 来测试字段。试试：

if [retweeted_status] {
    mutate {
       add_field => { "tweet_type", "Retweet" }
    }
}

（注意：这是伪代码；我可能把 {s 和 => 弄错了）。

至于使用文档id，试试：

document_id => "%{id}"