如何从 mysql 更新 Elasticsearch 数据？

Question

我在 mysql 上有 3 个表。

并将数据索引到elasticsearch。

它在下面工作。（logstash 配置）

input {

                 jdbc {
                jdbc_driver_library => "lib/mysql-connector-java-5.1.33.jar"
                jdbc_driver_class => "com.mysql.jdbc.Driver"
                jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
                jdbc_user => "test"
                jdbc_password => "test"
                statement => "SELECT * FROM TABLE1"
                schedule => "* * * * *"
                                        type => "table1"


                 }
    //  
    // two more inputs
    //

}

output {
                stdout {codec => rubydebug}
                if [type] == "table1" {
                        elasticsearch {
                                hosts => ["localhost:9200"]
                                                 index => "test"
                                                document_type => "%{type}"
                                                document_id => "%{id}"
                                                template => "./template"
                                                template_overwrite => true
                                 }
                }
             //
             // two more outputs
             //

}

我删除了另外两个输入和输出，从 mysql 上的 TABLE1 中删除了一些行。

并启动了logstash。

它没有更新。

所以，输入

curl -XDELETE 'http://localhost:9200/*'

然后再次重新启动logstash。

但是在 elasticsearch 上再次添加了三个具有相同行的表。

如何自动更新elasticsearch数据？

Answer 1

我猜你错过了use column value、tracking column，它是在你的jdbc 输入中输入的：

jdbc {
    jdbc_driver_library => "lib/mysql-connector-java-5.1.33.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://localhost:3306/test"
    jdbc_user => "test"
    jdbc_password => "test"
    statement => "SELECT * FROM TABLE1"
    schedule => "* * * * *"
    type => "table1"
    use_column_value => true
    tracking_column => "id"  <-- this should be the incrementing value in your table
    tracking_column_type => "numeric"    
}

tracking_column 用于在更新表中的值时跟踪要映射的列。这应该为您解决问题。希望能帮助到你！