【问题标题】:Logstash INPUT MySQLLogstash 输入 MySQL
【发布时间】:2014-06-22 23:35:46
【问题描述】:

在 Logstash 文档中找不到任何关系数据库的输入插件。

使用 logstash 从一个关系数据库表导入数据的最佳方法是什么?是用JDBC直接连接Elastic Search到数据库吗?

【问题讨论】:

    标签: mysql logging elasticsearch logstash


    【解决方案1】:

    您需要使用 JDBC River (https://github.com/jprante/elasticsearch-river-jdbc) 将 JDBC 数据加载到弹性搜索中(或编写您自己的代码来执行此操作)。

    看起来在 Logstash 中打开了几个请求 JDBC 加载的 JIRA,但它们没有工作:https://logstash.jira.com/browse/LOGSTASH-1764

    【讨论】:

      【解决方案2】:

      this

      WIP:正在开发中,不用于生产

      这是一个 Logstash 插件。

      它是完全免费且完全开源的。许可证是 Apache 2.0,这意味着您几乎可以随意使用它。

      Logstash 提供基础架构来自动生成此插件的文档。我们使用 asciidoc 格式编写文档,因此源代码中的任何 cmets 都会先转换为 asciidoc,然后再转换为 html。所有插件文档都放在一个中心位置。

      【讨论】:

      • 使用 logstash jdbc 输入插件是现在的方式,因为弹性河流现在已被弃用
      【解决方案3】:

      到目前为止,还没有任何用于读取 SQL 的 Logstash API。

      根据我的建议,您可以编写一个程序/脚本(例如 JAVA/python)从 sql 数据库中读取日志并写入文件。然后使用logstash file 从文件中读取的 API。 Logstash 网站有入门教程。它很容易学习。
      祝你好运

      【讨论】:

      • 这样就可以了!这样就没有使用logstash的优势。也许满足这种需求的实际最佳方法是将弹性搜索直接与数据库集成。
      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2015-01-06
      • 2020-05-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多