【问题标题】:Is it possible to import data from webserver to MYSQL using sqoop or flume?是否可以使用 sqoop 或 flume 将数据从网络服务器导入 MYSQL?
【发布时间】:2014-01-28 13:10:46
【问题描述】:

我需要将数据从网络服务器导入 MYSQL 数据库。我想知道sqoop或flume是否可行!我读到如果源或接收器在 HDFS 中,则可以导入和导出数据,但我想知道是否有可能将数据导入 MYSQL,因为源和接收器都不是 hdfs?谁能指导我这个..提前谢谢

【问题讨论】:

    标签: mysql sqoop flume


    【解决方案1】:

    Sqoop 专门设计用于向 Hadoop 加载数据和从 Hadoop 加载数据,因此它无助于在 Web 服务器和 MySQL 之间移动数据(使用 HDFS 作为中介很可能是一个糟糕的主意)。所以我会说这不是一个可行的选择。

    Flume 应该能够完美地插入您的网络服务器(我假设用于读取日志),但据我所知,目前没有原生 MySQL 接收器 (apparent confirmation)。写一个应该相当容易;存在一个 HBase 接收器,它的功能与 JDBC 接收器需要做的事情非常相似,也许您可​​以根据自己的目的对其进行调整。

    这是 Flume 指南,列出了可用的接收器和源:http://flume.apache.org/FlumeUserGuide.html。最适合您的 Web 服务器用例的源可能是假脱机目录源。该指南还包含一个简短的教程,指导您完成部署和配置 Flume 所需的所有步骤。如果您从那个简单的示例开始,您应该能够逐步构建一个有效的自定义配置,而不会有太多麻烦。

    【讨论】:

    • 谢谢丹尼尔,帮了大忙!
    猜你喜欢
    • 2016-12-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多