【发布时间】:2014-01-28 13:10:46
【问题描述】:
我需要将数据从网络服务器导入 MYSQL 数据库。我想知道sqoop或flume是否可行!我读到如果源或接收器在 HDFS 中,则可以导入和导出数据,但我想知道是否有可能将数据导入 MYSQL,因为源和接收器都不是 hdfs?谁能指导我这个..提前谢谢
【问题讨论】:
我需要将数据从网络服务器导入 MYSQL 数据库。我想知道sqoop或flume是否可行!我读到如果源或接收器在 HDFS 中,则可以导入和导出数据,但我想知道是否有可能将数据导入 MYSQL,因为源和接收器都不是 hdfs?谁能指导我这个..提前谢谢
【问题讨论】:
Sqoop 专门设计用于向 Hadoop 加载数据和从 Hadoop 加载数据,因此它无助于在 Web 服务器和 MySQL 之间移动数据(使用 HDFS 作为中介很可能是一个糟糕的主意)。所以我会说这不是一个可行的选择。
Flume 应该能够完美地插入您的网络服务器(我假设用于读取日志),但据我所知,目前没有原生 MySQL 接收器 (apparent confirmation)。写一个应该相当容易;存在一个 HBase 接收器,它的功能与 JDBC 接收器需要做的事情非常相似,也许您可以根据自己的目的对其进行调整。
这是 Flume 指南,列出了可用的接收器和源:http://flume.apache.org/FlumeUserGuide.html。最适合您的 Web 服务器用例的源可能是假脱机目录源。该指南还包含一个简短的教程,指导您完成部署和配置 Flume 所需的所有步骤。如果您从那个简单的示例开始,您应该能够逐步构建一个有效的自定义配置,而不会有太多麻烦。
【讨论】: