IIS 日志实时传输到 Hadoop

Question

我正在尝试在 Hadoop 中进行 POC 以进行日志聚合。我们有多个 IIS 服务器托管至少 100 个站点。我想将日志连续流式传输到 HDFS 并解析数据并存储在 Hive 中以进行进一步分析。

1) 正确选择 Apache KAFKA 还是 Apache Flume

2) 在流式传输之后，最好使用 Apache Storm 并将数据摄取到 Hive

请提供任何建议以及此类问题陈述的任何信息。

谢谢

Answer 1

您可以使用Kafka or flume 中的任何一个，也可以将两者结合起来获取数据到HDFS，但您需要为此编写代码 有可用的开源数据流管理工具，您无需编写代码。例如。 NiFi and Streamsets

您不需要使用任何单独的摄取工具，您可以直接使用那些数据流工具将数据放入 Hive 表中。在 hive 中创建表后，您可以通过提供查询来进行分析。

让我知道你还需要什么。