需要 Apache Flume 配置文件的帮助答案

【问题标题】：Need help for Apache Flume configuration file需要 Apache Flume 配置文件的帮助
【发布时间】：2015-07-14 03:21:47
【问题描述】：

您好，我对从多源日志生成服务器进行日志分析的 Flume 配置有一些疑问

我有 2 台 apache 服务器在 linux 服务器中运行。一个节点使用 HDFS 运行，所有守护进程都在同一节点上运行。

flume 需要安装在哪个节点中以从两个服务器捕获流式日志并加载到 HDFS 数据库中。
请提供此方案的水槽配置文件。这里如果我们想使用命令捕获流：tail -f /home/tomcat/webapps/logs/catalina.out

【问题讨论】：

听起来您希望我们为您做所有事情。也许阅读文档，尝试设置它，然后询问具体问题，了解哪些问题让您感到困惑？

标签： apache tomcat hadoop hdfs flume

【解决方案1】：

关于你的第一个问题：

1.flume 需要安装在哪个节点上，以便从两个服务器捕获流式日志并加载到 HDFS DB 中。？？

需要在每个 apache 服务器上安装 Flume 来读取 Apache 日志，然后将记录发送到 HDFS

注意：在安装 Apache Flume 时不要忘记包含 HDFS jar/插件，以便在启动时，它实际上会将记录发送到 HDFS 而不会给您错误。还要确保 apache tomcat 节点上的水槽可以访问 HDFS 节点和运行它的端口。

关于你的第二个问题：

2.请提供此方案的水槽配置文件。这里如果我们想使用命令捕获流：tail -f /home/tomcat/webapps/logs/catalina.out

关于 Flume 配置，特别是“来源”：这是一个示例配置：

# Describe/configure the source for tailing file
agent.sources.SrcLog.type = exec
agent.sources.SrcLog.command = tail -F /home/tomcat/webapps/logs/catalina.out
agent.sources.SrcLog.restart = true
agent.sources.SrcLog.restartThrottle = 1000
agent.sources.SrcLog.logStdErr = true
agent.sources.SrcLog.batchSize = 50

更多详情请查看Apache Flume User Guide

【讨论】：