graylog2+syslog-ng+mongodb构建集中管理日志服务器 --转载

原文地址：http://blog.chinaunix.net/uid-11065483-id-3654882.html

由于公司内需要监控QQ的上下线记录，原本使用了分光+Panabit+Splunk的结构来做记录。Panabit的使用是相当舒服的，可是当一天内的Splunk的日志记录超过了500MB的时候，Splunk的Free版本却不能再使用了，这让我非常的郁闷。于是我开始寻找其他的解决方案，终于被我发现了Graylog2。Graylog2配合MongoDB可以快速检索LOG的信息，这对于每天有大量日志需要记录并偶尔需要检索重要信息的场景中，十分的有用。
    Graylog2安装完后的效果图如下：
    graylog2+syslog-ng+mongodb构建集中管理日志服务器 --转载
    效果还可以吧，使用Quickfilter可以快速检索相关的Message。“一万年太久，只争朝夕”，咱说干就干！下面开始介绍如何安装Graylog2。

一.源码包下载

点击(此处)折叠或打开

  • cd /usr/src
  • #mongodb数据库,在此的主要作用是存储日志信息
  • wget http://fastdl.mongodb.org/linux/mongodb-linux-i686-2.2.1.tgz
  • #graylog2日志服务器
  • wget http://cloud.github.com/downloads/Graylog2/graylog2-server/graylog2-server-0.9.5.tar.gz
  • #yaml是一种编程语言,
  • wget http://pyyaml.org/download/libyaml/yaml-0.1.4.tar.gz
  • #ruby脚步语言
  • wget ftp://ftp.ruby-lang.org//pub/ruby/1.9/ruby-1.9.2-p0.tar.gz
  • #graylog2-web界面
  • wget http://cloud.github.com/downloads/Graylog2/graylog2-web-interface/graylog2-web-interface-0.9.5p2.tar.gz
  • #eventlog,安装syslog-ng需要先安装eventlog
  • wget http://www.balabit.com/downloads/files/syslog-ng/sources/3.2.4/source/eventlog_0.2.12.tar.gz
  • #syslog-ng日志服务器,
  • wget http://www.balabit.com/downloads/files/syslog-ng/open-source-edition/3.3.5/source/syslog-ng_3.3.5.tar.gz
  • #JDK,java环境
  • JDK下载地址, http://www.oracle.com/technetwork/java/javase/downloads/index.html 打开此链接下载相应的jdk版本,这里以jdk-6u21-linux-i586.bin

    •      你可以按上面的来下载，或者也可以到我的网盘上下载，地址是：http://www.kuaipan.cn/file/id_11613978115442246.htm。

    二.安装相关依赖包

    点击(此处)折叠或打开

  • yum -y install gcc* openssl-devel glib2-devel

    •     操作系统推荐使用CentOS 5.7 X64版本。我在使用CentOS 6版本的时候在进行到gem install bundler的时候会出现一个文件未找到，Google上的解决方案不多，但是我发现可以使用Find搜索之后根目录之后，再将此文件拷贝到上级目录中就可以解决了。我有强迫症，所以我还是推荐使用CentOS 5.7 X64版本。    

    三.安装并配置mongodb数据库

        1.安装mongodb

    点击(此处)折叠或打开

  • useradd mongodb
  • mkdir -pv /data/db
  • chown -R mongodb:mongodb /data
  • tar xvf /usr/src/mongodb-linux-i686-2.2.1.tgz -C /usr/local/
  • cd /usr/local/
  • ln -sv mongodb-linux-i686-2.2.1 mongodb

    •     Mongo的基本操作可以参见：http://blog.csdn.net/shirdrn/article/details/7105539    

        2.为mongodb提供服务启动脚本,并启动

    点击(此处)折叠或打开

  • #vim /etc/init.d/mongod #内容如下
  • ————————————————————————————————
  • #!/bin/bash
  • # chkconfig: - 90 11
  • # description: mongodb server SysV script
  • . /etc/rc.d/init.d/functions
  • if [ -f /etc/sysconfig/mongod ]; then
  • . /etc/sysconfig/mongod
  • fi
  • mongod=/usr/local/mongodb/bin/mongod
  • prog=mongod
  • lockfile=/data/db/mongod.lock
  • RETVAL=0
  • OPTIONS="--fork --logpath=/data/mongod.log"
  • start() {
  • echo -n $"Starting $prog: "
  • daemon $mongod $OPTIONS
  • RETVAL=$?
  • echo
  • [ $RETVAL = 0 ]
  • return $RETVAL
  • }
  • stop() {
  • echo -n $"Stopping $prog: "
  • killproc -p ${lockfile} $mongod
  • RETVAL=$?
  • echo
  • [ $RETVAL = 0 ] && rm -f ${lockfile}
  • }
  • case "$1" in
  • start)
  • start
  • ;;
  • stop)
  • stop
  • ;;
  • restart)
  • stop
  • start
  • ;;
  • status)
  • status -p ${lockfile} $mongod
  • RETVAL=$?
  • ;;
  • *)
  • echo $"Usage: $prog {start|stop|restart|status|}"
  • exit 1
  • esac
  • exit $RETVAL

    •     
        3.修改权限+开机自启动

    点击(此处)折叠或打开

  • chmod a+x /etc/init.d/mongod
  • chkconfig --add mongod
  • chkconfig mongod on
  • service mongod start

    •     
        4.创建graylog2所需数据库实例

    点击(此处)折叠或打开

  • /usr/local/mongodb/bin/mongo
  • >use admin
  • >db.addUser('admin','password')
  • >use graylog2
  • >db.addUser('graylog','redhat')
  • >exit

    •     这里的用户名：“Graylog和redhat”是后面Graylog2连接数据库需要使用的。如果后面Graylog2连接Mongo失败，可以使用命令：db.auth("graylog", ",redhat")将用户添加到认证中。

    四.安装graylog2-server
        
        1.安装JDK环境

    点击(此处)折叠或打开

  • cd /usr/src
  • chmod a+x jdk-6u21-linux-i586.bin
  • ./jdk-6u21-linux-i586.bin
  • mv jdk1.6.0_21/ /usr/local/
  • cd /usr/local/
  • ln -sv jdk1.6.0_21 jdk

    •     
        2.添加java环境变量

    点击(此处)折叠或打开

  • #vim /etc/profile
  • ——————————————————
  • JAVA_HOME=/usr/local/jdk
  • PATH=$JAVA_HOME/bin:$PATH
  • export JAVA_HOME PATH
  • ——————————————————
  • #source /etc/profile最后不要忘记source一下

    •     
        3.安装graylog-server

    点击(此处)折叠或打开

  • cd /usr/src
  • tar -xvf graylog2-server-0.9.5.tar.gz -C /usr/local/
  • useradd graylog
  • chown -R graylog:graylog /usr/local/graylog2-server-0.9.5/
  • cd /usr/local
  • ln -sv graylog2-server-0.9.5 graylog2
  • cp /usr/local/graylog2/graylog2.conf.example /etc/graylog2.conf

    •     
        4.配置garylog2-server

    点击(此处)折叠或打开

  • vim /etc/graylog2.conf
  • ——————————————————————
  • syslog_listen_port = 515 #将默认的514端口修改为其他未使用端口,因为514端口是syslog-ng默认的端口,这里需要用syslog-ng的514端口来接收其他服务器发来的日志,并进行处理的
  • syslog_protocol = udp
  • mongodb_user = graylog #访问mongodb的用户名
  • mongodb_password = redhat #访问mongodb用户名的密码
  • mongodb_host = localhost #mogodb的主机
  • mongodb_database = graylog2 #存储日志的数据库
  • mongodb_port = 27017 #访问mongodb的端口,默认是27017

    •     
        5.修改下graylog-server服务启动脚本配置文件

    点击(此处)折叠或打开

  • sed -i 's/java/$JAVA_CMD/' /usr/local/graylog2/bin/graylog2ctl
  • sed -i '2 aJAVA_CMD=/usr/local/jdk/bin/java' /usr/local/graylog2/bin/graylog2ctl

    •     
        6.将graylog2-server添加为系统服务并启动

    点击(此处)折叠或打开

  • vim /etc/init.d/graylog2 #内容如下
  • —————————————————————————————————
  • #!/bin/bash
  • #
  • # chkconfig: - 83 19
  • # description: graylog2-server SysV script
  • #
  • GRAYLOG_BIN=/usr/local/graylog2/bin
  • cd $GRAYLOG_BIN && ./graylog2ctl $1

    •     
        7.修改权限+自启动

    点击(此处)折叠或打开

  • chmod a+x /etc/init.d/graylog2
  • chkconfig --add graylog2
  • chkconfig graylog2 on
  • service graylog2 start


    • 五.安装graylog2-web-interface
        
        1.安装ruby脚本语言环境

    点击(此处)折叠或打开

  • cd /usr/src
  • tar xvf yaml-0.1.4.tar.gz
  • cd yaml-0.1.4
  • ./configure --prefix=/usr/local/yaml
  • make
  • make install
  • cd /usr/src
  • tar xvf ruby-1.9.2-p0.tar.gz
  • cd ruby-1.9.2-p0
  • ./configure --prefix=/usr/local/ruby --enable-shared --disable-install-doc --with-opt-dir=/usr/local/yaml
  • make
  • make install

    •     
        2.修改PATH中的环境变量

    点击(此处)折叠或打开

  • PATH=......:/usr/local/ruby/bin #在PATH中添加ruby的路径，不要忘记再source一下

    •     
        3.安装graylog2-web-interface

    点击(此处)折叠或打开

  • cd /usr/src
  • tar xvf graylog2-web-interface-0.9.5p2.tar.gz -C /usr/local/
  • cd /usr/local/
  • chown -R graylog:graylog /usr/local/graylog2-web-interface-0.9.5p2/
  • ln -sv graylog2-web-interface-0.9.5p2/ graylog2-web-interface
  • cd graylog2-web-interface
  • gem install bundler #需要连网
  • bundle install #需要联网

    •     
        4.配置graylog2-web-interface

    点击(此处)折叠或打开

  • vim /usr/local/graylog2-web-interface/config/mongoid.yml #内容如下
  • —————————————————————————————————————————————————————————————————
  • production:
  • host: localhost #mongodb的主机
  • port: 27017 #mongodb的端口号
  • username: graylog #mongodb的用户名
  • password: redhat #mongodb的用户名密码
  • database: graylog2 #mongodb的数据库名

    •     
        5.配置日志切割

    点击(此处)折叠或打开

  • cat > /etc/logrotate.d/graylog2-web-interface <<EOF
  • /usr/local/graylog2-web-interface/log/*log {
  • size=512M
  • rotate 90
  • copytruncate
  • delaycompress
  • compress
  • notifempty
  • missingok }
  • EOF

    •     
        6.启动graylog2-web-interface

    点击(此处)折叠或打开

  • cd /usr/local/graylog2-web-interface && ./script/rails server -e production &

    •     这里我没有学上面再做一个服务脚本，而是直接跑到机器上在/etc/profile中添加TMOUT=0，然后再输入上面这句，就结束了。我喜欢屏幕上不停滚动的信息，很有科技感。 

        7.访问Graylog2的web界面
        打开浏览器输入-->http://服务器IP:3000<--就打开Graylog2的web界面了。首次使用基本只要增加一个管理员帐号就ok了。

    六.安装并配置syslog-ng服务
        
        1.安装eventlog

    点击(此处)折叠或打开

  • cd /usr/src/
  • tar xvf eventlog_0.2.12.tar.gz
  • cd eventlog-0.2.12
  • ./configure --prefix=/usr/local/eventlog
  • make
  • make install

    •     
        2.安装syslog-ng

    点击(此处)折叠或打开

  • cd /usr/src
  • tar xvf syslog-ng_3.3.5.tar.gz
  • cd syslog-ng-3.3.5
  • export PKG_CONFIG_PATH=/usr/local/eventlog/lib/pkgconfig
  • ./configure --prefix=/usr/local/syslog-ng
  • make
  • make install

    •     
        3.配置syslog-ng

    点击(此处)折叠或打开

  • cat > /usr/local/syslog-ng/etc/syslog-ng.conf <<EOF
  • @version: 3.3
  • @include "scl.conf"
  • source s_local {
  • system();
  • internal();
  • };
  • #设置日志的来源为本机udp的514端口
  • source s_network { udp(ip(0.0.0.0) port(514)); };
  • #将日志发送到本机的udp515端口进行处理,515端口是graylog2-server的端口,
  • destination d_local { udp("127.0.0.1" port(515) ); };
  • log {
  • source(s_local);
  • source(s_network);
  • destination(d_local);
  • };
  • EOF

    •     
        4.添加为系统服务

    点击(此处)折叠或打开

  • vim /etc/init.d/syslog-ng #内容如下
  • ____________
  • #!/bin/bash
  • #
  • # chkconfig: - 60 27
  • # description: syslog-ng SysV script.
  • . /etc/rc.d/init.d/functions
  • syslog_ng=/usr/local/syslog-ng/sbin/syslog-ng
  • prog=syslog-ng
  • pidfile=/usr/local/syslog-ng/var/syslog-ng.pid
  • lockfile=/usr/local/syslog-ng/var/syslog-ng.lock
  • RETVAL=0
  • STOP_TIMEOUT=${STOP_TIMEOUT-10}
  • start() {
  • echo -n $"Starting $prog: "
  • daemon --pidfile=$pidfile $syslog_ng $OPTIONS
  • RETVAL=$?
  • echo
  • [ $RETVAL = 0 ] && touch ${lockfile}
  • return $RETVAL
  • }
  • stop() {
  • echo -n $"Stopping $prog: "
  • killproc -p $pidfile -d $STOP_TIMEOUT $syslog_ng
  • RETVAL=$?
  • echo
  • [ $RETVAL = 0 ] && rm -f $lockfile $pidfile
  • }
  • case "$1" in
  • start)
  • start
  • ;;
  • stop)
  • stop
  • ;;
  • status)
  • status -p $pidfile $syslog_ng
  • RETVAL=$?
  • ;;
  • restart)
  • stop
  • start
  • ;;
  • *)
  • echo $"Usage: $prog {start|stop|restart|status}"
  • RETVAL=2
  • esac
  • exit $RETVAL

    •     
        5.开机自启动

    点击(此处)折叠或打开

  • chmod a+x /etc/init.d/syslog-ng
  • killall syslogd
  • chkconfig --add syslog-ng
  • chkconfig syslog-ng on
  • service syslog-ng start


    •     至此，Graylog2的配置已经完成了。大家把Syslog往Graylog2上吐就可以了。若有安装失败或者出错的地方欢迎留言。
        
        最后，要感谢http://ant595.blog.51cto.com/blog/5074217/1081094的博客，我只是在实验了之后，再广播一下。同时注明了我的操作而已。

    相关文章：

    • 2021-04-04
    • 2021-09-15
    • 2021-05-18
    • 2021-05-28
    • 2022-01-26
    • 2022-12-23
    • 2022-12-23
    猜你喜欢
    • 2021-11-27
    • 2021-06-17
    • 2021-06-23
    • 2021-12-02
    • 2022-12-23
    • 2021-05-28
    相关资源
    相似解决方案
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode