【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务
前言: 大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。 如果需要看一年多之前写的文章,可以详见下列文章链接(例如部署成Windows服务、配置浏览器插件、l ... »
前言: 大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。 如果需要看一年多之前写的文章,可以详见下列文章链接(例如部署成Windows服务、配置浏览器插件、l ... »
最近在学习ansible,先大致看了下视频,现在需要练习使用了。对照视频中的练习方式,我觉得用处也不是太大,正好现在还要学习elk,以集群方式部署es,需要执行一些批量命令,而且还有一些修改配置文件的步骤,需要对每台主机操作。故此,尝试结合ansible的学习,让安装更加的自动化,有以下思路。说明一 ... »
一、CentOS 7.9 安装 elasticsearch-7.8.1 地址 https://www.elastic.co https://www.elastic.co/cn/downloads/past-releases https://github.com/elastic https://git ... »
目录 引言 需求分析 ES kibana Logstash Logback Filebeat 最后 引言 之前写了一篇关于 TraceId 的文章:为全局请求添加 TraceId ,看日志再也不懵逼 今天就接着 TraceId 做一些优化,如果想快速的定位到问题,就要实现对日志的快速搜索 »
https://github.com/anbai-inc/Kibana_Hanization 补丁包 教程:1:首先,我们先杀死了Kibana进程,其实,教程说不用重启或关闭Kibana,但是,我们这里还是关闭后再汉化吧。2:我把汉化版解压上传到了服务器“/root/Kibana_Hanization-master”目录下面。3:执行命令:python main.py /usr/local/ki »
Docker logs 对于一个运行的容器,Docker 会将日志发送到 容器的 标准输出设备(STDOUT)和标准错误设备(STDERR),STDOUT 和 STDERR 实际上就是容器的控制台终端。 举个例子,用下面的命令运行 httpd 容器: [root@host1 ~]# docker run -p 80:80 httpd Unable to find image 'httpd »
【测试右移】介绍 为什么要做测试右移? 测试环境不能完全模拟线上环境。 线上质量不仅取决于已发布代码,还取决于数据变更与配置变更。 线上测试可以获得更多质量数据,以辅助产品更新。 测试右移主要实践: 应用监控 综合监控质量监控(ContinuousQuality Monitoring) A/B 测试 ... »
转自:https://blog.csdn.net/enweitech/article/details/81744250 今天临时收到一个企业客户的项目需求,需要对所有WIndows业务服务器的日志进行集中化查看和分析管理,毕竟像业务很多的公司而且历史比较悠久的公司,windows和linux都是混合运行的,毕竟太老的程序和配置是不能轻易动的,尤其医院和***类的。在互联网项目中,良好的日志监控和分析 »
继续上面的步骤来,已经用filebeat将log日志写入到了redis,现在需要从redis中取出log日志写入logstash logstash配置文件目录 /etc/logstash/conf.d 写一个名为nginx_access_log.conf配置文件,内容如下,redis的配置对应的是filebeat写入redis的配置 input { redis { type => »
简述:对于 Elasticsearch的分词插件的实现方式不唯一,比如,ES+ansj,ES+ik等,我这里使用的是ik,所以后面只对ik进行分词操作的演示。 当然这里要说明下,搜索引擎用于搜索,分词才是用于语句分割和依据词典进行识别的这里不要弄混,前几天在一个lucene+ansj的群里 出现过这么一个案例。 一. 内置分词工具 二. A »
官方文档又全是英文,看起来很费劲。只能各种查其他的博客以及结合官方文档看了。 我的系统是centos7 首先将防火墙以及selinux关闭。 根据官方文档的说明先安装Elasticsearch 1.安装java环境 1.1在/etc/profile下添加环境变量 我的环境标量如下: export JAVA_HOME=/home/jdk1.8.0_181 export CLA »
开篇先提出ES生产环境部署需要考虑五个问题,进而一步步展开阐述ES集群规划、节点类型规划、脑裂问题避免、分片和副本设置推荐设置,最后以一个日志采集生产环境实战例子,应用ES索引生命周期策略、索引模板实现索引的动态管理过程。 ... »
一、安装JDK1.8以上版本 1、从Oracle官网上下载Linux x64版本的 下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html jdk-8u201-linux-x64.tar.gz 2、解压jdk安装包并创建软连接: tar zxf /usr/local/src/ »
filebeat+elk组合之kafka单机部署 准备: kafka下载链接地址:http://kafka.apache.org/downloads.html 在这里下载kafka_2.12-2.10.0.0.tgz(kafka和zookeeper都用同一个包里的)。 一、安装和配置jdk(下载jdk,配置环境即可) JAVA_HOME=/opt/jdk1.8.0_131 CLASSP »
1.ES和Kibana安装都是开箱即用的? 解压缩就可以用 elasticsearch解压缩之后,双击下图中的elasticsearch.bat,启动,kibana也是一样 双击之后, 我们看到上图有一个9300的端口. 出现上图,说明es已经启动了. 注意上边的地址是:127.0.0.1:9200 es安装: 解压及安装: 启动:esbin\elasticsearch.b »
一、搭建环境 系统环境:CentOS7 安装iptables:https://blog.csdn.net/momo_mutou/article/details/81739155 jdk1.8: https://www.cnblogs.com/coder-lzh/p/8746609.html ElasticSearch: https://artifacts.elastic.co/do »
通常情况下,我们使用ELK日志分析平台最常用的数据时间为1周或一个月(因业务场景不同,可能存在差别),时间比较长的数据没有特殊情况可能我们就没有必要再进行查询了,但是因业务需求或者作为凭证,这些日志需要长期保存,就需要用到elasticsearch冷热数据分离架构。 节点名称 服务器类型 存储数据 ES1 SSD hot ES2 SSD hot ES3 SSD hot E »
本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计。 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理。 一、服务介绍 1.1、ELK ELK是三个开源软件的缩写,分别表示:Elasticsear »
前言 这两天需要对接一个新的搜索业务,由于测试机器还没到位,所以就自己创造条件,通过在Windows上安装VM虚拟机,模拟整套环境,从而能快速进入核心业务的开发测试状态中。 系统环境安装配置 虚拟机VMware Workstation Pro 12 云盘下载地址:https://pan.baidu.com/s/1hrWx76k 序列号:FF1JR-AZGE6-480UP-1PPXV-W38TA C »