elk

【ELK解决方案】ELK集群+RabbitMQ部署方案以及快速开发RabbitMQ生产者与消费者基础服务

前言: 大概一年多前写过一个部署ELK系列的博客文章,前不久刚好在部署一个ELK的解决方案,我顺便就把一些基础的部分拎出来,再整合成一期文章。大概内容包括:搭建ELK集群,以及写一个简单的MQ服务。 如果需要看一年多之前写的文章,可以详见下列文章链接(例如部署成Windows服务、配置浏览器插件、l ... »

ansible应用之安装elk框架

最近在学习ansible,先大致看了下视频,现在需要练习使用了。对照视频中的练习方式,我觉得用处也不是太大,正好现在还要学习elk,以集群方式部署es,需要执行一些批量命令,而且还有一些修改配置文件的步骤,需要对每台主机操作。故此,尝试结合ansible的学习,让安装更加的自动化,有以下思路。说明一 ... »

CentOS 7.9 安装 ELK

一、CentOS 7.9 安装 elasticsearch-7.8.1 地址 https://www.elastic.co https://www.elastic.co/cn/downloads/past-releases https://github.com/elastic https://git ... »

huaxiayuyi CentOS

功能强大的TraceId 搭配 ELK使用详解

目录 引言 需求分析 ES kibana Logstash Logback Filebeat 最后 引言 之前写了一篇关于 TraceId 的文章:为全局请求添加 TraceId ,看日志再也不懵逼 今天就接着 TraceId 做一些优化,如果想快速的定位到问题,就要实现对日志的快速搜索 »

ELK-Kibana汉化

https://github.com/anbai-inc/Kibana_Hanization  补丁包 教程:1:首先,我们先杀死了Kibana进程,其实,教程说不用重启或关闭Kibana,但是,我们这里还是关闭后再汉化吧。2:我把汉化版解压上传到了服务器“/root/Kibana_Hanization-master”目录下面。3:执行命令:python main.py /usr/local/ki »

docker elk

Docker logs   对于一个运行的容器,Docker 会将日志发送到 容器的 标准输出设备(STDOUT)和标准错误设备(STDERR),STDOUT 和 STDERR 实际上就是容器的控制台终端。 举个例子,用下面的命令运行 httpd 容器:   [root@host1 ~]# docker run -p 80:80 httpd Unable to find image 'httpd »

测试右移:线上质量监控 ELK 实战

【测试右移】介绍 为什么要做测试右移? 测试环境不能完全模拟线上环境。 线上质量不仅取决于已发布代码,还取决于数据变更与配置变更。 线上测试可以获得更多质量数据,以辅助产品更新。 测试右移主要实践: 应用监控 综合监控质量监控(ContinuousQuality Monitoring) A/B 测试 ... »

ELK 方案

转自:https://blog.csdn.net/enweitech/article/details/81744250 今天临时收到一个企业客户的项目需求,需要对所有WIndows业务服务器的日志进行集中化查看和分析管理,毕竟像业务很多的公司而且历史比较悠久的公司,windows和linux都是混合运行的,毕竟太老的程序和配置是不能轻易动的,尤其医院和***类的。在互联网项目中,良好的日志监控和分析 »

elk收集log日志——logstash配置

继续上面的步骤来,已经用filebeat将log日志写入到了redis,现在需要从redis中取出log日志写入logstash logstash配置文件目录 /etc/logstash/conf.d 写一个名为nginx_access_log.conf配置文件,内容如下,redis的配置对应的是filebeat写入redis的配置 input { redis { type => »

4.ELK 之分词功能

简述:对于 Elasticsearch的分词插件的实现方式不唯一,比如,ES+ansj,ES+ik等,我这里使用的是ik,所以后面只对ik进行分词操作的演示。    当然这里要说明下,搜索引擎用于搜索,分词才是用于语句分割和依据词典进行识别的这里不要弄混,前几天在一个lucene+ansj的群里 出现过这么一个案例。                     一. 内置分词工具   二. A »

centos7 elk7.1.1安装与使用

官方文档又全是英文,看起来很费劲。只能各种查其他的博客以及结合官方文档看了。 我的系统是centos7 首先将防火墙以及selinux关闭。 根据官方文档的说明先安装Elasticsearch  1.安装java环境   1.1在/etc/profile下添加环境变量 我的环境标量如下:     export JAVA_HOME=/home/jdk1.8.0_181     export CLA »

linux单机部署kafka(filebeat+elk组合)

  filebeat+elk组合之kafka单机部署   准备: kafka下载链接地址:http://kafka.apache.org/downloads.html 在这里下载kafka_2.12-2.10.0.0.tgz(kafka和zookeeper都用同一个包里的)。   一、安装和配置jdk(下载jdk,配置环境即可) JAVA_HOME=/opt/jdk1.8.0_131 CLASSP »

ELK之elasticsearch安装&&kibana安装

1.ES和Kibana安装都是开箱即用的? 解压缩就可以用 elasticsearch解压缩之后,双击下图中的elasticsearch.bat,启动,kibana也是一样 双击之后,     我们看到上图有一个9300的端口. 出现上图,说明es已经启动了. 注意上边的地址是:127.0.0.1:9200   es安装:   解压及安装:   启动:esbin\elasticsearch.b »

ELK冷热数据分离

  通常情况下,我们使用ELK日志分析平台最常用的数据时间为1周或一个月(因业务场景不同,可能存在差别),时间比较长的数据没有特殊情况可能我们就没有必要再进行查询了,但是因业务需求或者作为凭证,这些日志需要长期保存,就需要用到elasticsearch冷热数据分离架构。 节点名称 服务器类型 存储数据 ES1 SSD hot ES2 SSD hot ES3 SSD hot E »

利用ELK分析Nginx日志

本文以api.mingongge.com.cn域名为测试对象进行统计,日志为crm.mingongge.com.cn和risk.mingongge.com.cn请求之和(此二者域名不具生产换环境统计意义),生产环境请根据具体需要统计的域名进行统计。 由于涉及生产线上服务器,故本文部分服务器IP做了打码处理。 一、服务介绍 1.1、ELK ELK是三个开源软件的缩写,分别表示:Elasticsear »

手动从零使用ELK构建一套搜索服务

前言 这两天需要对接一个新的搜索业务,由于测试机器还没到位,所以就自己创造条件,通过在Windows上安装VM虚拟机,模拟整套环境,从而能快速进入核心业务的开发测试状态中。 系统环境安装配置 虚拟机VMware Workstation Pro 12 云盘下载地址:https://pan.baidu.com/s/1hrWx76k 序列号:FF1JR-AZGE6-480UP-1PPXV-W38TA C »