elk

ELK日志保留7天-索引生命周期策略

一、简介 ELK日志我们一般都是按天存储,例如索引名为"kafkalog-2022-04-05",因为日志量所占的存储是非常大的,我们不能一直保存,而是要定期清理旧的,这里就以保留7天日志为例。 自动清理7天以前的日志可以用定时任务的方式,这样就需要加入多一个定时任务,可能不同服务记录的索引名又不一 ... »

ansible一键部署elk

一、ELK介绍 1.1 ElasticSearch ElasticSearch 是一个基于Lucene的开源分布式搜索服务器。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制 »

lanist

整合elk(2)(十三)

配置、启动kibana 到kibana的安装目录: 1 ./bin/kibana    默认配置即可。 访问localhost:5601,网页显示: 证明启动成功。 创建springboot工程 起步依赖如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 &l »

安装ELK平台 7.3.0版本

0.1 防火墙 若是使用公网IP的话可以考虑关闭防火墙,或者放行相应端口 使用内网IP的话可以不用管防火墙 0.2 关闭SElinux # setenforce 0 文件:/etc/selinux/config SELINUX=disabled 0.3 内核优化 文件:/etc/security/limits.conf,在最后加入如下内容: * soft nofile 65537 * ha »

从ELK 到 EFK 的演进:日志平台构建实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」废话不多说,老司机们座好了,我们准备发车了。 整体架构 整体架构主要分为 4 个模块,分别提供不同的功能Filebeat:轻量级数据收集引擎。基于原先 Logstash-fowarder 的源码改造出来。换句话说:Filebea »

ELK logstash 各种报错

1.logstash 启动后数据传输了,但是 ElasticSearch 中没有生成索引,查看logstash日志,报错如下 [2018-06-08T14:46:25,387][WARN ][logstash.outputs.elasticsearch] Could not index event to Elasticsearch. {:status=>400, :action=> »

ELK 6.x 部署

Elasticsearch版本:6.3.2 Kibana版本:6.3.2   1.es安装 按照官方提示操作即可。 通过yum安装或者下载tar包解压。 安装完成之后,需要修改一些配置 ①修改文件 /etc/sysctl.conf #添加以下内容 vm.max_map_count=655360 执行命令: sysctl -p  这一步可以解决问题:max virtual memory ar »

ELK安装配置及nginx日志分析

一、ELK简介1、组成ELK是Elasticsearch、Logstash、Kibana三个开源软件的组合。在实时数据检索和分析场合,三者通常是配合使用,而且又都先后归于 Elastic.co 公司名下,故有此简称。Elasticsearch是个开源分布式搜索引擎,它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。Logstash是 »

ELK Kafka json to elk

Logstash配置     input { kafka { zk_connect => "127.0.0.1:2181" topic_id => "cluster" codec => plain reset_beginning => false consumer_thre »

Docker部署ELK后配置search guard认证模块

  Docker部署ELK参考   https://www.cnblogs.com/minseo/p/12956563.html   安装search guard参考   https://www.cnblogs.com/minseo/p/10576126.html   在线生成证书   https://search-guard.com/tls-certificate-generator/   在线 »

elk的安装部署

Elk日志安装文档     需要用到有三个软件包 和redis     分布式部署:已上图就是分布式部署的架构图 Logstash :    是部署在前台的应用上,收集数据的               和部署在redis和elasticsearch中间充当索引 Elasticsearch: 部署在logstash之后的,将logsstash收集的数据存储 Kibana     : 部署在最后,经 »

elk 学习-安装 elasticsearch 服务器

全文搜索属于最常见的需求,开源的 Elasticsearch 是目前全文搜索引擎的首选,它的底层是开源库 Lucene。但是我们没法直接使用 Lucene,必须自己写代码去调用它的接口。 Elasticsearch 是 Lucene 的封装,提供了 REST API 的操作接口,非常方便。 一、安装 Java 8   Elasticsearch 需要 Java 8 的环境。(目前的版本,好像不需要 »

实战ELK(1) 安装ElasticSearch

第一步:环境  linux 系统 Java 1.8.0  elasticsearch-6.5.1 第二步:下载   2.1 JDK:https://mirrors.aliyun.com/centos/7.5.1804/cr/x86_64/Packages/java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64.rpm  2.2 ElasticS »

ELK监控nginx日志总结

ELK介绍 ELK即ElasticSearch + Logstash + kibana ES:作为存储引擎 Logstash:用来采集日志 Kibana可以将ES中的数据进行可视化,可以进行数据分析中常见的对属性求和、平均值、计数,按照时间戳或其他日志展示出来 整体的流程就是先把logstash启动 ... »

andandan DA&DM

Elasticsearch(ELK)集群搭建

  Elasticsearch是一个开源的高扩展的分布式全文检索引擎,它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理PB级别的数据。Elasticsearch也使用Java开发并使用Lucene作为其核心来实现所有索引和搜索的功能,但是它的目的是通过简单的RESTful API来隐藏Lucene的复杂性,从而让全文搜索变得简单。 二、准备 2.1、机器环境准备  我们 »

elk-nginx输出json格式的日志

elk-nginx输出json格式的日志 把Nginx日志的格式输出成JSON格式展示在Kibana面板,生产环境中基本都是这么使用。 1, 配置nginx 主要修改nginx的访问日志格式,这里定义成json格式,以便后面logstash更好的处理,建议生产环境也这样使用。在主配置/etc/nginx/nginx.conf文件中添加如下内容(注释其他日志格式): 复制代码 log »

ES系列二、Mac 通过docker搭建ELK日志收集系统

一、ELK简介 Elasticsearch:用于存储收集到的日志信息; Logstash:用于监控,过滤,收集日志,SpringBoot应用整合了Logstash以后会把日志发送给Logstash, Logstash再把日志转发给Elasticsearch; Kibana:通过Web端的可视化界面来查看日志。 二、解决docker拉取镜像慢的问题   前提是我们的mac安装好了docke »

SpringBoot进阶教程(七十三)整合elasticsearch

Elasticsearch 是一个分布式、高扩展、高实时的搜索与数据分析引擎。它能很方便的使大量数据具有搜索、分析和探索的能力。充分利用Elasticsearch的水平伸缩性,能使数据在生产环境变得更有价值。Elasticsearch 的实现原理主要分为以下几个步骤,首先用户将数据提交到Elasti ... »

Docker部署ELK 7.0.1集群之Kibana安装介绍

1、下载镜像 [root@vanje-dev01 ~]# docker pull kibana:7.0.1 2、安装部署   2.1 创建宿主机映射目录 [root@vanje-dev01 ~]# mkdir /etc/kibana/ [root@vanje-dev01 ~]# vim /etc/kibana/kibana.yml server.name: kibana server.ho »