简单介绍

EFK 组合插件是k8s项目的一个日志解决方案,它包括三个组件:Elasticsearch, Fluentd, Kibana。相对于ELK这样的架构,k8s官方推行了EFK,可能Fluentd相对于Logstash更加轻量级吧。

Elasticsearch 是日志存储和日志搜索引擎,Fluentd 负责把k8s集群的日志发送给 Elasticsearch, Kibana 则是可视化界面查看和检索存储在 Elasticsearch 的数据。

GitHub官网:https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

 

特别补充

Kubernetes官方推荐的EFK组合,其实对于我们大多数公司来说并不合适,其中一点原因就是这个组合需要应用日志打印到标准输出。

推荐做法:还是使用传统的ELK组合,ELK可以部署在K8S集群之外,日志写入指定存储目录文件中,并采用filebeat方式采集。

 

测试环境

System Hostname IP
CentOS 7.6 k8s-master 138.138.82.14
CentOS 7.6 k8s-node1 138.138.82.15
CentOS 7.6 k8s-node2 138.138.82.16

 

 

 

 

 

:以下是简单的安装部署操作,实际用于生产环境的话还要根据不同的后端存储进而修改yaml中的相应存储路径。

 

 

操作步骤

1. 获取yaml文件

从github官网下载:https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

或者下载整个tar包:https://storage.googleapis.com/kubernetes-release/release/v1.14.1/kubernetes-server-linux-amd64.tar.gz

解压后yanl文件位置: kubernetes/cluster/addons/fluentd-elasticsearch/ 

复制yaml文件到另一处进行修改操作:

[root@k8s-master ~]# mkdir efk
[root@k8s-master ~]# cp kubernetes/cluster/addons/fluentd-elasticsearch/*.yaml  efk/
[root@k8s-master ~]# cd efk/
[root@k8s-master efk]# ll
总用量 36
-rw-r--r-- 1 root root   382 5月   5 13:55 es-service.yaml
-rw-r--r-- 1 root root  2906 5月   5 14:44 es-statefulset.yaml
-rw-r--r-- 1 root root 16124 5月   5 13:55 fluentd-es-configmap.yaml
-rw-r--r-- 1 root root  2702 5月   5 13:55 fluentd-es-ds.yaml
-rw-r--r-- 1 root root  1052 5月   5 13:55 kibana-deployment.yaml
-rw-r--r-- 1 root root   354 5月   5 13:55 kibana-service.yaml

 

2. 准备镜像(在所有主机上)

:因为被墙的缘故,加上镜像文件比较大,启动会费时,可以提前单独下载好所需镜像。

①修改 es-statefulset.yaml https://www.docker.elastic.co/#

kubernetes 1.14安装部署EFK日志收集系统

②修改 fluentd-es-ds.yaml 

kubernetes 1.14安装部署EFK日志收集系统

无需修改 kibana-deployment.yaml 

kubernetes 1.14安装部署EFK日志收集系统

说明:关于kibana镜像以-oss结尾的版本好奇(default release that contains the commercially licensed code. The release that contains only open source will have the -oss appended to it.):

https://www.elastic.co/guide/en/kibana/6.0/docker.html

https://discuss.elastic.co/t/what-are-the-differences-between-the-kibana-oss-and-non-oss-build/152364/3

附上镜像拉取文本:

~]# docker pull docker.elastic.co/elasticsearch/elasticsearch:6.6.2
~]# docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/fluentd-elasticsearch:v2.4.0
~]# docker pull docker.elastic.co/kibana/kibana-oss:6.6.1
View Code

相关文章:

  • 2022-01-27
  • 2022-01-08
  • 2021-07-08
  • 2021-06-12
  • 2022-12-23
  • 2021-11-12
  • 2020-07-07
猜你喜欢
  • 2021-09-21
  • 2021-10-17
  • 2022-12-23
  • 2022-02-11
  • 2022-12-23
  • 2021-12-29
相关资源
相似解决方案