1.ELK介绍
1> Elasticsearch是实时全文搜索和分析引擎，
提供搜集、分析、存储数据三大功能；
是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。
2> Logstash是一个用来搜集、分析、过滤日志的工具。
它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。
它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。
3> Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch
指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据
下载Elasticsearch 、Kibana、Logstash
2.ELK安装
https://www.elastic.co/cn/downloads/
2.1启动Elasticsearch
进入bin目录cd elasticsearch / bin 执行.\elasticsearch
可以修改集群或节点名称。在启动 Elasticsearch 时从命令行完成，
./elasticsearch -Ecluster.name = my_cluster_name -Enode.name = my_node_name
测试：http://localhost:9200/
备注：关闭Elasticsearch 快捷键ctrl+c，然后输入y
2.2 启动kibana
修改配置 config/kibana.yml
进入bin目录 cd kibana\bin 执行kibana
http://localhost:5601
备注：关闭kibana快捷键ctrl+c，然后输入y
3.springboot + Elasticsearch
注意：springboot集成elasticsearch时，版本上必须一致才行
例如 我的springboot使用的时1.5.9版本，因此下载elasticsearch2.0 logstash-2.0.0 kibana4.2.0进行使用才行。
SpringBoot和Elasticsearch 之间对应版本的关系。
| Spring Boot Version (x) | Spring Data Elasticsearch Version (y) | Elasticsearch Version (z) |
|---|---|---|
| x <= 1.3.5 | y <= 1.3.4 | z <= 1.7.2* |
| x >= 1.4.x | 2.0.0 <=y < 5.0.0** |
2.0.0 <= z < 5.0.0** |
引入依赖：
<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId> </dependency>
添加配置：
##es地址
spring.data.elasticsearch.cluster-nodes = 127.0.0.1:9300
实体类：
@Document(indexName = "test",type = "goods") //indexName索引名称 可以理解为数据库名 必须为小写 不然会报org.elasticsearch.indices.InvalidIndexNameException异常 //type类型 可以理解为表名 public class GoodsInfo implements Serializable { private static final long serialVersionUID = -7682211945335253642L; private Long id; private String name; private String description; public Long getId() { return id; } public void setId(Long id) { this.id = id; } public String getName() { return name; } public void setName(String name) { this.name = name; } public String getDescription() { return description; } public void setDescription(String description) { this.description = description; } public GoodsInfo(Long id, String name, String description) { this.id = id; this.name = name; this.description = description; } public GoodsInfo() { } }
DAO：
创建GoodsRepository，继承ElasticsearchRepository，代码如下：
import com.lolaage.system.model.GoodsInfo; import org.springframework.data.elasticsearch.repository.ElasticsearchRepository; import org.springframework.stereotype.Component; @Component public interface GoodsDao extends ElasticsearchRepository<GoodsInfo,Long> { }
最后新建一个controller进行测试，包含简单的增删改查
@RequestMapping("/goods")
@RestController
public class GoodsController {
@Autowired
private GoodsDao goodsDao;
//http://localhost:8888/save
@GetMapping("/save")
public String save(){
GoodsInfo goodsInfo = new GoodsInfo(123l,
"商品"+123,"这是一个测试商品");
goodsDao.save(goodsInfo);
return "success";
}
//http://localhost:8888/delete?id=1525415333329
@GetMapping("/delete")
public String delete(long id){
goodsDao.delete(id);
return "success";
}
//http://localhost:8888/update?id=1525417362754&name=修改&description=修改
@GetMapping("/update")
public String update(long id,String name,String description){
GoodsInfo goodsInfo = new GoodsInfo(id,
name,description);
goodsDao.save(goodsInfo);
return "success";
}
//http://localhost:8888/getOne?id=1525417362754
@GetMapping("/getOne")
public GoodsInfo getOne(long id){
GoodsInfo goodsInfo = goodsDao.findOne(id);
return goodsInfo;
}
//每页数量
private Integer PAGESIZE=10;
//http://localhost:8888/getGoodsList?query=商品
//http://localhost:8888/getGoodsList?query=商品&pageNumber=1
//根据关键字"商品"去查询列表，name或者description包含的都查询
@GetMapping("/getGoodsList")
public List<GoodsInfo> getList(Integer pageNumber, String query){
if(pageNumber==null) pageNumber = 0;
//es搜索默认第一页页码是0
SearchQuery searchQuery=getEntitySearchQuery(pageNumber,PAGESIZE,query);
Page<GoodsInfo> goodsPage = goodsDao.search(searchQuery);
return goodsPage.getContent();
}
private SearchQuery getEntitySearchQuery(int pageNumber, int pageSize, String searchContent) {
FunctionScoreQueryBuilder functionScoreQueryBuilder = QueryBuilders.functionScoreQuery()
.add(QueryBuilders.matchPhraseQuery("name", searchContent),
ScoreFunctionBuilders.weightFactorFunction(100))
.add(QueryBuilders.matchPhraseQuery("description", searchContent),
ScoreFunctionBuilders.weightFactorFunction(100))
//设置权重分 求和模式
.scoreMode("sum")
//设置权重分最低分
.setMinScore(10);
// 设置分页
Pageable pageable = new PageRequest(pageNumber, pageSize);
return new NativeSearchQueryBuilder()
.withPageable(pageable)
.withQuery(functionScoreQueryBuilder).build();
}
}
测试
添加数据：http://localhost:8093/goods/save
查询数据：http://localhost:8093/goods/getOne?id=123
在kibana上进行查看elasticsearch中的数据
根据测试代码中IndexName ： test创建一个模式匹配
点击Settings-->Indices->去掉Index contains time-based events 的勾，
点击Discover