elasticsearch

JuiceFS 在 Elasticsearch/ClickHouse 温冷数据存储中的实践

企业数据越存越多,存储容量与查询性能、以及存储成本之间的矛盾对于技术团队来说是个普遍难题。这个难题在 Elasticsearch 与 ClickHouse 这两个场景中尤为突出,为了应对不同热度数据对查询性能的要求,这两个组件在架构设计上就有一些将数据进行分层的策略。 同时,在存储介质方面,随着云计 ... »

JuiceData

Elasticsearch6.2服务器升配后的bug(避坑指南)

目录 一、问题描述 二、升级过程升配前 三、处理步骤 1.限流处理 2.mlock 3、总结 本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。 一、问题描述 升级后出现的异常如下: 出现限流日志:stop throttling inde »

Elasticsearch6.2服务器升配后的bug

本篇文章记录最近一次生产服务器硬件升级之后引起集群不稳定的现象,希望可以帮到有其它人避免采坑。 一、问题描述 升级后出现的异常如下: 出现限流日志:stop throttling indexing: numMergesInFlight=8, maxNumMerges=9 应用写入集群的rt耗时变高, ... »

Elasticsearch高级检索之使用单个字母数字进行分词N-gram tokenizer(不区分大小写)【实战篇】

一、前言 小编最近在做到一个检索相关的需求,要求按照一个字段的每个字母或者数字进行检索,如果是不设置分词规则的话,英文是按照单词来进行分词的。 ==小编以7.6.0版本做的功能哈,大家可以根据自己的版本去官网看看,应该区别不大== 例子: C6153PE-冬日恋歌,要可以通过任何一个数字和字母进行检 ... »

wang1221

flink-cdc实时同步mysql数据到elasticsearch

本文首发于我的个人博客网站 等待下一个秋-Flink 什么是CDC? CDC是(Change Data Capture 变更数据获取)的简称。核心思想是,监测并捕获数据库的变动(包括数据 或 数据表的插入INSERT、更新UPDATE、删除DELETE等),将这些变更按发生的顺序完整记录下来,写入到 ... »

data-magnifier

ElasticSearch介绍和基本用法(一)

ElasticSearch 引言 1.在海量数据中执行搜索功能时,如果使用MySQL, 效率太低。 2.如果关键字输入的不准确,一样可以搜索到想要的数据。 3.将搜索关键字,以红色的字体展示。 介绍: es是一个使用java语言并且基于Lucene编写的搜索引擎框架,提供了分布式的全文搜索功能,提供 ... »

xiaotian0422

【Elasticsearch】ES选主流程分析

Raft协议 Raft是分布式系统中的一种共识算法,用于在集群中选举Leader管理集群。Raft协议中有以下角色: Leader(领导者):集群中的领导者,负责管理集群。 Candidate(候选者):具有竞选Leader资格的角色,如果集群需要选举Leader,节点需要先转为候选者角色才可以发起 ... »

shanml

ElasticSearch写入流程实例解析

目录 一、前言 二、lucence写 2.1 增删改 2.2. 并发模型 2.2.1. 基本操作 2.2.2 更新 2.2.3 删除 2.2.4 flush和commit 2.2.5 merge 小结 三、 ElasticSearch的写 3.1. 宏观看ElasticSearch请求 »

ELASTICSEARCH快速入门

1. ELASTICSEARCH 1、安装elastic search dokcer中安装elastic search (1)下载ealastic search和kibana docker pull elasticsearch:7.6.2docker pull kibana:7.6.2 (2)配置 ... »

txzmy

Elasticsearch中的Moyamoya:字符串数据类型是文本还是关键字?

介绍 如果您使用的是 Elasticsearch,在备忘录写作层面,我会按照我的想法写。 Elasticsearch 中文本和关键字类型的字段 在 Elasticsearch 中存储/搜索句子等字符串时,字段数据类型可以是文本或关键字。区别和使用方法给我一种模糊的感觉。 . . 我比较了文本类型 »

ElasticSearch学习

ElasticSearch(中文官网) 之前在蟹老板手下干命的日子里,我给公司搭建了一套LEK,收集我们测试环境、生成环境,每个服务运行状态,以及bug及时定位,现在在新东家ElasticSearch除了做日志收集,还会保存业务数据文档,提升查询效率。 在上次写的“使用ElasticSearch、K ... »

Elasticsearch深度应用(上)

索引文档写入和近实时搜索原理 基本概念 Segments in Lucene 众所周知,Elasticsearch存储的基本单元是shard,ES种一个index可能分为多个shard,事实上每个shard都是一个Lucence的Index,并且每个Lucence Index由多个Segment组成 ... »

ElasticSearch学习文档2018.11

1.1    ES6.0版本安装head插件 1.1 下载head插件 下载地址:https://github.com/mobz/elasticsearch-head;点击clone or download按钮   1.2  安装node.js 下载地址:https://nodejs.org/en/download/   1.3  安装grunt 运行head需要借助grunt命令 ,但是安装gr »

ElasticSearch中使用IK分词器

IK分词器是es的一个插件。我们知道只有通过适当的分词,才能查询到有意义的内容。例如:搜索“你好寒冰之光”,我们希望包含“你好”、“寒冰之光”的内容被搜索出来,而不是把所有包含“你”、“好”、“寒”、“冰”、“之”、“光”的内容都搜素出来,因为只有搜索所有意义的词,才是正确的。分词器就是来做分词的,而IK是咱们中国人开发的分词器,也是目前最流行的分词器。   1、到github上下载最新的IK分词 »

Windows下ElasticSearch及相关插件的安装

(1)在官网下载ElasticSearch压缩包。这里我下载的是elasticsearch-1.7.1(下载地址:https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.zip)。 (2)选择电脑上的某个位置进行解压,这里我是放在了D:\elasticsearch-1.7.1。 (3)进入bin文件夹。 »

elasticsearch启动脚本

#!/bin/sh#chkconfig: 2345 80 05#description: elasticsearch export JAVA_HOME=/usr/local/javaexport JRE_HOME=/usr/local/java/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAV »

Elasticsearch Java Client 版本区别及起步(5.X 和6.X)

目前ElasticSearch版本最常用的应该时5.X 和6.X,这两个版本中都存在两种客户端: 简单总结: 1,如果服务端是5.6以下的,选择相同版本的TransportClient,避免一些API服务端不支持 2,如果服务端是5.6以上的,选择相同版本的RestClient TransportClient起步: 5.6及之前的版本: // on startup Client client »

Centos7安装Elasticsearch7.6.0

Elasticsearch简介 Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene™ 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单,它不仅包括了全文搜索功能,还可以进行以下工作: 分布式实时文件存储,并将每一个字段都编入索引,使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服 »