Helm安装带验证的ElasticSearch 6.x 7.x 集群
在之前，我们增加ES权限验证，常用的方法就是添加HTTP密码，但是，对于使用来说不是很友好，X-pack好用，但是是收费的。不过，在ES6以后，X-pack陆续放开了一些功能，比如Monitor集群监控功能，ES6.8及以后版本ES又将部分安全性功能免费开放了，包含安全认证功能，之后版本又开放一些基础认证功能，本文就介...
Elasticsearch集群内的原理
一个运行中的Elasticsearch实例称为一个节点，而集群是由一个或者多个拥有相同cluster.name配置的节点组成，它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 当一个节点被选举成为主节点时，...
Elasticsearch入门介绍
1它提供了强大的搜索功能，可以实现类似百度、谷歌等搜索。2可以搜索日志或者交易数据，用来分析商业趋势、搜集日志、分析系统瓶颈或者运行发展等等3可以提供预警功能（持续的查询分析某个数据，如果超过一定的值，就进行警告）4分析商业信息，在百万级的大数据中轻松的定位关键信息要了解ES首先就要弄清楚下面的几个概念，这样也不会对E...
ElasticSearch优化系列七：优化建议
尽量运行在Sun/OracleJDK1.7以上环境中，低版本的jdk容易出现莫名的bug，ES性能体现在在分布式计算中，一个节点是不足以测试出其性能，一个生产系统至少在三个节点以上。ES集群节点规划良好，master、node、client分离开来，data节点关闭http功能。合理利用内存。a)JVM内存设置不要超过...
ElasticSearch优化系列六：索引过程
大家可能会遇到索引数据比较慢的过程。其实明白索引的原理就可以有针对性的进行优化。ES索引的过程到相对Lucene的索引过程多了分布式数据的扩展，而这ES主要是用tranlog进行各节点之间的数据平衡。所以从上我可以通过索引的settings进行第一优化："index.translog.flush_threshold_o...
ElasticSearch优化系列四：ES的heap是如何被瓜分掉的
以下分别解读几个我知道的内存消耗大户：SegmentMemorySegment不是file吗？segmentmemory又是什么？前面提到过，一个segment是一个完备的lucene倒排索引，而倒排索引是通过词典(TermDictionary)到文档列表(PostingsList)的映射关系，快速做查询的。由于词典的...
ElasticSearch优化系列五：机器设置（硬盘、CPU）
硬盘对集群非常重要，特别是建索引多的情况。磁盘是一个服务器最慢的系统，对于写比较重的集群，磁盘很容易成为集群的瓶颈。如果可以承担的器SSD盘，最好使用SSD盘。如果使用SSD，最好调整I/O调度算法。RAID0是加快速度的不错方法。ES建议机器配置：64G内存SSD硬盘RAID0，不要使用NAS。在2.0.0之前，el...
ElasticSearch优化系列三：机器设置（内存）
命令行修改./bin/elasticsearch-Xmx10g-Xms10gxmx-JVM最大允许分配的堆内存，按需分配xms-JVM初始分配的堆内存此值设置与-Xmx相同，以避免每次垃圾回收完成后JVM重新分配内存。对Unix系统，可修改./bin/elasticsearch.in.sh文件：一般分配主机1/4-1/...
ElasticSearch优化系列二：机器设置（内存）
一个常见的问题是配置堆太大。你有一个64GB的机器，觉得JVM内存越大越好，想给Elasticsearch所有64GB的内存。当然，内存对于Elasticsearch来说绝对是重要的，用于更多的内存数据提供更快的操作。而且还有一个内存消耗大户-LuceneLucene的设计目的是把底层OS里的数据缓存到内存中。Luce...
ElasticSearch优化系列一：集群节点规划
elasticSearch的配置文件中有2个参数：node.master和node.data。这两个参数搭配使用时，能够帮助提供服务器性能。数据节点node.master:falsenode.data:true该node服务器只作为一个数据节点，只用于存储索引数据。使该node服务器功能单一，只用于数据存储和数据查询，...
elasticsearch 性能优化
所有的修改都可以在elasticsearch.yml里面修改，也可以通过api来修改。推荐用api比较灵活1.不同分片之间的数据同步是一个很大的花费，默认是1s同步，如果我们不要求实时性，我们可以执行如下:$curl-XPUT'http://localhost:9200/twitter/'-d'{"settings":...
Elasticsearch初探（一）
一、安装（Linux篇）现在的开源软件越来越成熟，都打好包了，下载后直接解压就可以测试了。1curl-L-Ohttps://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.3.1.tar.gz2tar-zxvfelasticsearch-6.3....
docker环境运行elasticsearch以及汉化运行kibana
#!/bin/bashdockerrun--namejm-es--restart=always-e"discovery.type=single-node"-e"cluster.name=jm-es"-p9200:9200-p9300:9300-delasticsearch:7.6.1#!/bin/bashdockerr...
安装Elasticsearch与Kibana汉化记录
1.安装之前首先要安装jdk环境，确保系统内有最新版本的jdk，具体安装与环境配置的方法我就不说了，在linux或者是mac下如果通过包管理安装的话基本上不需要什么配置。2.访问es官网，https://www.elastic.co/cn/downloads，根据页面内的提示和选项下载包，运行即可。这里我下载的地址为e...
CallContext，ThreadStatic，AsyncLocal<T>，ThreadLocal<T>，学习笔记
1.CallContext 在当前调用上下文的线程数据槽里存储对象 2.ThreadStatic 是一个特性 3.AsyncLocal<T> 是一个类型，该字段应当为static，保证单例，在单例的模式下，在不同的线程上下文环境之中才可以保证线程内唯一，否则如果不是static的话...