FST Off Heap 内存优化

PDF

聚焦模式

字号

最后更新时间： 2021-05-18 16:02:49

背景
ES 单节点上，倒排索引中的 FST 结构默认常驻堆内内存，占比较高，尤其是在大磁盘的冷节点上，占比可达50%+，制约了单节点管理磁盘的能力，堆内内存受限，影响节点可用性。而在冷节点上，查询请求非常少，FST 常驻内存意义不大，因此我们需要将该部分数据结构移动到堆外管理，默认不加载，需要时从磁盘加载到堆外直接使用，以降低堆内内存使用量，提升单节点磁盘管理能力。
优化方案
基于 WLFU 淘汰策略，实现精准控制的堆外 cache，堆内基于零拷贝、弱引用实现第二级 cache，性能和堆内访问基本持平。
使用方式
开启、关闭 Off Heap 功能（默认关闭）
curl -H "Content-Type:application/json" -XPUT http://localhost:9200/_cluster/settings -d '{
   "persistent" : {
     "indices.segment_memory.off_heap.enable" : true
    }
}'
调整 Off Heap Cache 大小（默认500MB）
curl -H "Content-Type:application/json" -XPUT http://localhost:9210/_cluster/settings -d '{
  "persistent" : {
     "indices.segment_memory.off_heap.size" : "5gb"
   }
}'
 可以设置为单节点堆外内存的1/3，最大不要超过32GB。具体示例如下：
单节点总内存（包括 jvm 和堆外内存）共64GB，可以设置为（64 - 32）/3 = 10GB。
单节点总内存（包括 jvm 和堆外内存）共96GB，可以设置为（96 - 32）/3 = 20GB。
优化效果
内存开销、数据管理能力、GC 优势明显，性能持平略有优势。
方案对比
FST 存放位置
FST 内存占用量
单个 FST 堆内存占用量
单节点最大磁盘数据量
原生方案
堆内内存
全量存储在内存中，内存占用量大
MB 级别（源生 FST 数据结构）
10TB（需调优）
优化方案
堆外内存
Cache LRU 淘汰冷数据  内存占用量小
100Byte左右（Cache Key 大小）
50TB
写入性能对比
内存使用量（MB）
GC 时长（s）
TPS
90%时延（ms）
99%时延（ms）
原生方案
402.59
20.453
198051
463.201
617.701
优化方案
102.217
18.969
201188
455.124
618.379
Diff
优74.6%
优7.26%
优1.58%
优1.74%
劣0.11%
查询性能对比
内存使用量（MB）
GC 时长（s）
QPS
90%时延（ms）
99%时延（ms）
原生方案
401.806
20.107
200.057
3.96062
11.1894
优化方案
101.004
19.228
200.087
3.87805
11.2316
Diff
优74.9%
优4.37%
-
优2.00%
劣0.38%
支持版本 
6.8.2、7.5.1、7.10.1

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

tencent cloud

Elasticsearch Service

FST Off Heap 内存优化

背景

优化方案

使用方式

开启、关闭 Off Heap 功能（默认关闭）

调整 Off Heap Cache 大小（默认500MB）

优化效果

支持版本

帮助和支持

方案对比	FST 存放位置	FST 内存占用量	单个 FST 堆内存占用量	单节点最大磁盘数据量
原生方案	堆内内存	全量存储在内存中，内存占用量大	MB 级别（源生 FST 数据结构）	10TB（需调优）
优化方案	堆外内存	Cache LRU 淘汰冷数据内存占用量小	100Byte左右（Cache Key 大小）	50TB

写入性能对比	内存使用量（MB）	GC 时长（s）	TPS	90%时延（ms）	99%时延（ms）
原生方案	402.59	20.453	198051	463.201	617.701
优化方案	102.217	18.969	201188	455.124	618.379
Diff	优74.6%	优7.26%	优1.58%	优1.74%	劣0.11%

查询性能对比	内存使用量（MB）	GC 时长（s）	QPS	90%时延（ms）	99%时延（ms）
原生方案	401.806	20.107	200.057	3.96062	11.1894
优化方案	101.004	19.228	200.087	3.87805	11.2316
Diff	优74.9%	优4.37%	-	优2.00%	劣0.38%