tencent cloud

文档反馈

新建自治索引

最后更新时间:2022-06-29 12:15:52

    前提条件

    • 已创建腾讯云账号,创建账号可参考 注册腾讯云
    • 已创建Elasticsearch Service集群,且Elasticsearch版本为7.14.2,创建集群可参考 创建集群
      注意:

      当前仅支持新建 自治索引,自治索引由腾讯云自研,适用于时序数据(如日志分析、运维监控等)场景,能够实现索引生命周期管理和分片自动调优,并有效提高读写效率。自治索引适用于2022年6月1日之后创建的7.14.2版本集群,早于此时间创建的7.14.2版本集群重启后可支持。低于7.14.2版本的集群需升级至7.14.2版本。

    操作步骤

    步骤一:进入新建页面

    1. 登录 ES 控制台,单击数据管理进入索引列表。
    2. 单击新建索引进入新建页面。

    步骤二:填写基础信息

    • 索引名称:长度为1-255个字节,不支持中文,不能包含大写字母以及 \,/, *, ?, ", <, >, |, #, :, 空格, 逗号,不能以 -, _, +, .开头。
    • 所属集群:该索引所在的集群。

    步骤三:填写索引配置信息

    数据源配置

    1. 字段映射
      • 动态生成:默认开启,开启后将自动解析采集的数据源,生成索引的字段映射。
      • 输入样例自动配置:关闭动态生成后,您可以通过输入样例自动配置来生成索引的字段映射,在输入框内输入一段 JSON 格式的数据样例,确定后平台将自动为您进行校验,校验无误后,相关字段将映射到字段映射的表格中。推导规则及样例如下:

    推导规则:字段值为 true 或 false 映射类型为 boolean;字段值为整数映射类型为 long;字段值为浮点数映射类型为 double;字段值为字符串且长度小于等于36字符映射类型为 keyword;字段值为字符串且长度大于36字符映射类型为 text;字段值为日期格式字符串映射类型为 date;字段值支持嵌套映射类型为 object。
    我们在输入样例自动配置输入框中输入一段 JSON 格式的数据样例:

    {
       "bool_field": true,
       "date_field": "2022/01/26 00:00:00",
       "double_field": 3.14,
       "keyword_field": "这是一行不需要分词的文本",
       "long_field": 126,
       "object_field": {
           "sub_field": 2022
       },
       "text_field": "这是一行需要分词的文本,文本长度超过36个字符的会被推断为需要分词,定义为text类型"
    }
    

    其解析后的结果如图所示:

    字段映射将原始数据按字段(即 key:value)分别切分为多个分词进行索引构建,检索时基于该映射进行检索。具体如下:

    参数项 功能描述
    字段名称 写入的数据中的字段名称
    字段类型 字段的数据类型,包括'boolean、keyword、long、double、date、text'六种类型,更多字段类型可在 JSON 编辑模式中支持,可参考 官方说明
    包含中文 字段中包含中文且需要对中文进行检索时可开启该功能,会增加索引存储。包含中文启用后,将默认对该 text 字段使用 ik_max_word 分词器
    开启索引 启用后,会对该字段构建索引用于检索
    开启统计 启用后,可以对字段值做统计分析,会增加索引存储
    1. 时间字段
      时间字段指在实际数据中类型为 date 的字段,该字段用于记录数据的时间,索引创建成功后该字段不可更改。

      • 时间字段默认打开开启索引开启统计,且不可关闭。
      • 关闭动态生成时,时间字段将把表格中为date类型的字段映射过来,您可下拉选择其中一个作为时间字段。
    2. 写入模式
      写入模式指数据写入到索引的模式,索引创建成功后不可更改。当前支持两种写入模式:

      • 追加写(适用于日志场景): 表示数据会写入到最新的后备索引。
      • 时间分区写(适用于监控场景): 表示会根据时间字段写入对应时间范围的后备索引。

    生命周期配置

    1. 存储分层
      存储分层表示您可将索引根据其访问频率存储到不同属性的节点上。例如,您可将访问频率较低且更新频率较低的数据移入温层,以节约成本。
      索引迁移到不同层级的时间,将从索引滚动更新开始计算。

    2. 过期删除
      过期删除支持根据时间上限与空间上限删除历史数据。

      • 时间上限:当写入模式为追加写时,表示从后备索引的创建时间开始算起,当达到指定的值时,该后备索引将会被删除;当写入模式为按时间分区写时,表示从后备索引结束写入的时间开始算起,当达到指定值时,该后备索引将会被删除。
      • 空间上限:当自治索引的存储大小达到指定值时,将根据相关条件删除历史的后备索引。如写入模式为追加写,表示将从后备索引的创建时间开始算起,删除最旧的后备索引;当写入模式为按时间分区写时,表示将从后备索引结束写入的时间开始算起,删除最旧的后备索引。

    高级设置

    1. 创建参数

      • 分片数设置:分片是索引中存储数据的单元,若动态调整打开,这里的分片数仅作为初始的后备索引的分片值,后续算法会自动优化为最佳值。
      • 分片数动态调整:平台将根据业务负载动态调整分片,使得索引保持最佳状态。调整后的分片数,将在后续滚动出的后备索引中生效,已有的后备索引不会更新。
      • 副本数:每个主分片拥有的副本分片的数量。
      • 刷新频率:数据写入索引后能够被搜索到的时间间隔。
    2. 索引滚动

      • 滚动周期:从开始日期起,索引将以指定时间为周期,每一周期进行一次滚动。
      • 滚动周期动态调整:平台将根据业务负载动态调整滚动周期,使得索引保持最佳状态。

    JSON 编辑模式

    1. 功能说明
      当前支持通过切换到JSON 编辑模式创建索引,点击索引配置右上角切换至 JSON 模式即可进入 JSON 编辑页面。切换模式成功后,配置信息将自动同步到对应模式的界面中。

    2. 常用参数说明
      自治索引通过提供 options 以及 policy,帮助用户快速进行滚动更新以及生命周期管理相关的设置,同时,兼容 Elasticsearch 社区中 settings 与 mappings 的原生语法,降低使用门槛,常见参数如下:

      类别 参数项 参数描述 填写说明
      settings index.number_of_shards 主分片数 数值类型,该值需为大于等于1的整数
      index.number_of_replicas 副本数 数值类型,该值需为大于等于0的整数
      index.refresh_interval 刷新频率 字符串类型,单位当前支持设为d(天)、h(小时)、m(分钟)、s(秒)、ms(毫秒)、micros(微秒)、nanos(纳秒),例如“30s”表示将刷新频率设为30秒
      mappings field 字段名称 字符串类型,非中文且不可重复
      type 字段类型 字符串类型,可设为”boolean、keyword、long、double、date、text“,更多字段类型可参考 官方说明
      analyzer 分词器 字符串类型,支持ES集群中存在的分词器,例如”ik_max_word”
      index 开启索引 布尔类型,可设为“true”或者是“false”
      doc_values 开启统计 布尔类型,可设为“true”或者是“false”
      options pre_create.enable 索引预创建 布尔类型,默认开启,可设为“true”或者是“false”。请注意,写入模式为追加写的情况下,如关闭了索引预创建,后备索引将不会按照指定的滚动周期进行滚动
      rollover.dynamic 动态调整滚动周期 布尔类型,可设为“true”或者是“false”
      rollover.max_age 滚动周期 字符串类型,单位可设为“d”天或者“h”小时,例如“1d”表示将滚动周期设为1天
      shard_num.dynamic 动态调整分片 布尔类型,可设为“true”或者“false”
      write_mode 写入模式 字符串类型,“append_only”表示追加写,“time_partition“表示按时间分区写
      expire.max_age 过期删除时间上限 字符串类型,单位可设为”d“天或者”h“小时,例如”1d“表示将时间上限设为1天
      expire.max_size 过期删除空间上限 字符串类型,单位可设为“PB、TB、GB、MB、KB、B“,例如”1TB“表示将空间上限设为1TB
      policy warm.actions.migrate 温阶段索引迁移设置 请查看官方说明 Migrate设置
      warm.min_age 移入温层存储时间 字符串类型,单位可设为”d“天或者”h“小时,例如”1d“表示从索引滚动更新开始,1天后移入温层
      cold.actions.migrate 冷阶段索引迁移设置 请查看官方说明 Migrate设置
      cold.min_age 移入冷层存储时间 字符串类型,单位可设为”d“天或者”h“小时,例如”1d“表示从索引滚动更新开始,1天后移入冷层

    创建完成

    点击确认创建,索引创建成功后,将自动跳转到该索引所在的索引列表

    后续步骤

    索引检索与分析

    数据管理支持快速跳转到检索以及分析界面,实现索引检索与分析。详情请参考 索引检索与分析

    索引基础信息

    数据管理支持在控制台查看索引的相关信息,以及进行后备索引的管理。详情请参考 索引基础信息

    索引监控

    数据管理提供了索引粒度的丰富的监控指标,可以帮助在索引使用过程中查看索引的实时监控数据。详情请参考 索引监控

    索引配置管理

    数据管理支持在控制台灵活地进行索引配置信息的修改,以适应业务的变化。修改配置成功后,生命周期的相关配置将在所有后备索引中生效,其他配置仅在后续滚动出的后备索引中生效,已有的后备索引不会更新。详情请参考 索引配置管理

    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持