tencent cloud

文档反馈

数据导出至 ES

最后更新时间:2022-08-15 16:44:37

    简介

    数据导出至 Elasticsearch Service(ES)是腾讯云对象存储(Cloud Object Storage,COS)基于 云函数(Serverless Cloud Function,SCF) 为用户提供的数据出湖方案,可以帮助用户将 CSV、JSON 等文件格式的数据导出至同地域的腾讯云 Elasticsearch 服务,用于快速构建日志分析、异常监控等各类业务。

    注意事项

    • 数据导出至 ES 功能涉及 COS 数据检索接口,相关的限制说明请参见 Select 概述
    • 若您此前在对象存储控制台上为存储桶添加了数据导出至 ES 规则,可以在 云函数控制台 上看到您所创建的数据导出至 ES 函数,请不要删除或修改该数据导出至 ES 函数,否则可能导致您的规则不生效。
    • 当前数据导出至 ES 功能仅支持广州、上海、北京、成都。
    • 对象存储数据导出至 ES 功能依赖于云函数服务,云函数服务为用户提供了 免费额度,超出免费额度的部分需要按照 云函数产品定价 收费。

    操作步骤

    1. 登录 对象存储控制台
    2. 在左侧导航中,单击应用集成 > 数据导出,找到数据导出至 ES
    3. 单击配置规则,进入规则配置页面。
    4. 单击添加函数
      注意:

      如果您尚未开通云函数服务,请前往 云函数控制台 开通云函数服务,按照提示完成服务授权即可。

    5. 在弹出的窗口中,配置如下信息:
    • 函数名前缀:作为函数的唯一标识名称,创建后不可修改。您可以在 云函数控制台 上查看该函数。
    • 场景选择:选择您希望导出的日志来源,推荐使用 COS 日志文件导出。
    • 源存储桶:日志所保存的存储桶名称,如果选择 COS 日志文件导出,需要先开启 COS 日志存储功能。
    • SCF 授权:数据导出至 ES 需要授权云函数从您的存储桶中读取日志文件。因此需要添加此授权。
    1. 单击填写预设参数,进行数据导出至 ES 配置,配置项说明如下:
    • 服务版本:ES 的版本,支持7.x和6.x。
    • 访问方式:您的 ES 的访问方式。如果选择 VPC 内网访问,需要填写对应的 VPC 。
    • 访问地址:您的 ES 的访问地址,必须以http://https://开头。
    • 索引名称:您创建的 ES 检索索引。
    • 鉴权配置:您的 ES 鉴权方式,如果是腾讯云 ES,目前仅支持需鉴权,您需要填写对应的用户名称和用户密码。
    • 速率上限:导出至 ES 的速率上限。
    1. 如果您希望做一些个性化的日志数据提取,请单击上一步进行配置,通常情况,建议直接单击确认,完成函数的添加。
      1
      您可以对新创建的函数进行如下操作:
    • 单击日志,查看数据导出至 ES 的历史运行情况。当数据导出至 ES 出现报错时,您还可以通过单击日志,快速跳转到云函数控制台查看日志错误详情。
    • 单击详情,查看当前函数的详细配置。
    • 单击编辑,修改数据导出至 ES 规则。
    • 单击触发,可以选择存储桶内已有的一份日志直接触发导出至 ES。
    • 单击删除,删除不使用的数据导出至 ES 规则。
    联系我们

    联系我们,为您的业务提供专属服务。

    技术支持

    如果你想寻求进一步的帮助,通过工单与我们进行联络。我们提供7x24的工单服务。

    7x24 电话支持