Tencent Cloud

Recent Pages

日志清洗

最后更新时间：2024-01-06 10:37:55

简介
日志清洗是腾讯云对象存储（Cloud Object Storage，COS）基于 云函数（Serverless Cloud Function，SCF） 为用户提供的日志文件处理解决方案。当用户开启 日志管理服务 或自行上传日志文件时，将自动触发对象存储为您预配置的云函数，通过函数中您预先指定的 SQL 检索语句，自动将文件中的日志信息进行过滤清洗，并将结果投递到指定的存储桶及其路径中。
注意事项
日志清洗功能使用的是 COS 数据检索接口，相关的限制说明请参见 Select 概述。
若您此前在对象存储控制台上为存储桶添加了日志清洗规则，可以在 云函数控制台 上看到您所创建的日志清洗函数，请不要删除或修改该日志清洗函数，否则可能导致您的规则不生效。
当前日志清洗功能仅支持广州、上海、北京、成都。
对象存储日志清洗功能依赖于云函数服务，云函数服务为用户提供了 免费额度，超出免费额度的部分需要按照 云函数产品定价 收费。
操作步骤
1. 登录 对象存储控制台。
2. 在左侧导航中，单击应用集成 > 拓展功能，找到日志清洗。
3. 单击配置日志清洗规则，进入规则配置页面。
4. 单击添加函数。
注意
 如果您尚未开通云函数服务，请前往 云函数控制台 开通云函数服务，按照提示完成服务授权即可。
5. 在弹出的窗口中，配置如下信息：
函数名称：作为函数的唯一标识名称，创建后不可修改。您可以在 云函数控制台 上查看该函数。
关联存储桶：存放日志的 COS 存储桶。
事件类型：事件指触发云函数的操作。以上传操作为例，上传的方式可能是调用PUT Object接口，也可能是调用POST Object接口，当选择事件为 Put方法创建时，只有通过PUT Object接口上传的日志文件会触发日志清洗。
注意
 如果您的文件是通过简单上传、分块上传、跨地域复制等多种渠道上传到存储桶中，建议您选择全部创建事件。
- **触发条件**：指日志文件上传到哪个路径时会触发云函数。如果选择指定范围，则仅当日志文件上传到指定范围路径下时才会触发云函数；如果选择整个存储桶，则日志文件上传到存储桶任意位置均会触发。
- **SCF 授权**：日志清洗需要授权云函数从您的存储桶中读取日志文件，并将清洗后的日志文件上传到您指定的位置。因此需要添加此授权。
6. 单击下一步，进行日志清洗配置，配置项说明如下：
源文件配置：根据实际情况选择您需要检索的文件类型、行/列分隔符、列表头部、压缩格式。
 SQL 表达式：填写您想进行的检索语句，您也可以选择我们提供的 SQL 模板，SQL 相关命令说明请参见 SQL 函数。
导出配置：您可根据实际情况选择导出格式、行/列分隔符和转义设置。
7. 单击下一步，进行投递配置，配置项说明如下：
投递存储桶：日志文件清洗完毕后，生成的文件需要存储的存储桶。
投递的路径：日志文件清洗完毕后，生成的文件需要存储的具体路径，为了避免循环触发，建议指定的投递路径前缀不要与触发条件相同。
注意
 如果配置的投递前缀与触发条件前缀存在包含关系，可能导致循环触发，请尽量避免这种情况。例如投递前缀为 prefix/target/，触发条件前缀为 prefix/，当上传一个 prefix/test.csv 的日志文件时将自动生成并投递日志清洗产物 prefix/target/test.cos_select_result.csv 到存储桶中，这将触发循环清洗。
8. 添加配置后，单击确认，即可看到函数已添加完成。
您可以对新创建的函数进行如下操作：
单击日志，查看日志清洗的历史运行情况。当日志清洗出现报错时，您还可以通过单击日志，快速跳转到云函数控制台查看日志错误详情。
单击更多 > 编辑，修改日志清洗规则。
单击更多 > 删除，删除不使用的日志清洗规则。

联系我们

联系我们，为您的业务提供专属服务。

技术支持

如果你想寻求进一步的帮助，通过工单与我们进行联络。我们提供7x24的工单服务。

7x24 电话支持

tencent cloud

Recent Pages

日志清洗

简介

注意事项

操作步骤

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？

tencent cloud

注册

登录

Recent Pages

日志清洗

简介

注意事项

操作步骤

本页内容是否解决了您的问题？

本页内容是否解决了您的问题？