功能说明
配置质量监控任务是数据质量模块的起点,在此模块中您可以:
1. 新增质量监控任务。
2. 管理质量监控任务。
核心能力
新增质量监控任务
支持多种腾讯云大数据存储引擎( Hive、Spark、DLC、TCHouse-D、 TCHouse-P、TCHouse- X、Doris 、StarRocks)。
可按照表级、字段级配置数据质量检测规则。
基于实际业务场景配置执行策略。
设置规则强弱决定是否阻塞下游任务。
支持多种触达用户方式(企微群、微信、电话、短信、邮件、飞书群、钉钉群)。
支持试运行。
管理质量监控任务
支持按照数据表,查看表下监控任务列表,并支持开启和关闭。
支持查看质量规则列表,并支持编辑与管理。
前置条件
已在项目中绑定了腾讯云大数据引擎:Hive、Spark、DLC、TCHouse-D、 TCHouse-P、TCHouse- X、Doris 、StarRocks。
已在项目中绑定调度资源组。
管理监控列表
您通过质量模块和编排空间创建的质量任务都会展示在本列表。
步骤一:搜索表
通过展开页面左侧树结构定位需查看/创建监控的表。也支持您通过搜索框快速定位表。
定位到表后,可通过展开查看表下关联的所有监控任务
步骤二:搜索监控
通过页面右侧搜索框可按表名、监控名、监控ID搜索列表内的对象
步骤三:查看/管理列表
为您展示ID/监控名称、质量规则、表名、创建路径、关联范围、规则模板、质量监控数据范围、重要程度、启用状态、关联调度等质量规则详细信息,同时您可以在操作列对规则进行修改、删除或查看运维、查看质量报告等操作。
新增监控:为表设置监控规则
查看实例:可查看数据质量任务运行实例。可对表维度查看某张表下全部的任务实例,也可查看单个监控任务的实例。
质量报告:可查看表的质量报告,详情可参见质量报告 关联规则:可查看监控关联的规则明细
编辑:编辑监控任务
删除:删除监控任务。已关联规则的任务需解除关联才可删除。