tencent cloud

数据开发治理平台 WeData

产品动态
动态发布记录(2026年)
产品简介
产品概述
产品优势
产品架构
产品功能
应用场景
购买指南
计费概述
产品版本购买说明
执行资源购买说明
购买方式
欠费说明
退费说明
准备工作
账号和权限管理概述
添加白名单/安全组(可选)
通过 Microsoft Entra ID(Azure AD)单点登录(SSO)WeData
操作指南
管理控制台
项目管理
数据集成
Studio
数据开发
数据分析
数据科学
数据治理(with Unity Semantics)
API 文档
History
Introduction
API Category
Making API Requests
Smart Ops Related Interfaces
Project Management APIs
Resource Group APIs
Data Development APIs
Data Asset - Data Dictionary APIs
Data Development APIs
Ops Center APIs
Data Operations Related Interfaces
Data Exploration APIs
Asset APIs
Metadata Related Interfaces
Task Operations APIs
Data Security APIs
Instance Operation and Maintenance Related Interfaces
Data Map and Data Dictionary APIs
Data Quality Related Interfaces
DataInLong APIs
Platform Management APIs
Data Source Management APIs
Data Quality APIs
Platform Management APIs
Asset Data APIs
Data Source Management APIs
Data Types
Error Codes
WeData API 2025-08-06
服务等级协议
相关协议
隐私协议
数据处理和安全协议
联系我们
词汇表

Redis 数据源

PDF
聚焦模式
字号
最后更新时间: 2024-11-01 17:13:44

使用限制

使用 Redis Writer 向 Redis 写入数据时,如果 Value 类型是 List,重跑同步任务的同步结果不是幂等的。因此,如果 Value 类型是 List ,重跑同步任务时,需要手动清空 Redis 上相应的数据。

Redis 离线单表写入节点配置




参数
说明
数据去向
选择当前项目中可用的 Redis 数据源。
支持选择、或者手动输入需写入的库名称
默认将Redis生成的0-15数据库作为默认库。
当数据源网络不联通导致无法直接拉取库信息时,可手动输入数据库名称。在数据集成网络连通的情况下,仍可进行数据同步。
数据类型
Redis 写入 Redis 的 value 类型包含以下5种:
字符串(string)
字符串列表(list)
字符串集合(set)
有序字符串集合(zset)
哈希(hash)
不同的 value 类型,数据类型配置会略有差异。
写入方式
根据写入类型自动填入对应的写入方式。
键分隔符
Redis 写入的键分隔符,需要您保证与创建的 Redis 表的字段分隔符一致,否则无法在 Redis 表中查到数据。可选:' \\t ' 、' \\u001 ' 、' | '、' 空格 ' 、 ' ;' ' , '。
值分隔符
Redis 写入的值分隔符,需要您保证与创建的 Redis 表的值分隔符一致,否则无法在 Redis 表中查到数据。可选:' \\t ' 、' \\u001 ' 、' | '、' 空格 ' 、 ' ;' ' , '。
缓存失效类型
支持三种失效类型:
永久有效:key 值不设定失效时间,永久有效。
固定失效时长:数据以分批实际写入时间为起点,经过固定设置时间长度后失效。
统一到期时间:所有写入数据均在指定时间一起失效。
批量提交条数
一次性批量提交的记录数大小,该值可以极大减少数据同步系统与 Redis 的网络交互次数,并提升整体吞吐量。如果该值设置过大,会导致数据同步运行进程 OOM 异常。
高级设置(选填)
可根据业务需求配置参数。

数据类型

value 类型
type 参数(必选)
mode 参数(必选)
valueFieldDelimiter 参数(非必选)
writeMode 配置样例
字符串(string)
type 需配置为 string。
mode 为写入模式参数,value 为字符串(string)时:mode 需配置为set。如果需存储的数据已经存在,则覆盖原有的数据。
valueFieldDelimiter
为 value 之间的分隔符,默认值为 \\u0001。该配置项主要用于源数据每行超过两列的情况,例如有三列时,各列通过分隔符分割样例为value1\\u0001value2\\u0001value3。如果源数据只有两列(即 key 和 value)时,则无需配置。
"writeMode":{ "type": "string", "mode": "set", "valueFieldDelimiter": "\\u0001" }
字符串列表(list)
type 需配置为 list。
mode 为写入模式参数,value 为字符串列表(list)时,可配置为:
lpush,表示在 list 最左边存储数据。
rpush,表示在 list 最右边存储数据。
"writeMode":{ "type": "list", "mode": "lpush|rpush", "valueFieldDelimiter": "\\u0001" }
字符串集合(set)
type 需配置为 set。
mode 为写入模式参数,value 为字符串集合(set)时:mode 需配置为 sadd,表示向 set 集合中存储数据。如果需存储的数据已经存在,则覆盖原有的数据。
"writeMode":{ "type": "set", "mode": "sadd", "valueFieldDelimiter": "\\u0001" }
有序字符串集合(zset)
type 需配置为 zset。
mode 为写入模式参数,value 为有序字符串集合(zset)时:mode 需配置为 zadd,表示向 zset 有序集合中存储数据。如果需存储的数据已经存在,则覆盖原有的数据。
无需配置此参数。
"writeMode":{ "type": "zset", "mode": "zadd" }
当 value 类型为 zset 时,数据源的每行记录均需遵循相应的规范。即每行记录除 key 外,只能有1对 score 和 value,并且 score 必须在 value 前面,Redis Writer 方可解析出 column 对应的是score 或 value。
哈希(hash)
type 需配置为 hash。
mode 为写入模式参数,value 为哈希(hash)时:mode 需配置为 hset,表示向 hash 有序集合中存储数据。如果需存储的数据已经存在,则覆盖原有的数据。
无需配置此参数。
"writeMode":{ "type": "hash", "mode": "hset" }
当 value 类型为 hash 时,数据源的每行记录都需遵循相应的规范。即每行记录除 key外,只能有1对 attribute 和 value,并且 attribute 必须在 value 前面,Redis Writer 方可解析出 column 对应的是 attribute 或 value。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈