产品动态

动态发布记录（2026年）

产品简介

产品概述

产品优势

产品架构

产品功能

应用场景

购买指南

计费概述

产品版本购买说明

执行资源购买说明

购买方式

欠费说明

退费说明

准备工作

账号和权限管理概述

添加白名单/安全组（可选）

通过 Microsoft Entra ID（Azure AD）单点登录（SSO）WeData

操作指南

管理控制台

项目管理

数据集成

Studio

数据开发

数据分析

数据科学

数据治理（with Unity Semantics）

API 文档

History

Introduction

API Category

Making API Requests

Smart Ops Related Interfaces

Project Management APIs

Resource Group APIs

Data Development APIs

Data Asset - Data Dictionary APIs

Data Development APIs

Ops Center APIs

Data Operations Related Interfaces

Data Exploration APIs

Asset APIs

Metadata Related Interfaces

Task Operations APIs

Data Security APIs

Instance Operation and Maintenance Related Interfaces

Data Map and Data Dictionary APIs

Data Quality Related Interfaces

DataInLong APIs

Platform Management APIs

Data Source Management APIs

Data Quality APIs

Platform Management APIs

Asset Data APIs

Data Source Management APIs

Data Types

Error Codes

WeData API 2025-08-06

服务等级协议

FileSystem 数据源

PDF

聚焦模式

字号

最后更新时间： 2025-07-25 17:21:59

使用限制
支持 SMB 共享文件系统：一种基于 SMB（Server Message Block，服务器消息块协议） 的网络文件共享机制。
FileSystem 离线单表读取节点配置
﻿
参数
说明
数据来源
选择当前项目中可用的 FileSystem 数据源。
同步方式
FileSystem 支持两种同步方式：
数据同步：解析结构化数据内容，按字段关系进行数据内容映射与同步。
文件传输：不做内容解析传输整个文件，可应用于非结构化数据同步。
注意：
文件传输仅支持来源端、目标端均为文件类型（COS/HDFS/SFTP/FTP/Azure Blob/FileSystem/S3/Http）的数据源，且来源端、目标端同步方式均需要为文件传。
文件路径
FileSystem 文件系统的路径，支持使用 * 通配符（通配符只支持出现在路径的最后一级，例如：/a/b/c/file*）。
文件类型
FileSystem 支持三种文件类型：TXT、CSV、JSON。
TXT：表示 TextFile 文件格式。
CSV：表示普通 HDFS 文件格式（逻辑二维表）。
JSON：表示 JSON 文件格式。
字段分隔符
在 TXT/CSV 文件类型下，以数据同步的方式读取时设置的字段分隔符，默认填写（,）。
注意：
不支持 ${} 作为分隔符，${a} 将被识别为配置的参数 a。
行分割符（选填）
在 TXT/CSV 文件类型下，以数据同步的方式读取时设置的行分割符。最多支持输入3个值， 输入的多个值均作为行分割符。若不填写，linux 默认是 \\n , windows 默认是 \\r\\n。
注意：
1. 设置多个行分割符会影响读取性能；
2. 不支持 ${} 作为分割符，${a} 将被识别为配置的参数 a。
编码
读取文件的编码配置。支持 utf8 和 gbk 两种编码。
空值转换
读取时，将指定字符串转为 NULL，NULL 表示一个未知或者不适用的值，不同于0、空字符串或其他数值。
注意：
不支持 ${} 作为指定字符串，${a} 将被识别为配置的参数 a。
压缩格式
目前支持：none、deflate、gzip、bzip2、lz4、snappy。
由于 snappy 目前没有统一的 stream format，数据集成目前仅支持最主流的： 
hadoop-snappy（hadoop 上的 snappy stream format）
framing-snappy（google 建议的 snappy stream format）
Quote character
无配置：来源端按照数据原内容进行读取
双引号（"）：来源端将双引号（"）内的值作为数据内容进行读取。
注意：若数据格式不规范，读取时可能导致 OOM。
单引号（'）：来源端将单引号（'）内的值作为数据内容进行读取。
注意：若数据格式不规范，读取时可能导致 OOM。
跳过表头
否：读取时，不跳过表头。
是：读取时，跳过表头。
数据类型转换支持
读取 
FileSystem 读取支持的数据类型及转换对应关系如下：
FileSystem 数据类型
内部类型
INTEGER、LONG
LONG
FLOAT、DOUBLE
DOUBLE
STRING 
STRING
BOOL 
BOOLEAN
DATE，TIMESTAMP
DATE

帮助和支持

本页内容是否解决了您的问题？

您也可以联系销售或提交工单以寻求帮助。

填写满意度调查问卷，共创更好文档体验。

文档反馈

tencent cloud

数据开发治理平台 WeData

FileSystem 数据源

使用限制

FileSystem 离线单表读取节点配置

数据类型转换支持

读取

帮助和支持

参数	说明
数据来源	选择当前项目中可用的 FileSystem 数据源。
同步方式	FileSystem 支持两种同步方式：数据同步：解析结构化数据内容，按字段关系进行数据内容映射与同步。文件传输：不做内容解析传输整个文件，可应用于非结构化数据同步。注意：文件传输仅支持来源端、目标端均为文件类型（COS/HDFS/SFTP/FTP/Azure Blob/FileSystem/S3/Http）的数据源，且来源端、目标端同步方式均需要为文件传。
文件路径	FileSystem 文件系统的路径，支持使用 * 通配符（通配符只支持出现在路径的最后一级，例如：/a/b/c/file*）。
文件类型	FileSystem 支持三种文件类型：TXT、CSV、JSON。 TXT：表示 TextFile 文件格式。 CSV：表示普通 HDFS 文件格式（逻辑二维表）。 JSON：表示 JSON 文件格式。
字段分隔符	在 TXT/CSV 文件类型下，以数据同步的方式读取时设置的字段分隔符，默认填写（,）。注意：不支持 ${} 作为分隔符，${a} 将被识别为配置的参数 a。
行分割符（选填）	在 TXT/CSV 文件类型下，以数据同步的方式读取时设置的行分割符。最多支持输入3个值，输入的多个值均作为行分割符。若不填写，linux 默认是 \\n , windows 默认是 \\r\\n。注意： 1. 设置多个行分割符会影响读取性能； 2. 不支持 ${} 作为分割符，${a} 将被识别为配置的参数 a。
编码	读取文件的编码配置。支持 utf8 和 gbk 两种编码。
空值转换	读取时，将指定字符串转为 NULL，NULL 表示一个未知或者不适用的值，不同于0、空字符串或其他数值。注意：不支持 ${} 作为指定字符串，${a} 将被识别为配置的参数 a。
压缩格式	目前支持：none、deflate、gzip、bzip2、lz4、snappy。由于 snappy 目前没有统一的 stream format，数据集成目前仅支持最主流的： hadoop-snappy（hadoop 上的 snappy stream format） framing-snappy（google 建议的 snappy stream format）
Quote character	无配置：来源端按照数据原内容进行读取双引号（"）：来源端将双引号（"）内的值作为数据内容进行读取。注意：若数据格式不规范，读取时可能导致 OOM。单引号（'）：来源端将单引号（'）内的值作为数据内容进行读取。注意：若数据格式不规范，读取时可能导致 OOM。
跳过表头	否：读取时，不跳过表头。是：读取时，跳过表头。

FileSystem 数据类型	内部类型
INTEGER、LONG	LONG
FLOAT、DOUBLE	DOUBLE
STRING	STRING
BOOL	BOOLEAN
DATE，TIMESTAMP	DATE