产品动态
公告
配置项 | 解释说明 | 规则 | 是否必填 |
投递任务名称 | 配置投递任务的名称。 | 字母、数字、_和- | 必填 |
COS 存储桶 | 与当前日志主题同地域的存储桶作为投递目标存储桶。 | 列表选择 | 必填 |
COS 路径 | COS 存储桶的路径。默认按照/年/月/日/小时/如/2022/7/31/14/ 这种格式在 COS 上来存储投递的日志文件，这里支持 strftime 的语法 ，例如投递时间是 2022/7/31 14:00，/%Y/%m/%d/生成的路径是/2022/7/31/。/%Y%M%d/%H/生成的路径是/20220731/14/ | 非/开头 | 可选 |
文件命名 | 选项1：投递时间命名，推荐这个选项，例如202208251645_000_132612782.gz代表的是投递时间_日志主题分区_offset，Hive 也可以加载这种文件。选项2：随机数命名，旧版的命名方式，这种命名方式 Hive 不识别，因为 Hive 不识别_开头的文件，可以在 COS 路径配置项里面添加自定义前缀，例如/%Y%M%d/%H/Yourname。 | / | 必填 |
压缩格式 | 为了帮助用户节约读流量费用，我们将日志文件压缩后再投递到 COS，支持 Snappy\\lzop\\gzip。 | gzip\\snappy\\lzop | 必填 |
投递文件大小 | 需要投递的原始日志文件的大小，和投递间隔时间配合使用,哪个条件先触发，就按照哪个规则去压缩文件，然后投递到 COS。例如配置256M，15分钟，如果文件大小在5分钟就到了256MB，那么文件大小这个条件先触发投递任务 | 5 - 256，单位：MB | 必填 |
投递间隔时间 | 指定间隔多长时间，触发一次投递，和投递文件大小配合使用,哪个条件先触发，就按照哪个规则去压缩文件，然后投递到 COS。例如配置256MB，15分钟，如果文件大小在15分钟时仅为200MB，间隔时间这个条件先触发投递任务 | 300 - 900，单位：s | 必填 |
配置项 | 解释说明 | 规则 | 是否必填 |
键值名称（key） | 指定写入 CSV 文件的键值（key）字段（填写的 key 必须是日志结构化后的 key 名称或保留字段，否则将视为无效 key）。 | 字母、数字、_和- | 必填 |
分隔符 | CSV 文件中各字段间的分隔符。 | 列表选择 | 必填 |
转义符 | 若正常字段内出现了分隔符的字符，需用转义符包裹该字符，防止读取数据时被错误识别。 | 列表选择 | 必填 |
无效字段 | 若配置的键值字段（key）不存在时，则会用无效字段进行填充 。 | 列表选择 | 必填 |
首行 Key | 在 CSV 文件的首行增加字段名的描述，即将键值（key）写入 CSV 文件的首行，默认不写入。 | 开/关 | 必填 |
文档反馈