tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

客户端最佳实践

PDF
聚焦模式
字号
最后更新时间: 2025-11-24 11:24:23

高吞吐实践

客户端每次从桶中读取数据的大小,通过配置项 fs.ofs.block.memory.trunk.byte 进行控制。
配置项
配置项内容
说明
fs.ofs.block.memory.trunk.byte
1048576
对象块大小,单位为字节,默认值1048576,即1MB
说明:
若您使用 COSN SDK,需要在以上配置项名称前添加 fs.cosn.trsf ,例如 fs.cosn.trsf.fs.ofs.prev.read.block.count
在高吞吐场景中,客户端引入了预读块逻辑,将一个文件拆分为多个预读块,缓存至内存中,降低读取时延,提升吞吐。您可以通过指定预读块的参数,满足不同场景的吞吐需求。

顺序读场景

客户端内部会通过游标检测当前的场景是否为顺序读,若为顺序读场景,则会启用预读逻辑,否则不会使用。预读逻辑中,客户端会固定每次缓存的预读块个数,相关配置项如下,您可以根据机型配置进行相关的参数调优。
配置项
配置项内容
说明
fs.ofs.prev.read.block.count
16
预读块的个数,默认值为16
fs.ofs.prev.read.block.release.enable
true
是否从内存中释放已读完的块,默认值为 true
fs.ofs.block.max.read.memory.cache.mb
16
单个文件可用内存量,默认值为16,单位为 MB
说明:
为避免 OOM,您可以参考下文内存使用实践,控制全局 cache 模型。
fs.ofs.data.transfer.thread.count
32
从桶中拉取预读块的 IO 线程池核心线程数
fs.ofs.data.transfer.max.thread.count
Integer.MAX_VALUE
IO 线程池最大线程数

随机读场景

如上文所说,客户端会检测当前场景,若为随机读,则不会触发预读逻辑。另外,此场景下,建议您根据实际业务场景,调整配置项 fs.ofs.block.memory.trunk.byte,修改每次读取 COS 桶的数据大小,避免随机读场景中的读放大。


客户端内存使用实践

为提升性能,OFS SDK 在上传和下载数据过程中,会对数据进行 cache。这里的 cache 包括内存 cache 和磁盘 cache,并在上传和下载中有不同的应用:
上传:使用内存 cache + 磁盘 cache
下载:只会使用内存 cache
其中,内存 cache 块是按需申请的, 优先申请内存 cache 块, 当内存 cache 块不足后,会申请磁盘 cache 块。磁盘 cache 在写入数据过程中会使用堆外内存,以减少堆内内存与内核态的内存之间的 copy,从而提升写入数据的性能。

为避免多个文件互相影响(例如某个文件未关闭,资源未释放时,导致新的读写无法打开),SDK 总体默认原则是控制单个文件使用的 cache 数量。同时,为避免 OOM 问题,客户端提供全局(文件系统粒度)的缓存配置项,您可以根据客户端环境调整配置,以实现最优性能。

单文件 cache 控制模型

OFS SDK 使用以下两个配置项分别控制单个文件的 cache 使用量:
配置项
配置项内容
说明
fs.ofs.block.max.memory.cache.mb
16
内存 cache 使用量,默认值为16,单位为 MB
fs.ofs.block.max.file.cache.mb
256
磁盘 cache 使用量,默认值为256,单位为 MB
说明:
若您使用 COSN SDK,需要在以上配置项名称前添加 fs.cosn.trsf ,例如 fs.cosn.trsf.fs.ofs.block.max.memory.cache.mb

全局(文件系统粒度)cache 控制模型

SDK 提供对于读、写两种请求的全局(文件系统粒度)cache 控制,以规避 OOM 问题。具体说明如下:
上传
下载
OFS SDK 共提供三个配置项用于控制全局上传内存:
配置项
配置项内容
说明
fs.ofs.block.total.memory.cache.mb
0
上传最大内存使用量,默认值为0(不控制),单位 MB
fs.ofs.block.total.memory.cache.percent
100
上传最大内存使用比例,默认值为100,单位为百分比
fs.ofs.block.total.memory.jvm.heap.percent
0
最大 JVM 内存使用比例,默认值为0(不控制),单位为百分比
SDK 共提供两种全局控制:
规则1:通过 fs.ofs.block.total.memory.cache.mbfs.ofs.block.total.memory.cache.percent 控制上传最大内存使用量。配置后,最大使用的内存大小为:fs.ofs.block.total.memory.cache.mb * fs.ofs.block.total.memory.cache.percent / 100。当配置后,SDK 会根据算出的全局内存 cache 大小 / 单个文件最大大小 fs.ofs.block.max.memory.cache.mb,计算出能同时写入的文件量,以此来分配信号。新打开文件时候,会申请1个信号量,当申请失败后,会强制使用磁盘 cache。 当文件关闭时候,会归还信号量。
规则2:通过 fs.ofs.block.total.memory.jvm.heap.percent 控制最大 JVM 内存。配置后,SDK 会获取 JVM 最大内存(ManagementFactory.getMemoryMXBean().getHeapMemoryUsage().getMax()) * fs.ofs.block.total.memory.jvm.heap.percent / 100 来确定。

默认情况下,fs.ofs.block.total.memory.cache.mbfs.ofs.block.total.memory.jvm.heap.percent 值为0,即不会对内存进行任何控制。若两个配置项均为非0,则规则1(最大内存使用量)优先级高于规则2(最大 JVM 内存使用量)。
CHDFS SDK 共提供三个配置项用于控制全局下载内存:
配置项
配置项内容
说明
fs.ofs.block.total.read.memory.cache.mb
0
下载最大内存使用量,默认值为0(不控制),单位 MB
fs.ofs.block.total.read.memory.cache.percent
100
下载最大内存使用比例,默认值为100,单位为百分比
SDK 通过 fs.ofs.block.total.read.memory.cache.mbfs.ofs.block.total.read.memory.cache.percent 控制下载最大内存使用量。配置后,最大使用的内存大小为:fs.ofs.block.total.read.memory.cache.mb * fs.ofs.block.total.read.memory.cache.percent / 100。当配置后,SDK 会根据算出的全局内存 cache 大小 / 单个文件最大大小 fs.ofs.block.max.memory.cache.mb,计算出能同时写入的文件量,以此来分配信号。新打开文件时候,会申请1个信号量,当申请失败后,会强制使用磁盘 cache。 当文件关闭时候,会归还信号量。申请通过队列实现阻塞机制的,当信号量不足时候,会等待其他文件关闭释放信号量。


帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈