tencent cloud

腾讯健康组学平台

产品简介
产品概述
产品优势
应用场景
使用限制
购买指南
计费概述
产品定价
欠费说明
快速入门
开始分析流程
示例:5分钟快速执行应用
操作指南
控制台
工作项目
文件管理
镜像管理
开发调试
权限管理
资源监控
实践教程
可视化批量任务投递及管理
任务、作业的重跑和续跑
API 文档
History
Introduction
API Category
Making API Requests
Environment Management APIs
Tencent Healthcare Omics Platform APIs
Data Types
Error Codes
常见问题
服务协议
相关协议
隐私政策
数据处理和安全协议
联系我们

缓存文件管理

PDF
聚焦模式
字号
最后更新时间: 2024-10-22 16:11:07
缓存文件系统是腾讯健康组学平台的一个重要模块,专门为组学数据分析设计。缓存文件系统提供高效且可扩展的共享文件存储服务,允许多个计算环境(实例)通过标准协议共享数据,实现快速挂载。缓存文件系统支持组学数据的高速处理和并发访问,确保在进行大规模基因数据分析时的高可用性和可靠性,适合于对性能和稳定性有严格要求的组学数据处理场景。
除了能通过简单快捷的方式在计算任务中挂载和使用缓存卷以外,平台还提供了一系列缓存文件管理功能。其中,缓存卷的新建、删除及一键清理均在控制台完成,具体操作指南及缓存卷类型选择指南可参考 环境管理。其他管理操作如浏览缓存卷目录、传输缓存卷文件至存储桶等均在 组学平台网站 > 文件管理 完成,本章节将会展开介绍。

缓存卷

缓存卷是(Volume)是缓存文件的载体,可理解为存放缓存文件的“容器”,分为通用标准型、通用性能型、Turbo 标准型和 Turbo 性能型,用户可按需选择不同类型的缓存卷。组学缓存包含如下缓存卷类型,您可根据实际应用场景进行选择:

通用标准型

通用标准型文件存储是基于混合介质的高性价比文件存储,通过数据分层机制加速存储读写速度。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的可用性,适用于小规模通用数据存储场景。

通用性能型

通用性能型文件存储是基于全 NVMe 介质的低延迟文件存储,通过数据分层机制提供高性能存储能力,提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适合于小规模延时敏感型核心业务。

Turbo 标准型

Turbo 标准型文件存储是基于混合介质的并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模吞吐型和混合负载型业务。

Turbo 性能型

Turbo 性能型文件存储是基于全 NVMe 介质的高吞吐、低延迟并行文件存储,采用非对称架构,数据节点和元数据节点独立部署。提供私有协议的挂载方式,单客户端性能可达存储集群性能。同时资源在底层进行隔离,保障存储集群独享。提供三副本强一致架构能力,每一份写入文件系统的数据确保成功落盘,并位于不同机架的三台物理服务器,同时提供接入机热迁移的机制,保障数据的可靠性和服务的高可用,适用于大规模小文件业务。

缓存卷性能与规格

缓存卷类型
通用标准型
通用性能型
Turbo 标准型
Turbo 性能型
产品定位
高性价比,适用于小规模通用数据存储场景
高性能、低时延,适用于小规模延时敏感型核心业务
高吞吐、大容量,适用于大规模吞吐型和混合负载型业务
高吞吐、高 IOPS,适用于大规模小文件业务
适用场景
小规模企业文件共享、数据备份归档、日志存储
小规模 CI/CD 开发测试环境、高性能 Web 服务、OLTP 数据库、高性能共享
AI 推理、高性能计算
大规模高性能计算、AI 训练、大数据分析
容量上限
0 - 160TiB
0 - 32TiB
20TiB - 100PiB
10TiB - 100PiB
吞吐(MiB/S)
Min{100 + 0.1 × 容量(GiB) , 300}
Min{200 + 0.2 × 容量(GiB) , 1024}
Min{0.1 × 容量(GiB) , 10万}
Min{0.2 × 容量(GiB) , 10万}
读 IOPS
min{2000+8*size(GiB),15000}
Min{2500 + 30 × 容量(GiB),3万}
Min{2 × 容量(GiB) , 200万}
Min{20 × 容量(GiB) , 1000万}
写 IOPS
min{2000+8*size(GiB),15000}
Min{2500 + 30 × 容量(GiB),3万}
Min{1 × 容量(GiB) , 100万}
Min{5 × 容量(GiB) , 300万}
OPS 上限
读/写:1万/1千
读/写:3万/3千
读/写:30万/2万
读/写:30万/2万
延迟
4K 单流读:3ms
4K 单流写:7ms
4K 单流读:1ms
4K 单流写:1.5ms
4K 单流读:0.2ms
4K 单流写:3ms
4K 单流读:0.2ms
4K 单流写:1.5ms
支持协议
NFS/SMB
NFS
POSIX/MPI
POSIX/MPI
扩容方式
自动扩容
自动扩容
手动扩容
手动扩容
支持操作系统
Linux/Windows
Linux/Windows
Linux
Linux
缓存卷管理权限说明:
仅项目运行者或更高权限的用户,有权限管理其项目绑定环境下的缓存卷。管理者如需分配某缓存卷管理权限给特定用户(组),需在该用户(组)所归属的任意项目中绑定此缓存卷环境,并为该用户(组)授权运行者以上权限。绑定运行环境相关操作可查看 权限管理

浏览缓存卷目录

腾讯健康组学平台提供缓存卷浏览器,用于浏览缓存卷文件目录。
进入 文件管理 页面,点击缓存文件,左侧列表显示缓存卷列表,其中托管环境下的缓存卷支持通过缓存卷浏览器浏览文件目录,标准环境下的缓存卷暂不支持在组学平台网站浏览,可前往腾讯云文件存储(CFS)管理页面查看更多详情。
选中需要查看的缓存卷,页面右侧区域点击启动缓存卷浏览器,可查看缓存卷内部目录。点击缓存卷浏览器上方资源监控,可跳转至资源监控页面查看该缓存卷使用详情。



注意:
缓存卷浏览器需启动计算实例(默认规格:1核1GiB)以提供执行文件管理任务的运行环境。使用结束后,请及时关闭页面内的缓存卷浏览器,避免产生额外的费用,详细计费及价格说明请参考 产品定价

发送缓存文件到存储桶

您可以通过两种方式发送缓存文件到存储桶:
方式一:进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷,并在缓存卷浏览器内选择需发送的缓存文件,点击扩展按钮发送至存储桶,启动相应数据传输作业。
方式二:直接在 数据传输 页面中新建数据传输作业,选择从缓存卷到存储桶类型,启动相应数据传输作业。
更多操作详细说明可查看 数据传输作业
说明:
目标地址下可能存在同名文件,启动相应数据传输作业时需指定对于同名文件的处理方式,选择跳过将保留目标地址中原有的同名文件,选择覆盖则会用待传输文件替换目标地址中原有的文件。

上传本地文件至缓存卷

进入 文件管理 页面,点击缓存文件,进入缓存卷列表页,选中某一缓存卷, 启动缓存卷浏览器,点击上传,在弹窗内选择需要上传的本地文件目录,确认后开始上传,支持批量上传本地文件。




其他操作

缓存卷浏览器内支持一系列文件管理操作,包括:重命名、删除、移动、新建文件夹和发送到存储桶,均可通过扩展选项进行操作。















帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈