tencent cloud

文件存储

动态与公告
产品动态
产品公告
产品简介
产品概述
产品优势
存储类型及性能规格
使用场景
推荐地域
系统限制
购买指南
计费概述
价格总览
通用系列计费方式
Turbo 系列计费方式
吞吐型计费方式
快照计费方式
低频计费方式
资源单位包
资源购买
查看账单
欠费说明
快速入门
创建文件系统及挂载点
在Linux 客户端上使用 CFS 文件系统
在 Windows 客户端上使用 CFS 文件系统
在 Linux 客户端上使用 CFS Turbo 文件系统
使用 CFS 客户端助手挂载文件系统
操作指南
访问管理
管理文件系统
权限管理
使用标签
快照管理
跨可用区、跨网络访问指引
自动挂载文件系统
数据迁移服务
用户权限管理
用户配额
数据加密
数据生命周期管理
升级通用标准型文件系统
实践教程
NFS 客户端内核选择
Turbo 目录管理
计算实例销毁
在容器 TKE 上使用 CFS
在云函数 SCF上使用 CFS
在容器 TKE 上使用 CFS Turbo
在 Serverless 容器服务上使用 CFS Turbo
Turbo 文件系统网络选择
文件存储数据拷贝方案
文件存储性能测试
API 文档
History
Introduction
API Category
Snapshot APIs
File system APIs
Lifecycle APIs
Other APIs
Data Flow APIs
Making API Requests
Permission Group APIs
Service APIs
Scaling APIs
Data Migration APIs
Data Types
Error Codes
故障处理
小文件及高并发场景下客户端使用卡顿
常见问题
服务等级协议
联系我们
词汇表
文档文件存储实践教程文件存储数据拷贝方案

文件存储数据拷贝方案

PDF
聚焦模式
字号
最后更新时间: 2025-07-02 11:40:47

使用场景

在日常使用文件存储时,通常会存在很多需要数据拷贝的场景,本文将介绍如何在 Linux 操作系统下,快速进行数据拷贝的推荐方案。
场景一:CFS 文件系统之间、文件系统内不同目录、文件系统和云硬盘间的数据同步
背景说明:在日常使用中,频繁地需要进行数据拷贝。如上三类场景在 Linux 操作系统层面上,都是不同目录之间的数据拷贝,操作方式上是类似的。通常情况下,可执行 cp 指令进行简单快速的拷贝。但如果涉及到大量文件的场景,cp 单线程的运行模式会严重拖慢拷贝进度,此情况下,建议使用本文推荐的方式进行拷贝,可起到自并发加速的作用。
方法一:当需要详细的过程报告和可视化的操作界面时,推荐使用云迁移服务 CMG 的 文件存储批量迁移
注意:
当前云迁移仅支持以AWS为源的文件存储(EFS)的批量迁移,当源端为 IDC 、本地文件存储、CFS 文件存储等的数据迁移能力即将上线,敬请期待。
方法二:当需要通过命令行工具时,推荐使用 rclone 工具进行操作,详情请参见下方操作说明。
场景二:文件系统与对象存储之间数据同步。
方法:可使用对象存储提供的各类基础工具进行数据上传、下载的操作。推荐使用的工具链接如下:COSBrowserCOSCMD

操作说明

此操作步骤面向场景一的方法二使用,其余场景和方法可参考上述链接进行操作。

前置条件

在云服务器上已存在可以迁移的源端和目标端目录。
说明:
CFS 支持跨 VPC 访问,可通过 云联网 的方式打通多个 VPC,然后进行挂载访问。

操作步骤

1. 下载安装 rclone 工具。
方法一:通过腾讯云镜像服务下载(推荐):
注意:
因涉及到请求腾讯云内网的镜像源,仅腾讯云的云服务器可使用,通过此方式的下载速度会快于从官网直接下载。
wget http://mirrors.tencentyun.com/install/cfsturbo-client//migrate_tools/rclone-v1.70.1-linux-amd64.zip && unzip rclone-v1.70.1-linux-amd64.zip && chmod 0755 ./rclone-*/rclone && cp ./rclone-*/rclone /usr/bin/ && rm -rf ./rclone-*
方法二:通过官网链接下载安装:
wget https://downloads.rclone.org/v1.70.1/rclone-v1.70.1-linux-amd64.zip --no-check-certificate && unzip rclone-v1.70.1-linux-amd64.zip && chmod 0755 ./rclone-*/rclone && cp ./rclone-*/rclone /usr/bin/ && rm -rf ./rclone-*
2. 执行命令,进行数据同步。
rclone copy /mnt/src /mnt/dst -Pvv --transfers 32 --metadata --checkers 64 --links --create-empty-src-dirs --retries=3 --modify-window=1s
若需要后台拷贝可参考如下指令:
nohup rclone copy /mnt/src /mnt/dst -vv --transfers 32 --checkers 64 --links --create-empty-src-dirs --retries 3 --modify-window=1s >> /path/to/copy.log
说明:
1. 参数说明如下,transfers 和 checkers 数目可以根据系统规格自行配置:
transfers:传输文件的并发数目(建议不超过核心数的2倍)。
checkers:扫描本地文件的并发数目(建议不超过核心数的2倍)。
P:实时展示数据拷贝进度(500ms,若不加为1分钟刷新一次)。
links:复制软链接。
metadata:复制文件和目录的元数据信息
vv:打印拷贝日志。
create-empty-src-dirs:针对空目录也执行拷贝。
retries:对失败的拷贝进行自动重试的次数(可根据实际需要调整数值)。
modify-window=1s:rclone 默认先根据文件大小、名称和 mtime 等元数据信息比对,若出现不一致再进行 MD5 值比对。此参数将 mtime 的变化容忍度设置为1s(若不设置默认为1ns)。因 Turbo 文件系统 mtime 的精度为秒级,如果涉及到拷贝到 Turbo 文件系统,为降低不必要的 MD5 比对,建议加上此参数。
2. 此工具重复运行可自动进行增量同步,识别增量的方式为全局扫描。
3. 等待数据完成同步后,可通过日志查看不同文件的迁移任务结果。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈