操作场景
全托管公网迁移模式中,无需自主部署 Agent,任务创建之后自动化执行。MSP 将通过公网拉取 URL 中的数据保存到腾讯云对象存储,源厂商会产生 CDN 流量费用,具体费用需要参考源厂商的定价。
下文将详细介绍如何通过 URL 列表的方式,配置全托管公网迁移任务,实现数据迁移。
准备工作
腾讯云对象存储 COS
1. 创建目标存储空间,用于存放迁移的数据,详情请参见 创建存储桶。 2. 创建用于迁移的子用户并授予相关权限:
2.2 在左导航栏中选择用户 > 用户列表,进入用户列表页面。
2.3 新建子用户,勾选编程访问及腾讯云控制台访问。
2.4 搜索并勾选 QcloudCOSAccessForMSPRole 及 QcloudCOSFullAccess 策略。
2.5 完成子用户创建并保存子用户名,访问登录密码,SecretId,SecretKey。
说明:
迁移服务也可以使用主账号操作,但是出于安全考虑,建议新建子用户并使用子用户 API 密钥进行迁移,迁移完成后删除。
操作步骤
登录迁移服务平台
2. 在左导航栏中单击对象存储迁移,进入对象存储迁移页面。
新建迁移任务
1. 在对象存储迁移页面,单击新建任务,进入对象存储迁移任务配置页面,进行迁移参数的设置。
2. 设置迁移任务名称。
任务名称:字符长度为1至60个字符,允许的字符为中文、英文、0-9、_、-。此处设置的名称,将用于在任务列表中查看迁移状态和迁移进度。 3. 设置要迁移的文件来源。
此处迁移源服务提供商应选择 URL 列表。MSP 支持本地上传 URL 列表文件和添加 URL 列表文件下载地址两种方式。如果文件记录数较多,URL 列表文件较大,浏览器上传可能会超时,建议先将 URL 列表文件保存到 COS,选择【提供 URL 列表文件下载地址】,填写此文件的 COS URL 访问地址。文件列表请在 txt 文件中请按行列出。
例如:选择“提供 URL 列表文件下载地址”的使用方式,下载地址为http://xxx.xxx.xxx/url.txt,其中url.txt包含 URL http://xxx.xxx.xxx/xxx/l.jpg和http://xxx.xxx.xxx/xxx/xxx/xxxxxx/test.mp4,那么届时迁移服务平台将会对l.jpg和test.mp4进行迁移。
4. 设置任务执行时间。
数据迁移会占用源厂商的网络资源,您可以根据自身业务情况,在此处灵活设置迁移任务的开始执行时间。
5. 设置数据迁移执行速度。
您可以使用本功能限制数据迁移的速度上限,从而避免额外的 CDN 带宽成本。实际迁移速度受网络波动影响会在设定值上下波动。
6. 选择要迁移到的目标位置。
在迁移目标信息中,输入用于迁移的腾讯云子用户 SecretId,SecretKey。填入密钥后,单击下拉框右侧刷新按钮,即可获取目标对象存储桶列表。
7. 指定迁移到目标桶的指定目录。
保存到根目录: 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。
保存到指定目录:将源桶中的文件保持原始相对路径保存到指定目录中。
例如:
源桶中的文件/a.txt,/dir/b.txt两个文件,文本框中填写“dest”,那么迁移后这两个文件在目标桶中的路径为:/dest/a.txt,/dest/dir/b.txt。
如果文本框中填写dest/20180901,那么迁移后这两个文件在目标桶中的路径为:/dest/20180901/a.txt,/dest/20180901/dir/b.txt。 说明:
若迁移源与目标源有内容不同,名称相同的文件,建议在【同名文件】配置处选择【跳过(保留目标桶中已有的同名文件)】,系统默认选择【覆盖(源桶中的文件会覆盖目标桶中的同名文件)】。
若在迁移过程中文件内容有变化,需要进行二次迁移。
8. 选择迁移模式。
新建迁移任务后立即启动全托管迁移:选择托管迁移,用户单击“新建并启动”后 MSP 服务将通过公网访问源存储进行迁移。
新建迁移任务后手动下载 Agent 启动迁移:选择 Agent 模式迁移,用户在单击“新建并启动”后,将仅创建任务配置,需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。Agent 模式适用于已有专线希望通过专线迁移的场景。
9. 单击新建并启动,即可启动迁移任务。
查看迁移状态和进度
在文件迁移工具主界面中,可以查看所有文件迁移任务的状态和进度:
“任务完成”状态,绿色是任务完成并且所有文件都迁移成功,黄色是迁移任务完成但部分文件迁移失败。
单击“重试失败任务”链接后,该任务中失败的文件将会重试迁移,已经成功迁移的文件不会重传。
单击“导出”链接可以导出迁移过程中失败的文件列表。
预估文件迁移时间
迁移速度由迁移过程中涉及到的每一个环节的最低速度决定,同时受到网络传输速度和最大并发数影响。影响因素有:
|
| 数据源的读取速度因不同的服务商而不同,通常: 传输速度在50Mbps - 200Mbps之间。 文件读取并发在500 - 3000之间(大量小文件的传输受并发限制)。 |
| |
| 腾讯云对象存储 COS:写入传输速度200Mbps,写入并发500 - 800之间。 整体迁移速度会是6MByte - 25MByte(即21GB/小时 - 87GB/小时)之间。 |
说明:
使用 URL 列表迁移的数据在腾讯云侧默认全部使用标准存储。