产品动态
AWS S3 国际站迁移
操作场景
下文将详细介绍当源对象存储部署在 AWS S3 国际站时，如何配置 Agent 半托管迁移任务，实现数据迁移。
说明：
“AWS 海外站迁移”，需要登录国际站控制台。
准备工作
AWS S3
1. 登录 AWS 控制台。
2. 在导航窗格中，选择用户，然后选择添加用户，为新用户键入用户名。
3. 选择此组用户将拥有的访问权限类型。选择以编程方式访问和访问 AWS 管理控制台。
4. 单击 Next: Permissions（下一步：权限），在 Set permissions 页面上，指定您要向新用户分配权限的方式，授予 IAM 账号读取数据的权限（具体授权操作为 ListBuckets、HeadBucket、GetBucket、GetBucketLocation、ListObjects、HeadObject、GetObject）。
5. 单击 Create user。要查看用户的访问密钥，请选择您要查看的每个密码和访问密钥旁边的显示。要保存访问密钥，请选择下载
.csv，获取 AccessKeyID 和 AccessKeySecret。说明：
创建 AWS IAM 账号并授予相关权限，以上为简单指引，可能因源站变更而有所变化，请以 AWS 官方文档为准。
腾讯云对象存储 COS
1. 创建目标存储桶，用于存放迁移的数据。详情请参见 创建存储桶。
2. 创建用于迁移的子用户并授予相关权限，以下为简单指引，具体操作指引请参见 访问管理 CAM 产品文档。
2.1 登录腾讯云 访问管理控制台。
2.2 在左侧导航栏中单击用户 > 用户列表， 进入用户列表页面。
2.3 新建子用户，勾选编程访问及腾讯云控制台访问。
2.4 搜索并勾选 QcloudMSPFullAccess 及 QcloudCOSAccessForMSPRole 策略。
2.5 完成子用户创建并保存子用户名、访问登录密码、SecretId、SecretKey。
说明：
迁移服务也可以使用主账号操作，但是出于安全考虑，建议新建子账号并使用子账号 API 密钥进行迁移，迁移完成后删除。
操作步骤
登录云迁移
1. 登录 云迁移。
2. 在左侧导航栏中单击对象存储迁移，进入对象存储迁移页面。
新建迁移任务
1. 在对象存储迁移页面，单击新建任务，进入对象存储迁移任务配置页面，进行迁移参数的设置。
2. 设置迁移任务名称。
任务名称：字符长度为1至60个字符，允许的字符为中文、英文、0-9、_、-。此处设置的名称，将用于在任务列表中查看迁移状态和迁移进度。
3. 预估任务规模。请准确填写任务规模，以便我们更好地准备相关资源，非必填。
4. 设置要迁移的文件来源。
服务提供商：此处迁移源服务提供商应选择
AWS S3国际站。AccessKey、SecretKey：文本框中输入先前新建用于迁移的 AWS 子账号 AccessKeyID 和 AccessKeySecret。
迁移桶名称：填入密钥后，单击“迁移桶名称”下拉框右侧的刷新按钮，即可获取源对象存储桶列表。也可以选择手动输入源桶名称。
Header迁移方式：如果源桶中的文件设定了 Header/Tag 并且需要在迁移后保留，请选择保留或设置替换规则。
文件名过滤规则：选择对指定桶中的全部文件进行迁移，或仅迁移指定前缀的文件。
不过滤（全量）：选择对指定桶中的全部文件进行迁移。
只迁移匹配前缀的文件：仅迁移指定前缀的文件。例如存储桶根路径下有文件 AA.jpg、AA/B.jpg。那么如果输入前缀为 AA，最终会匹配迁移文件 AA.jpg、AA/B.jpg。
只迁移匹配正则表达式的文件：支持输入部分正则表达式匹配文件。例如：
.*\\.jpg$表示匹配以 .jpg 结尾的所有文件。^test.*表示匹配根路径下以 test 开头的所有文件。如果文件有相同前缀，例如 doc/AA/，可使用^doc/AA/test.*来匹配指定前缀下以 test 开头的所有文件。.*/test/.*表示匹配某一子路径为 test 的文件。时间范围：开启时间范围，只迁移指定时间范围内新增或变更的文件。
执行速度、限速方式：各公有云厂商的对象存储都有速度限制。为确保业务稳定，请在迁移前与源厂商确认并设置最高迁移可用 Mbps。
5. 选择要迁移到的目标位置。
服务提供商：默认为腾讯云 COS。
SecretId、SecretKey：输入用于迁移的腾讯云子用户 SecretId、SecretKey。
迁移桶名称：填入密钥后，单击“迁移桶名称”下拉框右侧的刷新按钮，即可获取目标对象存储桶列表。
保存路径：指定迁移到目标桶的指定目录。
保存到根目录： 直接将源桶中的文件按原始相对路径保存到目标桶的根目录。例如源桶中的文件的原始相对路径为
/dir/a.txt，那么文件被保存到目标桶路径为/dir/a.txt。保存到指定目录：将源桶中的文件按原始相对路径保存到指定目录中。例如源桶中的文件的原始相对路径为
/dir/a.txt，您指定的目录为 doc，那么文件被保存到目标桶路径为/doc/dir/a.txt。同名文件：指定同名文件的处理方式。
注意：
若同名文件选择覆盖，则迁移时会直接覆盖掉同名文件。
若同名文件选择跳过，会基于文件最后修改时间 LastModified 判断，即：
如果源地址中文件的 LastModified 晚于或者等于目的地址中文件的 LastModified，则执行覆盖。
如果源地址中文件的 LastModified 早于目的地址中文件的 LastModified，则执行跳过。
若在迁移过程中对象（文件）内容有变化，需要进行二次迁移。
文件存储方式：根据迁移的需求，设定迁移后文件的存储方式，可以选择：标准存储、低频存储、保持原存储属性、归档存储。
6. 选择迁移模式。
模式选择：
新建迁移任务后立即启动全托管迁移：选择托管迁移，用户单击新建并启动后云迁移服务将通过公网访问源存储进行迁移。
新建迁移任务后手动下载 Agent 启动迁移：选择 Agent 模式迁移，用户在单击新建并启动后，将仅创建任务配置，需要用户手动下载 Agent 在迁移源一侧的服务器上部署之后才会正式启动迁移。迁移 Agent 部署请参见 半托管迁移 Agent 的使用说明。
定时选择：启动定时任务可以重复运行任务，可以对源桶中的增量文件进行迁移。除了第一次任务是立即执行，之后会根据定时类型设置在固定间隔时间之后或者 Cron 设定的定时规则时触发再次运行。再次运行时“同名文件”会变为“跳过（保留目标桶中已有的同名文件）”，即只同步增量文件。
说明：
例如设置定时运行次数为3次，一小时重复一次，13:00开始第一次任务，14:00开始执行第二次任务（如果此时第一次任务仍未完成，则需要等待第一次任务完成后，再执行第二次任务，依次类推，直到完成3次任务）。
7. 单击新建并启动，即可启动迁移任务。
查看迁移状态和进度
在对象存储迁移界面中，可以查看所有文件迁移任务的状态和进度：
“任务完成”状态：绿色是任务完成并且所有文件都迁移成功，黄色是迁移任务完成但部分文件迁移失败。
单击重试失败任务后，该任务中失败的文件将会重试迁移，已经成功迁移的文件不会重传。
单击导出可以导出迁移过程中失败的文件列表。
如何预估文件迁移时间
文档反馈