tencent cloud

对象存储

动态与公告
产品动态
产品公告
产品简介
产品概述
功能概览
应用场景
产品优势
基本概念
地域和访问域名
规格与限制
产品计费
计费概述
计费方式
计费项
免费额度
计费示例
查看和下载账单
欠费说明
常见问题
快速入门
控制台快速入门
COSBrowser 快速入门
用户指南
创建请求
存储桶
对象
数据管理
批量处理
全球加速
监控与告警
运维中心
数据处理
内容审核
智能工具箱
数据工作流
应用集成
工具指南
工具概览
环境安装与配置
COSBrowser 工具
COSCLI 工具
COSCMD 工具
COS Migration 工具
FTP Server 工具
Hadoop 工具
COSDistCp 工具
HDFS TO COS 工具
GooseFS-Lite 工具
在线辅助工具
自助诊断工具
实践教程
概览
访问控制与权限管理
性能优化
使用 AWS S3 SDK 访问 COS
数据容灾备份
域名管理实践
图片处理实践
COS 音视频播放器实践
工作流实践
数据直传
内容审核实践
数据安全
数据校验
大数据实践
COS 成本优化解决方案
在第三方应用中使用 COS
迁移指南
本地数据迁移至 COS
第三方云存储数据迁移至 COS
以 URL 作为源地址的数据迁移至 COS
COS 之间数据迁移
Hadoop 文件系统与 COS 之间的数据迁移
数据湖存储
云原生数据湖
元数据加速
数据加速器 GooseFS
数据处理
数据处理概述
图片处理
媒体处理
内容审核
文件处理
文档处理
故障处理
获取 RequestId 操作指引
通过外网上传文件至 COS 缓慢
访问 COS 时返回403错误码
资源访问异常
POST Object 常见异常
API 文档
简介
公共请求头部
公共响应头部
错误码
请求签名
操作列表
Service 接口
Bucket 接口
Object 接口
批量处理接口
数据处理接口
任务与工作流
内容审核接口
云查毒接口
SDK 文档
SDK 概览
准备工作
Android SDK
C SDK
C++ SDK
.NET(C#) SDK
Flutter SDK
Go SDK
iOS SDK
Java SDK
JavaScript SDK
Node.js SDK
PHP SDK
Python SDK
React Native SDK
小程序 SDK
错误码
鸿蒙(Harmony) SDK
终端 SDK 质量优化
安全与合规
数据容灾
数据安全
访问管理
常见问题
热门问题
一般性问题
计费计量问题
域名合规问题
存储桶配置问题
域名和 CDN 问题
文件操作问题
日志监控问题
权限管理问题
数据处理问题
数据安全问题
预签名 URL 问题
SDK 类问题
工具类问题
API 类问题
服务协议
Service Level Agreement
隐私政策
数据处理和安全协议
联系我们
词汇表

COS Migration 工具

PDF
聚焦模式
字号
最后更新时间: 2024-01-06 11:37:48

迁移工具中途异常退出怎么办?

工具支持上传时断点续传, 对于一些大文件,如果中途退出或者因为服务故障,可重新运行工具,会对未上传完的文件进行续传。

对于迁移成功的文件,用户通过控制台或其他方式删除了 COS 上的文件,迁移工具会将这些文件进行重新上传吗?

不会。原因是,所有迁移成功的文件会被记录在 db 中,迁移工具运行之前会先扫描 db 目录,对于已被记录的文件不会再次上传,具体原因请参照 迁移机制及流程

迁移失败,日志显示403 Access Deny,该如何处理?

请确认密钥信息,Bucket 信息,Region 信息是否正确,并且是否具有操作权限。如果是子账号,请让父账号授予相应的权限;如果是本地迁移和其他云存储迁移,需要对 Bucket 具有数据写入和读取权限;如果是 Bucket copy,还需要对源 Bucket 具有数据读取权限。

从其他云存储迁移 COS 失败,显示 Read timed out,该如何处理?

一般来说,这种失败情况是由网络带宽不足所造成,导致从其他云存储下载数据超时。例如,将 AWS 海外的数据迁移到 COS,在下载数据到本地时由于带宽能力不足,导致时延较高,可能会出现 read time out。因此,解决方法为增大机器的网络带宽能力,建议在迁移之前用 wget 测试下载速度。

迁移失败,日志显示503 Slow Down,该如何处理?

这是触发频控所导致,COS 目前对一个账号具有每秒30000QPS的操作限制。建议调小配置中小文件的并发度,并重新运行工具,则会将失败的重新运行。

迁移失败,日志显示404 NoSuchBucket,该如何处理?

请确认您的密钥信息,Bucket 信息,Region 信息是否正确。

运行异常,显示如下的信息该怎么办?

img

此问题是因为工具使用了 rocksdb,需要使用64位的 JDK,请检查 JDK 版本是 X64 的 JDK。

在 Windows 环境下报找不到 rocksdb 的 jni 库,该如何处理?

在 Windows 环境下,工具需要在 Microsoft Visual Studio 2015环境下编译。若出现以上报错,需安装 Visual C++ Redistributable for Visual Studio 2015

如何修改日志级别?

修改文件 src/main/resources/log4j.properties,把 log4j.rootLogger 的值复制为对应的日志级别,如 DEBUG、INFO、ERROR。

在 Linux 环境下,报 /tmp/librocksdbjnixxx.so: ELF file OS ABI invalid 的错误,该如何处理?

在 Linux 环境下,工具需要 IFUNC 支持,请检查并确保运行环境的 binutils 版本大于2.20。

任务未能全部执行完,在 error.log 中存在 java 异常 "java.nio.file.FileSystemLoopException",该如何处理?

error.log 中异常信息类似:
2022-XX-XX XX:XX:XX [ERROR] [main:xxx] [com.qcloud.cos_migrate_tool.task.MigrateLocalTaskExecutor:] [MigrateLocalTaskExecutor.java:183]
walk file tree error
java.nio.file.FileSystemLoopException: /dataseal/xx1/file1
at java.nio.file.FileTreeWalker.visit(FileTreeWalker.java:294)
at java.nio.file.FileTreeWalker.next(FileTreeWalker.java:372)
at java.nio.file.Files.walkFileTree(Files.java:2706)
at com.qcloud.cos_migrate_tool.task.MigrateLocalTaskExecutor.buildTask(MigrateLocalTaskExecutor.java:176)
at com.qcloud.cos_migrate_tool.task.TaskExecutor.run(TaskExecutor.java:244)
at com.qcloud.cos_migrate_tool.app.App.main(App.java:135)
原因是待迁移的文件 "/dataseal/xx1/file1" 可能是1个软链接,指向了其父目录中的资源,可通过以下命令来确认
[root@TENCENT64 /dataseal/cos_migrate_tool_v5-master/log]# ll /dataseal/xx1/file1
lrwxrwxrwx 1 xx xx xx xx x xxxx /dataseal/xx1/file1 -> ../xx1/
如上所示,软链接文件 "/dataseal/xx1/file1" 指向了父目录中 "/dataseal/xx1/" ,这会导致遍历产生死循环,因此迁移任务会自动中止。 建议提前删除此类文件(注意:在配置项 “excludes” 中排除这类文件的方法是无效的)。
如遇其他问题,请您尝试重新运行迁移工具。若仍然失败,请将配置信息(密钥信息请隐藏)与 log 目录打包后 联系我们

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈