tencent cloud

フィードバック

オリジンサーバーのマイグレーションツール

最終更新日:2023-10-26 17:31:32

    概要

    VOD Migrate Toolは、データマイグレーション機能を集約化した一体型ツールです。シンプルな設定ファイルを編集することで、ユーザーはソースアドレスのメディアファイルをVODに迅速にマイグレーションできます。

    サポートするデータソース

    • ローカルフォルダ
    • URLリスト
    • Tencent Cloud COS
    • AWS S3
    • Alibaba Cloud OSS
    • Qiniu Kodo

    使用環境

    システム環境

    Windows、Linux 、macOSシステムをサポートします。

    ソフトウェア依存

    • Python 2.7/3.4+。

    • 最新バージョンのpip。

      インストール

    Pipによるインストール(推奨)

    SDKをpipによってプロジェクトにインストールすることができます。プロジェクト環境にまだpipをインストールしていない場合は、pip公式サイトを参照してインストールしてください。

    pip install vodmigrate
    

    ソースコードパッケージによるインストール

    ソースコードダウンロードアドレス:ここをクリック
    最新コードをダウンロードして解凍後:

    git clone https://github.com/tencentyun/vod-migrate.git
    cd vod-migrate
    python setup.py install
    

    ユースケース

    コマンドの実行:

    vodmigrate config.toml
    
    説明:

    マイグレーションが完了すると、結果は設定項目"migrateResultOutputPath"に対応するディレクトリに出力されます。ファイル名:vod_migrate_result.txt。

    設定ファイルの説明

    設定ファイルは、toml形式(参考:config_template.tomlを採用しています。ファイルがUTF-8でエンコードされていること確認してください)。ファイルの内容は以下のいくつかの部分に分けられます。

    1. マイグレーションの種類の設定

    typeはマイグレーションのニーズに応じて入力するマイグレーションのタイプを表します。例えば、ローカルデータをVODにマイグレーションする場合は、[migrateType]の設定内容はtype=migrateLocalになります。

    [migrateType]
    type="migrateLocal"
    

    現在サポートするマイグレーションの種類は以下のとおりです。

    migrateType 説明
    migrateLocal ローカルからVODにマイグレーション
    migrateUrl ダウンロードURLからVODにマイグレーション
    migrateCos Tencent Cloud COSからVODにマイグレーション
    migrateAws AWS S3からVODにマイグレーション
    migrateAli Alibaba Cloud OSSからVODにマイグレーション
    migrateQiniu Qiniu KodoからVODにマイグレーション

    2. マイグレーションタスクの設定

    ユーザーは実際のマイグレーションのニーズに従って関連設定を行います。主にVOD設定とタスク設定の情報関連のマイグレーションになります。

    #マイグレーションツールの標準設定
    [common]
    secretId = "SECRETID"
    secretKey = "SECRETKEY"
    region = 'REGION'
    subAppId = 0
    concurrency = 5
    supportMediaClassification = [ 'video', 'audio', 'image' ]
    excludeMediaType = [  ]
    migrateDbStoragePath = ''
    migrateResultOutputPath = ''
    
    名称 説明
    secretId SecretIdはユーザーキーです。SECRETIDを実際のキー情報に置換してください。 CAMコンソール のTencent Cloud API キー画面に進んで取得することができます。
    secretKey SecretKeyはユーザーキーです。SECRETKEYを実際のキー情報に置換してください。 CAMコンソール のTencent Cloud API キー画面に進んで取得することができます。
    region アクセスポイントリージョンとは、VODサーバーをリクエストするリージョンのことで、ストレージリージョンとは異なります。詳細はサポートするリージョンリスト をご参照ください。
    subAppId VODのサブアプリケーション IDです。ファイルをサブアプリケーションにマイグレーションする場合は、このフィールドにサブアプリケーションIDを入力します。マイグレーションの必要がない場合、入力する必要はありません。
    concurrency 同時にマイグレーションされるファイルの数量。最大値50
    supportMediaClassification マイグレーションでサポートされるメディアタイプのリスト。有効値:video(ビデオ)、audio(オーディオ)、image(画像)
    excludeMediaType 排除するファイルタイプのリスト
    migrateDbStoragePath マイグレーションされたdbの保存パス。空欄の場合は、現在のディレクトリを意味します。
    migrateResultOutputPath マイグレーション結果の保存パス(1個のマイグレーションレコードは、1行のjson形式の文字列に対応)。空欄の場合は、現在のディレクトリを意味します。

    ファイルタイプの説明:

    • ビデオ:MP4、TS、FLV、WMV、ASF、RM、RMVB、MPG、MPEG、3GP、MOV、WEBM、MKV、AVI、** HLS、DASHはサポートしない**
    • オーディオ:MP3、M4A、FLAC、OGG、WAV
    • 画像:JPG、JPEG、PNG、GIF、BMP、TIFF、AI、CDR、EPS

    3. データソース情報の設定

    [migrateType] のマイグレーションタイプに従って、対応するセクションを設定します。例えば、 [migrateType] の設定内容がtype=migrateLocalであれば、ユーザーは [migrateLocal] セクションを設定するだけです。

    3.1 ローカルのデータソースmigrateLocalの設定

    ローカルからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

    # ローカルからVODへのマイグレーションの設定セクション
    [migrateLocal]
    localPath = ''
    excludes = [ ]
    
    設定項目 説明
    localPath ローカルパスは、絶対パスの形式である必要があります
    excludes 排除するディレクトリの絶対パス。localPathのディレクトリにあるファイルはマイグレーションされないことを示します。

    3.2 URLリストのデータソースmigrateUrlの設定

    指定したURLリストからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

    # URLリストのダウンロードからVODにマイグレーションするための設定セクション
    [migrateUrl]
    urllistPath = 'D:\folder\urllist.txt'
    
    設定項目 説明
    urllistPath URLリストを保存しているファイルの絶対パス。ファイルの内容は1行に1個の元のURLアドレスを含むURLテキストです。

    3.3 COSデータソースmigrateCosの設定

    Tencent CloudのCOSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

    # Tencent CloudのCOSからVODへのマイグレーションの設定セクション
    [migrateCos]
    region = 'ap-shanghai'
    bucket = 'examplebucket-1250000000'
    secretId = 'COS_SECRETID'
    secretKey = 'COS_SECRETKEY'
    prefix = ''
    
    設定項目 説明
    region BucketのRegion情報についてはアベイラビリティリージョンをご参照ください
    bucket <bucketname-appid>形式のBucket名。 Bucket名はAPPIDを必ず含める必要があります。例:examplebucket-1250000000
    secretId Bucketが属するユーザーキーのsecretId。Tencent Cloud APIキー で表示することができます。
    secretKey Bucketが属するユーザーキーのsecretKey。 Tencent Cloud APIキー で表示することができます。
    prefix マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合は、prefixを空欄にします。

    3.4 AWSデータソースmigrateAwsの設定

    AWSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

    # AWSからVODへのマイグレーションの設定セクション
    [migrateAws]
    region = 'ap-northeast-2'
    bucket = 'bucket-aws'
    accessKeyId = 'AccessKeyId'
    accessKeySecret = 'AccessKeySecret'
    prefix = ''
    
    設定項目 説明
    region AWS COS Region
    bucket AWS COS Bucket名
    accessKeyId AccessKeyIdをユーザーキーに置換
    accessKeySecret AccessKeySecretをユーザーキーに置換
    prefix マイグレーションするパスのプレフィックス。 Bucketの全データをマイグレーションする場合は、prefixを空欄にします。

    3.5 Alibaba OSSデータソースmigrateAliの設定

    Alibaba Cloud OSSからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目及び説明は以下のとおりです。

    # Alibaba OSSからVODへのマイグレーションの設定セクション
    [migrateAli]
    bucket = 'bucket-aliyun'
    accessKeyId = 'yourAccessKeyId'
    accessKeySecret = 'yourAccessKeySecret'
    endPoint = 'oss-cn-hangzhou.aliyuncs.com'
    prefix = ''
    
    設定項目 説明
    bucket Alibaba Cloud OSS Bucket名
    accessKeyId yourAccessKeyIdをユーザーキーに置換
    accessKeySecret yourAccessKeySecretをユーザーキーに置換
    endPoint Alibaba Cloud endpointアドレス
    prefix マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合は、prefixを空欄にします

    3.6 QiniuデータソースmigrateQiniuの設定

    QiniuからVODにマイグレーションする場合は、この部分の設定を行います。具体的な設定項目および説明は以下のとおりです。

    # QiniuからVODへのマイグレーションの設定セクション
    [migrateQiniu]
    bucket = 'bucket-qiniu'
    accessKeyId = 'AccessKey'
    accessKeySecret = 'SecretKey'
    endPoint = 'www.bkt.clouddn.com'
    prefix = ''
    
    設定項目 説明
    bucket Qiniu Kodo Bucket名
    accessKeyId AccessKeyをユーザーキーに置換
    accessKeySecret SecretKeyをユーザーキーに置換
    endPoint QiniuダウンロードアドレスはdownloadDomainに対応
    prefix マイグレーションするパスのプレフィックス。Bucketの全データをマイグレーションする場合、prefixを空欄にします

    制限事項

    • このツールは1回限りのマイグレーションツールとして設計されています。マイグレーションはオリジンサーバーのファイルスキャンマイグレーション中マイグレーションの完了の3段階に分かれます。ファイルスキャンの完了後は、設定変更が必要な場合は、md5ファイルのチェックでエラーが発生しないように、dbファイルをクリアする必要があります(migrate.dbの削除またはdbストレージパスの修正)。
    • マイグレーションするファイルは接尾辞を付けて表示する必要があります。
    • HLS/DASHのマイグレーションは現在サポートしていません。
    • マイグレーション後は、元のビデオ間のディレクトリ関係は維持できず、各ビデオには独立したFileIdがあり、相互には関連していません。

    マイグレーションフローの概要

    1. 設定ファイルが読み取られ、セクションがマイグレーションtypeに従って読み取られ、パラメータがチェックされます。
    2. オリジンサーバーはマイグレーションタイプに従ってスキャンされ、マイグレーションタスクが生成されます。
    3. スキャンが完了すると、マイグレーションが実行され、各タスクの結果および全体の進捗が出力されます。
    4. マイグレーションが完了すると、詳細情報が結果ファイルに出力されます。
    お問い合わせ

    カスタマーサービスをご提供できるため、ぜひお気軽にお問い合わせくださいませ。

    テクニカルサポート

    さらにサポートが必要な場合は、サポートチケットを送信して弊社サポートチームにお問い合わせください。24時間365日のサポートをご提供します。

    電話サポート(24 時間365日対応)