Release Notes
お知らせ
吹替級動画翻訳の導入
吹替級動画翻訳機能について
吹替級動画翻訳機能は、字幕削除、字幕抽出、字幕翻訳、字幕焼き込み、およびAIによる吹き替えなど、MPSの強力な複数の基本能力を統合しています。この機能は、動画内の元字幕を自動認識して正確に削除した後、大規模言語モデルで翻訳を実行し、かつ翻訳後の字幕を動画にシームレスに焼き込みます。さらに、自然で流暢なAIによる吹き替えを提供し、視聴体験を向上させます。この機能により、ユーザーはAI翻訳言語の吹き替えがついた新しい動画を簡単に生成でき、多言語動画の制作と公開を迅速に実現し、全世界の視聴者のニーズに応えることができます。価格の詳細については、課金説明をご参照ください。
動画翻訳タスクの開始
事前準備
スマート消去のご利用前に、Media Processing Service（MPS）を正常に利用するためには、以下の準備を完了する必要があります。具体的には、Tencent Cloudアカウントの登録とログイン、MPS製品の有効化とサービスロールへの権限付与です。
方法1：コンソールからのタスク開始
1. コンソールのタスク作成ページに進み、「入力ファイルパスを選択」→「ワークフローを設定」→「出力パスを指定」を順に行います。
2. ワークフローの設定で、メディアAI - インテリジェント分析ノードを選択します。
3. 右側のポップアップページから25番のプリセットテンプレートを選択します。「詳細設定 - 拡張パラメータ」を開き、以下の拡張パラメータ説明に従って必要なパラメータを入力します。
説明：
25号プリセットテンプレートは、デフォルトでインテリジェント削除-透かし除去基本版機能です。動画翻訳タスクを開始するには、拡張パラメータを入力する必要があります。しない場合、MPSは動画に対して透かし除去処理のみを行います。
MPSコンソールは自動的にエスケープ処理を行いますので、JSONデータを直接入力してください。エスケープ処理済みの文字列を入力した場合、タスクは失敗する可能性があります。
方法2：APIによるタスク開始
ProcessMedia APIを呼び出し、AiAnalysisTask タスクを選択し、Definitionを25（プリセットテンプレートID）に設定し、ExtendedParameter に拡張パラメータを入力します。このパラメータにより動画翻訳機能を実現します。具体的な値は以下の拡張パラメータ説明をご参照ください。ProcessMediaのJSON 例は以下のどおりです。
{"InputInfo":{ //入力動画パスで、オリジナル動画に置き換えてください"Type":"URL","UrlInputInfo":{"Url":"https://test-1234567.cos.ap-nanjing.myqcloud.com/mps_test/myvideo.mp4"}},"OutputStorage":{ //出力COSストレージバケットで、置き換えてください"Type":"COS","CosOutputStorage":{"Bucket":"test","Region":"ap-nanjing"}},"OutputDir":"/mps_test/output/",//出力フォルダパスで、置き換えてください""AiAnalysisTask":{"Definition":25, //プリセットテンプレートIDで、25とご入力ください"ExtendedParameter":"{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}" //拡張パラメータで、動画翻訳の具体的な機能を指定するもの},"TaskNotifyConfig":{ //イベントコールバック通知設定、選択項目"NotifyType":"URL","NotifyUrl":"http://www.qq.com/callback"}}
素早く検証するには、API Explorerの利用をお勧めします。上記のJSONをAPI ExplorerのJSONモードに貼り付け、「フォーム」モードに切り替えると自動解析されます。入力・出力パスなどの必要なパラメータを調整し、呼び出し実行をクリックしてください。
API ExplorerフォームとJSONの2つの入力モードにおいて、ExtendedParameterの位置は下図の通りです。
注意：
API ExplorerのフォームモードでExtendedParameterを入力する場合は、JSONを直接入力する必要があり、文字列に変換する必要はありません。ただし、API ExplorerのJSONモードを使用する場合、また直接APIインターフェースを使用する場合は、エスケープされた文字列を入力する必要があります。
API Explorerのフォームモードでは、ExtendedParameterにJSONを入力するだけで済みます：
API ExplorerのJSONモードでは、ExtendedParameterにエスケープされた文字列を入力する必要があります。例：
{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
ExtendedParameter拡張パラメータについて
動画翻訳機能を使用するシナリオによって、適切な拡張パラメータの設定が必要です。以下に、主なシナリオとその説明を示します。
シナリオ1：OCRによる字幕抽出・翻訳+元字幕の削除+新字幕焼き込み+AIクローン音声（最も一般的なパターン）
動画の字幕と音声を指定言語に翻訳し、翻訳言語の字幕と音声が組み込んだ新しい動画を生成します。字幕と音声の内容は、OCRによるテキスト抽出（動画画面上の元字幕の抽出）によって取得されます。画面上に元言語の字幕がある動画の場合、このシナリオの適用をお勧めします。
課金説明
このシナリオ機能を使用すると、「字幕削除」、「OCRによる字幕抽出・翻訳+字幕焼き込み」、および「音声合成・差し替え（クローン音色）」の3つの課金項目が発生します。
字幕の焼き込みを有効にしない場合、「字幕削除」、「OCRによる字幕抽出・翻訳」、「音声合成・置換（クローン音色）」の3つの課金項目が発生します。
ExtendedParameter パラメータは以下の通りです：
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr"}}//APIを直接呼び出すか、API ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
言語指定
デフォルトでは中国語から英語への翻訳（翻訳元言語は簡体字中国語、翻訳先言語は英語）となります。他の言語が必要な場合は、ExtendedParameterに
translate_src_languageとtranslate_dst_languageパラメータを追加して入力してください。対応言語とそのcodeについては、以下の動画翻訳対応言語をご参照ください。例：{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr","subtitle_param": {"translate_src_language": "de", //ドイツ語""translate_dst_language": "id" //インドネシア語}}}/*APIを直接呼び出すか、またはAPI ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 動画の翻訳元を指定するもので、指定しない場合はデフォルトで中国語となりますtranslate_dst_language: 翻訳先言語を指定するもので、指定しない場合はデフォルトで英語となります*/
字幕焼き込みを有効にしない
字幕を動画の画面に焼き込む必要がない場合は、以下のパラメータを追加することができます
"use_draw": false。{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr","subtitle_param": {"use_draw": false}}}/*use_draw: 未入力またはtrueを入力した場合は字幕を焼き込むことを意味し、falseを入力した場合は字幕を焼き込みないことを意味しますAPIを直接呼び出すか、またはAPI ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
シナリオ2：ASRによる字幕抽出・翻訳+新字幕焼き込み+AIクローン音声
シナリオ2もシナリオ1と同様に、動画の字幕と音声を指定言語に翻訳し、翻訳先言語の字幕と音声がついた新しい動画を生成します。ただし、字幕と音声の内容はASR（動画ソースの音声内容を認識し、字幕に変換）に由来します。シナリオ2では、自動的な字幕除去処理は行われません。
課金説明
ExtendedParameter パラメータは以下の通りです：
{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr"}}//APIを直接呼び出すか、API ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\"}}
言語指定
デフォルトでは中国語から英語への翻訳（翻訳元言語は簡体字中国語、翻訳先言語は英語）となります。他の言語が必要な場合は、ExtendedParameterに
translate_src_languageとtranslate_dst_languageパラメータを追加して入力してください。対応言語とそのcodeについては、以下の動画翻訳対応言語をご参照ください。例：{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr","subtitle_param": {"translate_src_language": "de", //ドイツ語""translate_dst_language": "id" //インドネシア語}}}/*APIを直接呼び出すか、またはAPI ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"}}}translate_src_language: 動画の翻訳元を指定するもので、指定しない場合はデフォルトで中国語となりますtranslate_dst_language: 翻訳先言語を指定するもので、指定しない場合はデフォルトで英語となります*/
字幕焼き込みを有効にしない
字幕を動画画像に焼き込まない場合は、ExtendedParameterに以下のパラメータを追加することができます
"subtitle_param": { "use_draw": false }。{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_asr","subtitle_param": {"use_draw": false}}}/*APIを直接呼び出すか、またはAPI ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_asr\\",\\"subtitle_param\\":{\\"use_draw\\":false}}}*/
シナリオ3：スタンダード音色によるAI吹き替え
動画翻訳AI吹き替え機能では、以下の2種類の音色が選択できます。
スタンダード音色：中国語、英語、日本語の3言語に対応し、複数の音声（男性・女性・児童）から選択可能です。「音声合成・差し替え（スタンダード音色）」の料金が発生します。
クローン音色：先端的なAI音声クローン技術に基づき、音声の特徴を再現します。本機能では「音声合成・差し替え（クローン音色）」の料金が発生します。
シナリオ1と2は、デフォルトでクローン音色が使用されます。現在、スタンダード音色の機能アップグレード中のため、暫くクローズドベータテストのみ開放されています。ご利用の場合は、営業担当までお問い合わせいただくか、サポートチケットを作成してください。
付録：動画翻訳対応言語
動画翻訳機能でAIによるクローン音色を選択した場合、以下の言語が利用できます。
言語 | Code | ソース言語に適用（translate_src_language） | ターゲット言語に適用（translate_dst_language） |
中国語 (Chinese) | zh | ✓ | ✓ |
英語 (English) | en | ✓ | ✓ |
日本語 (Japanese) | ja | ✓ | ✓ |
ドイツ語 (German) | de | ✓ | ✓ |
フランス語 (French) | fr | ✓ | ✓ |
韓国語 (Korean) | ko | ✓ | ✓ |
ロシア語 (Russian) | ru | ✓ | ✓ |
ウクライナ語 (Ukrainian) | uk | ✓ | ✓ |
ポルトガル語 (Portuguese) | pt | ✓ | ✓ |
イタリア語 (Italian) | it | ✓ | ✓ |
スペイン語 (Spanish) | es | ✓ | ✓ |
インドネシア語 (Indonesian) | id | ✓ | ✓ |
オランダ語 (Dutch) | nl | ✓ | ✓ |
トルコ語 (Turkish) | tr | ✓ | ✓ |
フィリピン語 (Filipino) | fil | ✓ | ✓ |
マレー語 (Malay) | ms | ✓ | ✓ |
ギリシャ語 (Greek) | el | ✓ | ✓ |
フィンランド語 (Finnish) | fi | ✓ | ✓ |
クロアチア語 (Croatian) | hr | ✓ | ✓ |
スロバキア語（Slovak） | sk | ✓ | ✓ |
ポーランド語 (Polish) | pl | ✓ | ✓ |
スウェーデン語 (Swedish) | sv | ✓ | ✓ |
ヒンディー語 (Hindi) | hi | ✓ | ✓ |
ブルガリア語 (Bulgarian) | bg | ✓ | ✓ |
ルーマニア語 (Romanian) | ro | ✓ | ✓ |
アラビア語 (Arabic) | ar | ✓ | ✓ |
チェコ語 (Czech) | cs | ✓ | ✓ |
デンマーク語 (Danish) | da | ✓ | ✓ |
タミル語 (Tamil) | ta | ✓ | ✓ |
ハンガリー語 (Hungarian) | hun | ✓ | ✓ |
ベトナム語 (Vietnamese) | vi | ✓ | ✓ |
AI吹き替えのスタンダード音色を選択した場合、複数の音声（男性、女性、子供）から選択可能です。なお、スタンダード音色の機能アップグレード中のため、暫くクローズドベータテストのみ開放されています。詳細な音声タイプ及び対応言語の一覧については、営業担当までお問い合わせいただくか、チケットを作成してください。
タスク結果の確認
動画翻訳タスクは処理済みの動画ファイルを出力し、タスク設定された出力パスに保存されます。
コンソールでの確認
1. コンソールのタスク管理ページでタスクのステータスを確認できます。サブタスクのステータスが「成功」になった場合、コールバックJSONをクリックしてください。
2. 出力情報から出力ファイルのパスを確認できます。
出力先をCOSに設定した場合、出力されたファイルは、MPSコンソールのワークフロー管理 > COS Bucket > 出力Bucket ページで確認できます。「delogo-xxx.mp4」のようなファイル名の動画が翻訳処理済みの動画ファイルです。
イベント通知コールバック
ProcessMediaでメディア処理タスクを開始する際、TaskNotifyConfigパラメータでイベントコールバックを設定できます。タスク処理が完了すると、設定されたコールバック情報を通じてタスク結果がコールバックされます。ParseNotificationでイベント通知結果を解析可能です。
APIによるタスク結果の確認
ProcessMediaを使用してメディア処理タスクを開始すると、タスクID（TaskId）が返されます。例：24000022-WorkflowTask-b20a8exxxxxxx1tt110253、24000022-ScheduleTask-774f101xxxxxxx1tt110253。DescribeTaskDetailAPIを呼び出し、タスクIDを入力するとタスク結果を取得できます。WorkflowTask ->AiAnalysisResultSetフィールドを解析してタスク結果を取得する必要があります。
よくあるご質問
字幕がある動画の翻訳は対応していますか、また、その使用方法を教えてください？
ローカライズ結果に満足できない場合、どのように再調整すればいいですか？
動画ローカライズは再調整をサポートしています。ExtendedParameterにパラメータ
"fine_tuning": trueを追加することで、再調整を有効にすることができます。例は以下の通りです。{"delogo": {"cluster_id": "gpu_pre","CustomerAppId": "audio_clone_ocr","subtitle_param": {"translate_src_language": "de", //動画のソース言語で、指定しない場合はデフォルトで中国語となります"translate_dst_language": "id" //翻訳のターゲット言語で、指定しない場合はデフォルトで英語となります},"audio_replease": {"fine_tuning": true //trueは再調整を有効化し、falseまたは指定しない場合は無効化にします}}}/*APIを直接呼び出すか、またはAPI ExplorerのJSONモードを使用する場合は、エスケープ済みのものを使用してください：{\\"delogo\\":{\\"cluster_id\\":\\"gpu_pre\\",\\"CustomerAppId\\":\\"audio_clone_ocr\\",\\"subtitle_param\\":{\\"translate_src_language\\":\\"de\\",\\"translate_dst_language\\":\\"id\\"},\\"audio_replease\\":{\\"fine_tuning\\":true}}}*/
有効にすると、動画ローカライズ処理の結果として、以下の3つのファイルが出力されます。
1. 翻訳言語の吹き替えおよび字幕付きの動画
2. 字幕除去のみ行い、吹き替え音声のない動画（字幕なし動画）
3. 字幕および話者マーキングファイル（Speakerファイル）
ファイル1（翻訳言語の吹き替えおよび字幕付きの動画）に満足できない場合、ファイル3（Speakerファイル）を修正した後、ファイル2（字幕なし動画）と合わせて入力として使用し、新規AI音声吹き替え タスクを開始することで、翻訳言語の吹き替えおよび字幕付きの新しい動画ファイルを生成できます。
Speakerファイルの修正例：
誤ってマークされた話者（SpeakerId）を修正することで、異なる話者の音声が混ざる「クロストーク」を防ぐことができます。
短すぎるタイムスタンプを修正し、吹き替えの話速が速くなりすぎる問題を回避します。
訳文を修正し、より自然で口語的な表現にします。
フィードバック