プロダクト概要
製品の強み
適用シーン
設定パラメータ | 説明 |
作業名 | 日本語、英語、数字および「_」をサポートし、最大100文字まで |
作業タイプ | バッチ処理：Spark jar に基づくバッチデータ処理作業 ストリーム処理：Spark Streaming に基づくストリームデータ処理作業 SQL作業：バックグラウンドでJarパッケージにカプセル化され、spark.sqlオペレーターを呼び出してSQL文を実行します |
プログラムパッケージ | jar形式をサポートします。 オブジェクトストレージcos内のファイルを選択するか、ローカルからアップロードすることができます。ローカルアップロードは5MBを超えることはできません。プログラムパッケージが5MBを超える場合は、まずcosにアップロードしてから使用してください。 cosストレージパスを直接入力できます |
メインクラス（Main Class） | jarファイルを選択する際に必須です。jarパッケージのメインクラスパラメータで、複数のパラメータはスペースで区切ります |
プログラムエントリパラメータ | 任意。プログラムのエントリパラメータで、複数の入力が可能です。複数のパラメータは「スペース」で区切ります |
ジョブパラメータ | 必須ではありません。ジョブ-config情報で、spark.で始まるパラメータをk=v形式で記入し、複数のパラメータは改行して記入します。 例：spark.network.timeout=120s |
Sparkイメージ | 必須 |
依存する jar リソース（--jar） | 任意。jar形式をサポートし、複数選択可能 オブジェクトストレージcos内のファイルを選択するか、ローカルからアップロードすることができます。ローカルアップロードは5MBを超えることはできません。リソースが5MBを超える場合は、まずcosにアップロードしてから使用してください。 cosストレージパスを直接入力でき、複数のパスは「;」で区切ります |
依存する py リソース（--py-files） | 任意。py、zip、egg形式をサポートし、複数選択可能 オブジェクトストレージcos内のファイルを選択するか、ローカルからアップロードすることができます。ローカルアップロードは5MBを超えることはできません。リソースが5MBを超える場合は、まずcosにアップロードしてから使用してください。 cosストレージパスを直接入力でき、複数のパスは「;」で区切ります |
依存する files リソース（--files） | 任意。jar、zip形式はまだサポートされていませんが、複数選択可能です オブジェクトストレージcos内のファイルを選択するか、ローカルからアップロードすることができます。ローカルアップロードは5MBを超えることはできません。リソースが5MBを超える場合は、まずcosにアップロードしてから使用してください。 cosストレージパスを直接入力でき、複数のパスは「;」で区切ります |
依存する archives リソース（--archives） | 任意。tar.gz、tgz、tar形式をサポートし、複数選択可能 オブジェクトストレージcos内のファイルを選択するか、ローカルからアップロードすることができます。ローカルアップロードは5MBを超えることはできません。リソースが5MBを超える場合は、まずcosにアップロードしてから使用してください。 cosストレージパスを直接入力でき、複数のパスは「;」で区切ります |
CAM Role arn | |
リソース設定 | データジョブのエンジンリソースを設定可能で、設定可能なリソース数は選択したデータエンジン仕様を超えません。リソース説明：1CU≈1コア4G 課金CU数 = Executorリソース * Executor数 + Driverリソース 従量課金のデータエンジン費用は、計算CU数の使用量に基づいて請求されます。 |
フィードバック