./tdlc [command] --helpを使用してTDLCの使用方法を確認できます。オペレーティングシステム | TDLCバイナリパッケージ ダウンロード先 |
Windows | |
Mac | |
Linux |
tdlcに名前を変更します。クライアントのコマンドラインを開き、ダウンロードパスに切り替えます。Mac/Linuxシステムの場合は、chmod +x tdlcコマンドを使用してファイルに実行権限を付与する必要があります。./tdlcを実行し、以下の内容が正常に表示されれば、インストールが成功し使用可能です。Tencentcloud DLC command tools is used to play around with DLC.With TDLC user can manger engines, execute SQLs and submit Spark Jobs.Usage:tdlc [flags]tdlc [command]Available Commands:confighelp Help about any commandspark Submit spark app to engines.sql Executing SQL.versionFlags:--endpoint string Endpoint of Tencentcloud account. (default "dlc.tencentcloudapi.com")--engine string DLC engine. (default "public-engine")-h, --help help for tdlc--region string Region of Tencentcloud account.--role-arn string Required by spark jar app.--secret-id string SecretId of Tencentcloud account.--secret-key string SecretKey of Tencentcloud account.--token string Token of Tencentcloud account.Use "tdlc [command] --help" for more information about a command.
グローバルパラメータ | 説明 |
--endpoint string | サービス接続アドレス、デフォルトでは dlc.tencentcloudapi.com を使用します |
--engine string | |
--region string | 利用地域。例: ap-nanjing, ap-beijing, ap-guangzhou, ap-shanghai, ap-chengdu, ap-chongqing, na-siliconvalley, ap-singapore, ap-hongkong |
--role-arn string | |
--secret-id string | 腾讯雲アカウントのsecretId |
--secret-key string | 腾讯雲アカウントのsecretKey |
--token string | （任意）Tencent Cloudアカウントの一時トークン |
コマンド | 説明 |
list | 現在のデフォルト設定をリスト表示します |
set | 構成を変更する |
unset | 設定をリセット |
./tdlc config list./tdlc config set secret-id={1} secret-key={2} region={b}./tdlc config unset region
パラメータ | 説明 |
-e, --exec | SQL文を実行する |
-f, --file | SQLファイルを実行します。複数のSQLファイルがある場合は、 ;で分割してください |
--no-result | 実行後に結果を取得しません |
-p, --progress | 実行進捗を表示 |
-q, --quiet | サイレントモード、タスクを送信した後にタスクの実行状態を待機しません |
./tdlc sql -e "SELECT 1" --secret-id aa --secret-key bb --region ap-beijing --engine public-engine./tdlc sql -f ~/biz.sql --no-result
コマンド | 説明 |
submit | spark-submitでタスクを送信する |
run | sparkジョブを実行する |
log | 実行ログの表示 |
list | sparkジョブリストを表示する |
kill | タスクを終了する |
パラメータ | 説明 |
--driver-size | ドライバー仕様、デフォルトでsmall、medium、large、xlargeを使用し、メモリ型クラスターはm.xmall、m.medium、m.large、m.xlargeを使用します |
--executor-size | executor 仕様、デフォルトで small、medium、large、xlarge を使用し、メモリ型クラスターは m.xmall、m.medium、m.large、m.xlarge を使用します |
--executor-num | executor 数量 |
--files | sparkジョブリストを表示する |
--archives | 依存圧縮ファイル |
--class | Java/Scala で実行するメイン関数 |
--jars | 依存するjarパッケージ、 ,で分割して使用 |
--name | プログラム名称 |
--py-files | 依存するpythonファイル、.zip、.egg、.py形式をサポート |
--conf | 追加構成 |
./tdlc spark submit --name spark-demo1 --engine sparkjar --jars /root/sparkjar-dep.jar --class com.demo.Example /root/sparkjar-main.jar arg1./tdlc spark submit --name spark-demo2 cosn://bucket1/abc.py arg1
フィードバック