tencent cloud

Data Lake Compute

製品概要
プロダクト概要
製品の強み
適用シーン
購入ガイド
課金概要
返金説明
支払い期限切れ説明
設定調整費用の説明
クイックスタート
新規ユーザー開通フルプロセス
DLC データインポートガイド
DLCデータ分析の1分間入門
DLC権限管理の1分間入門
パーティションテーブル1分間入門
データ最適化をオンにする
クロスソース分析 EMR Hive データ
標準エンジン構成ガイド
操作ガイド
コンソール操作紹介
開発ガイド
実行環境
SparkJar ジョブ開発ガイド
PySparkジョブ開発ガイド
「クエリパフォーマンス最適化ガイド」
UDF 関数開発ガイド
システム制約
クライアントアクセス
JDBCアクセス
TDLC コマンドラインツールにアクセス
サードパーティソフトウェア連携
Python にアクセス
実践チュートリアル
DLC を Power BI に接続
テーブル作成の実践
Apache Airflowを使用してDLCエンジンのタスクをスケジュールして送信する
StarRocks は DLC 内部ストレージを直接クエリします
Spark の計算コスト最適化プラクティス
DATA + AI
ロールSSOを使用してDLCにアクセスする
SQL構文
SuperSQL構文
標準 Spark 構文概要
標準 Presto 構文の概要
予約語
API Documentation
History
Introduction
API Category
Making API Requests
Data Table APIs
Task APIs
Metadata APIs
Service Configuration APIs
Permission Management APIs
Database APIs
Data Source Connection APIs
Data Optimization APIs
Data Engine APIs
Resource Group for the Standard Engine APIs
Data Types
Error Codes
一般クラスリファレンス
エラーコード
クォータと制限
サードパーティソフトウェアでDLCに接続する操作ガイド
よくあるご質問
権限に関するよくあるご質問
エンジン類のよくある質問
機能に関するよくあるご質問
Sparkジョブクラスに関するよくある質問
DLC ポリシー
プライバシーポリシー
データプライバシーとセキュリティ契約
お問い合わせ

エンジンレベルパラメータ設定

PDF
フォーカスモード
フォントサイズ
最終更新日: 2025-12-24 16:43:14
説明:
現在、SparkSQLエンジンとSparkジョブエンジンの設定をサポートしています。
Sparkパラメータは、Apache Sparkアプリケーションの設定とチューニングに使用されます。自社構築のSparkでは、これらのパラメータはコマンドラインオプション、設定ファイル、またはプログラミング方式で設定できます。DLCでは、SparkSQLエンジンとSparkジョブエンジンのSQLおよびコードでSparkパラメータを指定できるほか、エンジンレベルのパラメータを直接設定することも可能です。エンジンレベルのSparkパラメータ設定は以下の通りです。

エンジンレベルパラメータ設定

1. SupersSQLエンジンモジュールに移動し、パラメータ設定をクリックすると、エンジンパラメータのサイドパネルが表示されます。
2. Sparkジョブエンジンでは、ジョブのデフォルトリソース仕様とパラメータを設定できます。SparkSQLエンジンでは、ジョブのデフォルトリソース仕様を気にする必要はありません。


エンジンレベルパラメータを使用する

Sparkジョブエンジンはエンジンレベルのパラメータを使用します

Sparkジョブエンジンでジョブを提出するには2つのエントリがあります:データジョブデータ探索。どちらもエンジンレベルのパラメータを使用できます。
データジョブを作成する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。ジョブパラメータ(--config)を使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。デフォルト設定を選択すると、エンジンレベルのリソース設定が使用されます。

データ探索でSparkジョブエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。


SparkSQLエンジンはエンジンレベルのパラメータを使用します

SparkSQLエンジンにはエンジンレベルのリソースパラメータがなく、タスクは可能な限りクラスターリソースを最大限に使用します。現在、SparkSQLエンジンはデータ探索でSQLを提出する必要があります。データ探索でSparkSQLエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータを継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きできます。




ヘルプとサポート

この記事はお役に立ちましたか?

フィードバック