説明:
現在、SparkSQLエンジンとSparkジョブエンジンの設定をサポートしています。
Sparkパラメータは、Apache Sparkアプリケーションの設定とチューニングに使用されます。自社構築のSparkでは、これらのパラメータはコマンドラインオプション、設定ファイル、またはプログラミング方式で設定できます。DLCでは、SparkSQLエンジンとSparkジョブエンジンのSQLおよびコードでSparkパラメータを指定できるほか、エンジンレベルのパラメータを直接設定することも可能です。エンジンレベルのSparkパラメータ設定は以下の通りです。
エンジンレベルパラメータ設定
1. SupersSQLエンジンモジュールに移動し、パラメータ設定をクリックすると、エンジンパラメータのサイドパネルが表示されます。 2. Sparkジョブエンジンでは、ジョブのデフォルトリソース仕様とパラメータを設定できます。SparkSQLエンジンでは、ジョブのデフォルトリソース仕様を気にする必要はありません。
エンジンレベルパラメータを使用する
Sparkジョブエンジンはエンジンレベルのパラメータを使用します
Sparkジョブエンジンでジョブを提出するには2つのエントリがあります:データジョブ、データ探索。どちらもエンジンレベルのパラメータを使用できます。 データジョブを作成する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。ジョブパラメータ(--config)を使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。デフォルト設定を選択すると、エンジンレベルのリソース設定が使用されます。
データ探索でSparkジョブエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータとリソース設定を継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きでき、エンジンレベルのリソース設定を継承するかどうかを選択できます。
SparkSQLエンジンはエンジンレベルのパラメータを使用します
SparkSQLエンジンにはエンジンレベルのリソースパラメータがなく、タスクは可能な限りクラスターリソースを最大限に使用します。現在、SparkSQLエンジンはデータ探索でSQLを提出する必要があります。データ探索でSparkSQLエンジンを使用してSQLを実行する際、デフォルトでエンジンレベルのパラメータを継承します。SQLのsetコマンドを使用してエンジンレベルパラメータを上書きできます。