データレイクコンピューティング DLC は、標準エンジンと SuperSQL エンジンの2種類のエンジンを提供します。具体的な違いについては、以下の表またはデータエンジンの紹介を参照してください。実際の業務要件に応じて、適切なエンジンを選択して使用できます。標準エンジンを選択する場合は、このドキュメントに従って設定および使用できます。 |
標準エンジン | Spark presto | 一体化Spark：標準Sparkエンジンでネイティブ構文を実行可能：Spark/Prestoコミュニティのネイティブ構文、学習や移行のコストが低い 柔軟に使用可能：Hive JDBCおよびPresto JDBCをサポート 一体化Spark：標準SparkエンジンでSQLおよびSparkバッチタスクを実行可能 | | 1. Spark/Presto ネイティブ構文を使用する必要があります。 2. Sparkエンジンを購入して、バッチジョブおよびオフラインSQLタスクを完了したいです。 3. Hive JDBCおよびPresto JDBCを使用したいです。 |
SuperSQLエンジン | SparkSQL Sparkジョブ presto | 統一構文：SparkおよびPrestoエンジンに適用される同一の構文 連邦クエリをサポート | SuperSQL統一構文を学ぶ必要があります
SQL/バッチタスクシナリオでは、対応するタイプのエンジンを購入することをお勧めします | 1. Spark + Presto 統一構文を使用したいです。 2. 連邦クエリを使用する必要があります。 |
注意：
1. 購入前に、CAMで財務権限が開通されているかどうかを確認してください。
2. リソースは地域を跨いで使用できません。購入前に現在の地域が正しいか確認してください。
標準エンジン構成ガイド
標準エンジンの購入と構成が完了したら、DLCのデータ探索で標準エンジンを使用できます。また、Spark標準エンジンの場合、マルチテナントやタスク分離の要件がある場合は、リソース割り当てと分離のための標準エンジンリソースグループを構成することもできます。具体的な手順は以下の通りです： 第一步：エンジンを購入
説明：
1. エンジンは地域を跨いで使用できません
2. エンジン仕様の推奨：16CUのクラスター規模は小さいため、テストシナリオでのみ使用することを推奨します。実際の本番環境では、64CU以上の仕様のクラスターを選択して購入することをお勧めします。
3. エンジンネットワーク設定：初回購入時にカスタムネットワーク設定が可能です。後で変更が必要な場合は、チケットを提出してください。 2. 左側のナビゲーションメニューから標準エンジンに入ります。「リソースを作成」をクリックすると、購入ページにジャンプしてエンジン購入を実現できます。 第二步：データ探索を使用します
標準エンジンを選択してクエリを実行します
説明：
標準エンジンのタイプに応じて、対応する構文に切り替えてクエリを行う必要があります。
タスクを実行する前に、コード編集領域の右上隅でデータエンジンを選択してください。データ探索で選択したエンジンタイプが標準Sparkエンジンの場合、DLCのデフォルトリソースグループ、作成済みのリソースグループ、または一時リソースグループ（カスタム構成）を使用してタスクリソースを割り当てることができます。
全量結果を取得します
標準エンジンは現在、ワークベンチで200件、500件、または1000件のクエリ結果を返すことをサポートしています。全量結果の取得については以下の方法を参照してください：
|
標準 Spark エンジン | 1. ユーザーは設定により、クエリ結果を自動的にCOSパス下またはDLCのマネージドストレージに保存して確認できます 2. ダウンロードしてローカルで確認 |
標準 Presto エンジン | JDBCを介して全量結果を取得します。 |
第三步：リソースグループの設定（オプション）
リソースグループは、Spark標準エンジンの計算リソースに対する二次キュー分割であり、詳細についてはリソースグループの紹介を参照してください。DLC Spark標準エンジンの計算ユニット（CU）は、必要に応じて複数のリソースグループに分割でき、各リソースグループが使用できるCU数の最小値と上限、起動/停止ポリシー、並列数、動的/静的パラメータなどを設定できます。これにより、マルチテナントやマルチタスクなどの複雑なシナリオにおける計算リソースの分離とワークロードの効率的な管理を実現します。 標準Sparkエンジンを購入すると、データレイクコンピューティング（DLC）はデフォルトのリソースグループを提供し、実際のビジネスニーズに基づいて複数のカスタムリソースグループを柔軟に作成して使用できるようサポートします。
説明：
エンジンとリソースグループは一対多の関係です。例えば、エンジンAの下には複数のリソースグループを持つことができます。
リソースグループの管理と設定
1. 左側のナビゲーションメニューから標準エンジンに入り、購入済みエンジンの名前/IDに基づいて、対応する操作欄のリソースグループの管理をクリックします。 2. リソース管理グループ画面に入り、左上のリソースグループ作成ボタンをクリックして、カスタムリソースグループの設定を行います。またはDLCのデフォルト設定リソースグループ（設定不要）を確認します。
付録
ゲートウェイ仕様選択に関する推奨事項
|
2CU | 30/50 | 100 | 4 | 50 | いいえ |
16CU | 80/150 | 250 | 12 | 150 | はい |
32CU | 220/400 | 600 | 35 | 400 | はい |
64CU | 400/600 | 1000 | 70 | 700 | はい |
注意：
ゲートウェイはデフォルトで2CU（無料）の仕様を提供しています。仕様のアップグレードが必要な場合は、ゲートウェイ詳細 > 仕様設定ボタンをクリックして購入を調整できます。操作手順については、ゲートウェイ紹介を参照してください。