DLCのデータエンジンは、DLCのデータ分析計算サービスの基盤であり、ユーザーがDLCで行うすべての計算にはデータエンジンを使用する必要があります。ユーザーの使用シナリオに応じて、共有エンジンまたは専用エンジンを選択できます。
共有エンジン
共有エンジン(public-engine)は、DLCサービスの開通後にデフォルトで提供されるデータエンジンであり、分析頻度が低く、計算データ量が少ないシナリオに適しています。ユーザーはリソースの設定や管理を行う必要がなく、タスクのスキャン量に応じて課金されます(詳細な料金については課金概要を参照してください)。実行されていない場合は課金されず、高い柔軟性と可用性を備えています。 DLCはServerlessアーキテクチャを採用しており、一定期間内で初めてタスクを実行する場合、データエンジンのスケジューリングが必要なため、待ち時間がやや長くなる可能性があります。
専有エンジン
専有エンジンは、ユーザーが有料で購入する専用のデータエンジンであり、リソース使用量に応じて課金されます。詳細な料金については課金概要を参照してください。 従量課金:分析データに周期性があり、ビジネスのピークと谷に応じて弾力的にスケーリングする必要があるユーザーに適しています。高い柔軟性と安定性を特徴とし、CU使用量に応じて課金されます。
年額課金:長期的で大量かつ安定したデータ分析ニーズに適しており、ビジネスのピークと谷に応じて弾力的にスケーリングでき、リソースの起動を待つ必要がなく、いつでも利用可能です。クラスター仕様に応じて月額課金されます。弾力的なスケーリングがサポートされている場合、システムは弾力的な拡張/縮小ルールに従ってクラスターの弾力的な拡張/縮小を行い、弾力的に拡張されたクラスターはCU使用量に応じて課金されます。
計算エンジンタイプ
異なる使用シナリオに応じて、専用エンジンはさまざまな計算エンジンを選択して異なるシナリオに対応できます。
SparkSQL:安定かつ効率的なオフラインSQLタスクに適しています。
Sparkジョブ:Sparkネイティブのストリーミング/バッチデータジョブ処理に適しています。
Presto:迅速で機敏なインタラクティブクエリ分析に適しています。
注意:
異なる計算エンジンのタイプは、専用エンジンの課金単価に影響しません。
エンジンの弾力性ルール
弾性ルールは、負荷ベースの弾性と時間ベースの弾性の2種類に分かれており、これらは互いに独立しており、ユーザーが同時に設定することができます。スケジュールされた弾性ルールが有効な時間帯には、システムは優先的に時間ベースの弾性ルールを実行します。それ以外の時間は、負荷ベースの弾性ルールに従って弾性的に調整されます。
負荷弾力で
クラスタ数とは、エンジン内の常駐クラスタの数を指し、クラスタ数 + 弾力性クラスタ数 = エンジンの弾力性時に達成可能な最大クラスタ数となります。
基本ルール:弾力性クラスタのデータが0より大きい場合にのみ、エンジンのスケーリングが発生します。
拡張ルール:データエンジンに現在存在するキューイングタスク>空き並行容量、タスクのキューイング時間が上限を超え、かつ初期化中のクラスタがない場合、システムは設定ルールに従ってデータエンジンを拡張します。
縮容ルール:データエンジンの現在のクラスタ数>常駐クラスタ数の場合、クラスタ全体の平均負荷が20%未満でかつアイドル状態のクラスタがある場合、システムはデータエンジンを縮容します。
以下の図に示すように、購入時にクラスタ数を2個、弾力性クラスタ数を3個、タスクのキューイング時間上限を5分に設定しました。クラスタタスクの高並列時、キューイングタスクが2個を超え、かつキューイング時間が5分を超える場合、システムはデータエンジンを拡張し、タスクのキューイング状況を緩和します。拡張成功後しばらくすると、クラスタタスクのキューイング状況が緩和され、アイドル状態で負荷の低いクラスタが存在する場合、システムはデータエンジンを縮容します。
弾力性拡張/縮容の場合、データエンジンのクラスタ数は設定されたクラスタ数を下回らず、設定されたクラスタ数と弾力性クラスタ数の合計を超えません。
例えば:購入時にクラスタ数を2個、弾力性クラスタ数を3個に設定した場合、弾力性拡張後、クラスタ数は5個を超えず、弾力性縮容後、クラスタ数は2個を下回りません。
注意:
従量課金クラスタが不要な場合、リソースの浪費を避けるためにクラスタをサスペンド操作できます。
時間弾力で
注意事項
1. 時間弾力機能はSuperSQL PrestoおよびSpark SQLエンジンのみでサポートされています。
2. ユーザーは時間弾力機能とクラスターの定期的な起動/停止機能を同時に有効にすることはできません。
設定パス
リソース管理 > SuperSQLエンジン > ターゲットエンジンを選択 > エンジン名をクリックしてエンジン詳細ページに移動 > 構成情報 > その他 > 規模構成変更 > 弾力性ルール > スケジュールされた弾力性を有効にするにナビゲートすると、時間別弾力性構成を行うことができます。
構成が完了し、変更が確認されると、設定はすぐに有効になります。
設定説明
1. 実行タイプ
1.1 1回実行する
ユーザーは弾力的な時間帯が有効になるタイムゾーンを自分で選択できます。
有効時間帯の合計時間は24時間を超えません。
弾力的なクラスタ数には最小値と最大値を入力する必要があります。
弾力的な時間帯が開始すると、クラスタは最小数に基づいてスケールアウトします。
弾力的な時間帯内に、システムは負荷に応じて最大数まで動的にスケールアウトできます。
常駐クラスターと弾力クラスターの最大数の合計は10個を超えてはなりません。
タスクのキューイング時間上限:
タスクのキューイングの最長待機時間を設定します。
0に設定でき、キューイングが発生すると即座に弾力拡張がトリガーされることを意味します。
キューイング時間が設定値を超えた場合、システムは弾力リソース(起動時間はリソースの数によって異なります)を起動し、クラスターの弾力拡張をトリガーします。
1.2 繰り返し実行
同一実行頻度で複数の弾力性計画を追加でき、各計画の時間帯は重複してはなりません。
弾力性計画は追加順に順次実行されます。
1.2.1 実行頻度サポート:
日次
有効時間帯の合計時間は24時間を超えません。
終了時間が開始時間より早い場合、日をまたいで実行と見なされます。
週次
ユーザーは具体的な曜日を選択でき、複数選択が可能です。
月次
ユーザーは具体的な日付を選択でき、複数選択が可能です。
「月末」を選択すると、毎月の最終日に実行されます(当月の日数に関係なく)。
エンジンの動作状態
クラスタは現在の稼働状況に応じて、起動中、実行中、一時停止、一時停止中、構成変更中、隔離、隔離中、復旧中の8つの状態に分類されます。
起動中:このクラスターリソースは現在起動中であり、従量課金の専用エンジンはこの時点では課金されません。起動中のクラスターはデータ計算に選択して使用することはできません。
実行中:このクラスターは正常に動作しており、データ計算に選択して使用することができます。
一時停止中:このクラスターは一時停止中であり、データ計算に選択して使用することはできません。
一時停止中:このクラスターは一時停止状態に切り替わっており、実行中のタスクに影響を与える可能性があります。データ計算に選択して使用することはできません。
変更中:このクラスターは構成変更中であり、変更期間中はデータ計算に使用することはできません。
隔離中:アカウントの未払いによりクラスターが隔離されており、データ計算に選択して使用することはできません。
隔離中:アカウントの未払いにより、クラスターが隔離状態に切り替わっており、実行中のタスクに影響を与える可能性があります。データ計算に選択して使用することはできません。
復旧中:アカウントのチャージにより未払いが解消された後、クラスターが隔離状態から実行状態に復旧している過程であり、データ計算に選択して使用することはできません。