プロダクト概要
製品の強み
適用シーン
ゲートウェイの紹介
DLC ゲートウェイは、Apache Kyuubi を基に深度最適化された Serverless 統合アクセスゲートウェイサービスです。このゲートウェイを通じて、Hive JDBC/Presto JDBC/DLC JDBC/テンセントクラウド API 標準インターフェースに基づき、DLC データ及び標準計算エンジンへの安定した安全なアクセスを実現し、大規模な計算エンジンアクセス管理の複雑さを軽減できます。例えば、SQL タスクや ETL ジョブをゲートウェイ経由で指定の標準計算エンジンに送信することが可能です。
ゲートウェイの価値
ゲートウェイは DLC 標準エンジン独自のサービスであり、ユーザーにクエリ遅延の低減、安全で高可用性、柔軟なアクセスなどの利点をもたらします：
クエリ遅延の低減：DLC ゲートウェイはクエリリンクの時間を大幅に短縮し、特に少量データのインタラクティブ分析性能を向上させます。
より多くの接続方式のサポート：ゲートウェイは Hive JDBC/Presto JDBC による DLC 標準エンジンへの接続をサポートし、様々なクエリシナリオに対応します。
エンタープライズレベルの高いセキュリティ：CAM認証パラメータ（AK/SK）による認証、サブユーザーのエンジン権限制御を実現します。
高可用性：ゲートウェイはより高い可用性と負荷分散を提供し、拡張による極めて高い同時クエリ処理をサポートします。
ゲートウェイアーキテクチャ
図のように、1つのエンジンネットワークでは1つのゲートウェイのみ作成できます。このゲートウェイは、同じエンジンネットワーク下に作成されたすべての標準SparkエンジンとPrestoエンジンを同時に管理します。
デフォルトでは、ユーザーは1つのエンジンネットワークしか所有できず、1つのゲートウェイしか作成できません。ビジネスシナリオが複雑で、並行処理などのパフォーマンス要件が高い場合、または一部の業務の重要性が高く環境分離が必要な場合は、複数のエンジンネットワークと複数のゲートウェイを作成し、異なるタスクを物理的に分離することをお勧めします。
注意：
1. 複数のエンジンネットワークとゲートウェイを作成するには、バックエンドでホワイトリストを開放する必要があります。チケットを提出する にて申請してください。
2. 異なるエンジンネットワークとゲートウェイ間は物理的に隔離されており、相互に通信することも、相手のエンジンにアクセスすることもできません。
新しいエンジンネットワークとゲートウェイを作成する
ホワイトリストが有効になっていない場合、ユーザーはデフォルトで1つのエンジンネットワークを持っています。ユーザーが手動でゲートウェイを作成する必要はなく、ユーザーがこのエンジンネットワークで最初のエンジンを作成するか、最初のタスクを送信するときに、DLCはデフォルトでこのエンジンネットワークに2CU仕様の無料ゲートウェイを作成します。
ホワイトリストを有効にした後、ユーザーは以下の図のように複数のエンジンネットワークを作成できます。ユーザーは新しいエンジンネットワークを作成をクリックして、新しいエンジンネットワークを作成できます。新しく作成したエンジンネットワークの下には一時的にゲートウェイが存在せず、同様にユーザーがそのエンジンネットワークで最初のエンジンを作成するか、最初のタスクを送信するときに、DLCはデフォルトでそのエンジンネットワークの下に仕様が2CUの無料ゲートウェイを作成します。
ユーザーはエンジンリストページの「エンジンネットワーク名/ID」列で、現在のエンジンがどのエンジンネットワークに属しているかを確認できます。
右上側の展開をクリックすると、エンジンネットワークリスト情報が表示されます。詳細をクリックすると、現在のエンジンネットワークの詳細情報（現在のネットワーク下にある標準エンジンの数、ネットワークが接続されているユーザーVPCの数、ゲートウェイの仕様などの詳細情報）を確認できます。
注意：
誤削除を防ぐため、ユーザーは直接エンジンネットワークを削除することはできません。現在のエンジンネットワーク下の標準エンジンの数が0の場合のみ、ユーザーはエンジンネットワークを削除をクリックしてネットワークを削除できます。
ゲートウェイ仕様
DLCは各エンジンネットワークに対して自動的に2CU仕様のゲートウェイを作成し、この2CUゲートウェイは課金されません。ただし、2CUゲートウェイはテスト環境のみに適しており、本番環境ではゲートウェイの拡張を推奨します。
DLCはさまざまなゲートウェイ仕様を提供しており、管理するエンジンの数やビジネスシナリオの最大クエリ同時実行QPSなどに応じてゲートウェイ仕様を選択することをお勧めします。詳細は以下の表をご覧ください：
ゲートウェイ仕様 | ゲートウェイはHA対応ですか | Sparkリソースグループ管理数量 | Prestoエンジン管理数量 | Spark SQL /Presto SQL 同時実行クエリ数 | Spark ML Notebook Sessionの瞬間同時作成数/最大作成数 | Spark Batch 瞬間同時タスク送信数/並列実行タスク数 |
2CU | いいえ | 50 | 4 | 100 | 10/20 | 30/50 |
16CU | はい | 150 | 12 | 200 | 20/80 | 80/150 |
32CU | はい | 400 | 35 | 600 | 100/200 | 220/400 |
64CU | はい | 700 | 70 | 1000 | 200/300 | 400/600 |
仕様をアップグレード
データレイクコンピューティング DLC はデフォルトで2CU仕様をユーザーに提供しますが、ビジネスシナリオが満たされず、仕様をアップグレードする必要がある場合は、購入して取得する必要があります。
注意：
1. ゲートウェイの仕様変更は、現在実行中のすべてのタスクを中断し失敗させる可能性がありますので、慎重に操作してください！
2. 変更プロセス全体には約10～15分かかります。ゲートウェイの状態が長時間「実行中」に戻らない場合は、チケットを提出して解決してください。
ユーザーがゲートウェイのアップグレードを行う必要がある場合、以下の手順に従って操作できます。
1. ナビゲーションバーの左側で標準エンジンをクリックし、エンジンリストページに進みます。
2. エンジンネットワーク > ゲートウェイ > 詳細をクリックし、エンジンネットワークの詳細ページに進みます。
3. 詳細ページを最下部までスクロールし、ゲートウェイの仕様設定をクリックします。
4. ポップアップ表示された「構成変更」ページで、変更したい仕様を選択し、変更を確認をクリックします。
よくあるご質問
JDBC経由でタスクを送信した際にインターフェースタイムアウトエラーが発生した場合の解決方法は？
まず、コンソールでゲートウェイの状態が正常か、稼働中かを確認します。ゲートウェイが保留中の状態にある場合は、起動ボタンでゲートウェイを起動してから再試行してください。エンジンネットワークの詳細ページに移動し、最下部のゲートウェイ詳細で起動をクリックします。
現在のゲートウェイの負荷が正常かどうかを判断するには？
DLCはゲートウェイの基本的な監視を提供しており、監視情報を通じてゲートウェイの健全性を判断できます。エンジンネットワークの詳細ページに移動し、最下部のゲートウェイ詳細で監視をクリックしてゲートウェイ監視ページに入ります。
また、ユーザーはTencent CloudのObservability Platformでアラートを設定できます。ゲートウェイのCPUやメモリ使用率が一定の制限を超えた場合、アラートが即時にユーザーに通知され、ゲートウェイのスケールアウトなどの操作を事前に行うことができます。
設定手順は以下の通りです：
1. Tencent Cloud可観測プラットフォームに進み、「アラート設定」を選択し、新しいポリシーをクリックします。
2. ポリシー名称：任意
ポリシータイプ：データレイクコンピューティング/ゲートウェイ（多次元）。
警報対象：地域はゲートウェイが所在する地域を選択し、ゲートウェイは警報が必要なゲートウェイを選択します。複数選択可能です。
トリガー条件：手動設定。図のようにcpu負荷とメモリ使用率のいずれかが70％を超えた場合に警報を発するように設定されています。ユーザーは自身のニーズに応じて他の警報を設定できます。
3. 次へをクリックして警報通知を設定します。既存の警報通知テンプレートがある場合は、既存のテンプレートを再利用できます。新しいテンプレートを作成する場合、警報トリガー後に通知するユーザーを設定するか、警報をWeChatグループに配信します。
4. 通知テンプレートを設定した後、完了をクリックします。
フィードバック