本稿では、TDSQL-C for MySQLがLibraDBエンジンに基づいて実装した新機能：分析エンジンについてご紹介します。
説明：
TDSQL-C for MySQLは、二種類のクラスタタイプをサポートしています：トランザクションクラスタと分析クラスタ。トランザクションクラスタは、読み取り専用分析エンジンを有効にすることで、TXSQL 読み書きインスタンスと連携して、HTAP機能を提供します。分析クラスタには読み取り専用分析エンジンのインスタンスのみが存在し、Zero-ETL機能によって設定されたデータソースのデータを分析エンジンに同期します。 背景
TDSQL-C for MySQLはクラウドネイティブデータベース製品として、高同時実行性、強力な一貫性、エンタープライズレベルのデータベース特性を支えるために、多くの最適化作業を行っています。TXSQLエンジンをベースに高性能なオンライントランザクション処理能力をサポートしています。しかし、高QPSのオンライントランザクションにデータベースサービスを利用する以外に、多くのビジネスシステムではデータの分析・マイニングが必要であり、データベースを活用した分析を行うことで、企業がより良いビジネス判断を行い、業務のイテレーションとイノベーションを推進し、市場環境の変化に迅速に適応できるよう支援します。
従来のデータベースは高性能なオンライントランザクション処理能力をサポートし、業務クエリの安定性を確保するため、通常は行ストレージを選択し、実行モデルとしてVolcanoモデルを採用しています。これにより、分析クエリを効率的に処理することが困難になります。一部の業務ではトランザクションと分析の混合ワークロードをサポートするために「従来型データベース＋データウェアハウス」ソリューションを選択しますが、この方式は顧客に高いメンテナンスコストをもたらし、データベースからデータウェアハウスへのETLツールを自ら構築する必要があるほか、データのリアルタイム性と一貫性も十分に確保できません。
したがって、Tencent CloudのクラウドネイティブデータベースであるTDSQL-C for MySQLは、新たに分析エンジン機能をサポートし、ユーザーに効率的かつリアルタイムなデータ分析サービスを提供します。
分析エンジンとは何ですか
分析エンジンはTDSQL-C for MySQLがサポートする新機能であり、この機能はLibraDBエンジンに基づいて実現し、読み取り専用インスタンスに基づいてサービスを提供します。そのプラガブルなエンジン設計により、柔軟な作成および破棄を実現できると同時に、ユーザーに大規模データ処理と効率的かつリアルタイムな複雑分析能力を提供します。
リージョンとアベイラビリティーゾーンをサポートしています。
機能メリット
高速分析エンジン LibraDB
LibraDBエンジンは、TB級のデータから複雑なクエリ分析を非常に低い実行遅延で完了することをサポートし、ビジネス分析システムが大規模データベースから有用な情報を効率的かつタイムリーに取得できるようにします。LibraDBエンジンは、ベクトル化エンジンや大規模並列実行など、分析クエリ向けの高速化機能をサポートしており、超大規模テーブルの複数テーブルJOIN、データ集計・ソート、複雑なネストSQLクエリなどのシナリオにおいても、優れたパフォーマンスを提供します。
プラガブル分析エンジン
LibraDBエンジンはMySQLプロトコルおよび構文と互換性があり、ユーザーはビジネスロジックを変更する必要なく、複雑なクエリ文を直接LibraDBで実行できます。また、業務の実際の状況に応じて分析エンジンの有効化を選択可能であり、分析加速が不要な場合にはいつでも分析エンジンを停止でき、コスト管理を実現します。
リアルタイム列ストレージデータロード能力
LibraDBエンジンに内蔵されたデータ同期コンポーネントにより、TDSQL-C for MySQLの既存データを分析エンジンに迅速にロードできます。データロード完了後、読み書きインスタンスでのデータ変更をリアルタイムで同期可能であり、行ストレージと列ストレージのデータをリアルタイムで一貫させます。さらに、従来の列ストレージが高同時更新・削除シナリオで効率低下する問題に対し、LibraDBエンジンは高同時更新環境下でも列ストレージ機能を提供し、リアルタイムデータ同期を支え、ゼロ遅延を実現します。
指定データロード機能
従来の読み取り専用インスタンスでは、すべてのプライマリデータベースのデータをセカンダリデータベースに同期する必要があります。しかし、分析エンジンについては、すべてのオブジェクトを必須とするのではなく、指定したオブジェクトを分析エンジンにロードすることをサポートします。ユーザーは分析エンジンによる高速化が必要なデータベースやテーブル、またはデータ分析価値のあるデータベースやテーブルを指定して分析エンジンにロードし、データ分析を実行できます。これにより、分析エンジンが占有するディスクサイズを柔軟に制御できます。
マルチソースデータマージ機能
分析クラスタの製品形態では、複数のデータソースを追加することで、複数のデータベースのデータを分析エンジンに集約・同期させ、テーブル統合機能を実現し、高効率かつリアルタイムなデータ分析サービスを提供します。
超高データ圧縮率
カラムナーストレージ構造に基づき、超高データスキャンパフォーマンスを提供すると同時に、平均4～5倍の圧縮率を実現し、ストレージコストを大幅に削減します。
充実したクラウドマネージドサービス機能
複雑なETLロジックの運用保守は不要で、データベースのバックエンド運用を気にする必要もありません。フルマネージドの製品設計により、すぐに使えるデータ分析機能を体験いただけます。また、包括的な監視機能を通じて、TXSQLから分析エンジンまで、リンク層からストレージ層まで、核心指標を厳選し、複雑さを簡素化。主要指標でインスタンスの健全性を迅速に把握でき、業務システムの使用に効果的な最適化ガイダンスを提供します。さらに、閾値アラートをカスタマイズ可能で、潜在的な異常を事前に防止できます。
適用シーン
分析エンジンは、ユーザーがETLツールを自ら構築してデータを同期させる際の複雑な運用保守課題を解決するため、リアルタイムの高性能データ分析を提供します。本機能により、ユーザーはワンクリックでデータ分析インスタンスを容易に構築でき、業務判断の根拠としてデータの価値を最大限に活用できます。
レポート分析、リアルタイムダッシュボード
企業内部向けの分析・管理レポーティングシステムでは、ビジネスシステムのオンライン稼働状況をタイムリーかつリアルタイムに確認可能です。また、業務運営向けデータ分析業務にも対応します。このような業務シナリオでは、複雑なSQLクエリと不定形のクエリパターンが発生し、高いスループットが要求されます。同時に、オンライン上のデータ量が多いため、分析エンジンを活用することで、当該シナリオにおけるリアルタイム性と高性能を両立できます。
ユーザープロファイリング、Behavior Analytics
広告業務やゲーム運営シナリオでは、ユーザーの行動やユーザープロファイリングに対する深層分析が頻繁に必要とされ、分析結果はリアルタイムの経営判断に活用されます。このようなシナリオではデータ量が膨大で、分析結果の迅速な返却が求められ、クエリのQPSも高くなります。分析エンジンを活用することで、ユーザーは当該シナリオにおいて必要な分析データを迅速に取得でき、ユーザー行動分析（Behavior Analytics）を通じて、精度の高いプッシュ関連業務の判断根拠として活用できます。
リアルタイムデータウェアハウス
ECサイトの大規模セールにおける注文データ分析、物流業界の運送状分析、金融業界の業績分析・指標計算、ライブ配信品質分析、広告プッシュ分析、インテリジェントコックピット、プローブ分析といったシナリオにおいても、分析エンジンを活用することで超高レベルの複雑クエリ性能を実現可能です。
ビッグデータ照合、Batch
一部のオンラインビジネス、特に金融関連の業務シナリオでは、定期的なデータ統計と照合計算が必要です。従来の行指向データにおけるBatch照合処理は効率が低く、リソース消費も大きく、業務目標を迅速に達成できません。分析エンジンの超並列計算能力を活用することで、業務要件を極めて効率的に実現できます。
集約分析
一部のオンラインビジネスでは、複数の業務モジュールのデータを集約してクエリする必要があるか、またはシャーディングシナリオにおいて分散データを統合する必要があります。分析クラスタの機能を活用することで、データを容易に統合・集約し設定できます。複雑な同期パイプラインを自前で構築する必要がなく、業務要件を効率的に実現可能です。