기능 개요
데이터 구독은 DTS가 데이터베이스에서 주요 비즈니스의 데이터 변경 정보를 가져와 메시지 객체로 변환하고 다운스트림 비즈니스가 구독, 가져오기 및 소비할 수 있도록 Kafka로 푸시하는 프로세스입니다. DTS를 사용하면 Kafka Client를 통해 직접 데이터를 사용할 수 있으므로 TencentDB 데이터베이스와 캐시 업데이트, 실시간 ETL(데이터 웨어하우징 기술) 동기화 및 비동기 비즈니스 디커플링과 같은 이종 시스템 간의 데이터 동기화 기능을 구축할 수 있습니다.
구현 원리
다음은 데이터 구독이 소스 데이터베이스에서 증분 Binlog를 실시간으로 가져와서 증분 데이터를 Kafka message로 구문 분석한 다음 Kafka Server에 저장하는 방법을 설명하기 위해 MySQL을 예로 들어 설명합니다. Kafka Client를 통해 데이터를 사용할 수 있습니다. 오픈 소스 메시징 미들웨어인 Kafka는 다중 채널 데이터 소비 및 다중 프로그래밍 언어용 SDK를 지원하여 사용 비용을 절감합니다.
일반적인 사용 사례
데이터 아카이브 스토리지
DTS의 데이터 구독 기능을 사용하면 TencentDB의 업데이트된 증분 데이터를 실시간으로 스트림으로 아카이브 데이터베이스 또는 데이터 웨어하우스에 푸시할 수 있습니다.
제한
현재 구독 메시지 내용은 기본적으로 1일 동안 보관됩니다. 만료된 데이터는 삭제됩니다. 따라서 즉시 데이터를 소비하는 것이 좋습니다.
데이터가 소비되는 리전은 가입된 데이터베이스의 리전과 동일해야 합니다.
MySQL, MariaDB 및 TDSQL for MySQL에 대한 데이터 구독은 geometry 데이터 유형을 지원하지 않습니다.
지원되는 구독 유형
DTS를 사용하면 데이터베이스와 테이블을 구독할 수 있습니다. 다음 세 가지 구독 유형이 지원됩니다.
데이터 업데이트: DML 작업 구독.
구조 업데이트: DDL 작업 구독.
전체 인스턴스: 모든 테이블의 DML 및 DDL 작업 구독.
지원되는 고급 기능
|
| DTS는 Kafka 프로토콜을 사용하고 여러 프로그래밍 언어용 Kafka Client SDK를 지원합니다. | |
| 데이터 구독 메트릭을 모니터링할 수 있습니다. 데이터 구독 이벤트 모니터링에 대해 기본 구성이 지원되어 예외 이벤트를 자동으로 알려줍니다. | |
| DTS를 사용하면 소비자 그룹을 통해 동시에 사용할 수 있는 단일 데이터베이스에 대해 여러 데이터 채널을 만들 수 있습니다. | |
| DTS는 여러 파티션에서 데이터의 동시 소비를 위해 단일 Topic에서 데이터의 분할된 저장을 지원하여 소비 효율성을 향상시킵니다. | |