릴리스 노트
CCN으로 자체 구축 MySQL에서 TencentDB for MySQL로 마이그레이션
작업 시나리오
본문은 DTS의 데이터 마이그레이션 기능을 사용하여 CCN을 통해 자체 구축 데이터베이스에서 TencentDB 데이터베이스로 데이터를 마이그레이션하는 방법을 설명합니다.
CCN은 VPC를 다른 VPC 또는 로컬 IDC와 상호 연결할 수 있습니다. CCN 액세스를 사용하려면 미리 CCN을 통해 VPC 간 및 VPC-IDC 상호 연결을 설정해야 합니다.
본 시나리오에서는 CCN을 통해 VPC-광저우, VPC-청두, VPC-상하이 3개의 네트워크 간의 상호 연결을 구축하였으며, 사용자가 데이터베이스를 광저우에 자체 구축하여 원본 데이터베이스(광저우 리전)를 리전 타깃 데이터베이스(난징 리전)로 마이그레이션할 계획이며, ‘VPC-청두’를 ‘액세스 VPC’로 선택합니다.
구성 원칙
CCN 액세스 방식을 선택할 경우 원본 데이터베이스는 CCN을 통해 DTS 마이그레이션/동기화 링크의 원본과 연결되어야 하며, 연결 경로는 원본 데이터베이스 > VPC 액세스 > 마이그레이션/동기화 링크의 원본, 이미지의 주황색 부분에 해당합니다.
전체 DTS 작업 중 액세스 VPC, 마이그레이션/동기화 링크 원본 데이터베이스 네트워크 연결 원칙은 다음과 같습니다.
마이그레이션/동기화 링크의 원본 데이터베이스는 아래 이미지와 같이 작업 구매 시 선택한 원본 데이터 리전 네트워크입니다.
구매 시 선택한 원본 데이터베이스 리전은 액세스 VPC 리전과 동일해야 하며, 그렇지 않으면 네트워크가 상호 통신할 수 없습니다. 동일하지 않은 경우, DTS는 구매 작업에서 선택한 원본 데이터베이스 리전을 액세스 VPC 리전으로 변경합니다.
액세스 VPC: 액세스 VPC는 CCN에서 마이그레이션/동기화 링크에 연결된 VPC를 말하며, 아래 이미지와 같이 원본 및 타깃 데이터베이스를 설정하는 단계에서 구성됩니다.
액세스 VPC와 원본 데이터베이스가 속한 VPC는 CCN을 통해 연결되어 서로 통신할 수 있습니다.
주의 사항
전체 데이터 마이그레이션 중에 DTS는 원본 데이터베이스 리소스를 사용하므로 원본 데이터베이스의 로드와 부담이 증가할 수 있습니다. 데이터베이스 설정이 낮으면 사용량이 적은 시간에 데이터를 마이그레이션하는 것이 좋습니다.
기본적으로 잠금 없는 마이그레이션이 사용되며 마이그레이션 과정에서 원본 데이터베이스에 전역 잠금(FTWRL)이 적용되지 않고 기본 키가 없는 테이블만 테이블 잠금이 추가되고 나머지는 NOLOCK입니다.
전제 조건
TencentDB for MySQL 인스턴스를 생성해야 합니다.
원본 및 타깃 데이터베이스는 데이터 마이그레이션 지원 데이터베이스에 설명된 대로 마이그레이션 기능 및 버전에 대한 요구 사항을 충족해야 합니다.
모든 준비 작업을 마쳐야 합니다.
원본 데이터베이스에는 다음 권한이 있어야 합니다.
‘전체 인스턴스’ 마이그레이션:
CREATE USER ’마이그레이션 계정’@’%’ IDENTIFIED BY ’마이그레이션 비밀번호’;GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE,SHOW DATABASES,SHOW VIEW,PROCESS ON *.* TO ’마이그레이션 계정’@’%’;GRANT ALL PRIVILEGES ON `__tencentdb__`.* TO '마이그레이션 계정'@'%';GRANT SELECT ON *.* TO '마이그레이션 계정';
‘지정 객체’ 마이그레이션:
CREATE USER ’마이그레이션 계정’@’%’ IDENTIFIED BY ’마이그레이션 비밀번호’;GRANT RELOAD,LOCK TABLES,REPLICATION CLIENT,REPLICATION SLAVE,SHOW DATABASES,SHOW VIEW,PROCESS ON *.* TO ’마이그레이션 계정’@’%’;GRANT ALL PRIVILEGES ON `__tencentdb__`.* TO '마이그레이션 계정'@'%';GRANT SELECT ON `mysql`.* TO '마이그레이션 계정'@'%';GRANT SELECT ON 마이그레이션 예정 데이터베이스.* TO '마이그레이션 계정';
타깃 데이터베이스 필요 권한: ALTER, ALTER ROUTINE, CREATE, CREATE ROUTINE, CREATE TEMPORARY TABLES, CREATE USER, CREATE VIEW, DELETE, DROP, EVENT, EXECUTE, INDEX, INSERT, LOCK TABLES, PROCESS, REFERENCES, RELOAD, SELECT, SHOW DATABASES, SHOW VIEW, TRIGGER, UPDATE.
제한
기본 테이블, 뷰, 함수, 트리거, 저장 프로시저 및 이벤트 마이그레이션을 지원합니다.
information_schema, sys, performance_schema, __cdb_recycle_bin__, __recycle_bin__, __tencentdb__, mysql을 포함한 시스템 DB 테이블은 마이그레이션할 수 없습니다.뷰, 저장 프로시저 및 함수를 마이그레이션할 때 DTS는 원본 데이터베이스의
DEFINER([DEFINER = user1])에 해당하는 user1이 마이그레이션 계정의 user2와 동일한지 확인하고, 동일하지 않은 경우 마이그레이션 후 DTS는 타깃 데이터베이스에 있는 user1의 SQL SECURITY 속성을 DEFINER에서 INVOKER([INVOKER = user1])로 변경하고 타깃 데이터베이스의 DEFINER를 마이그레이션 계정의 user2로 설정합니다([DEFINER = 마이그레이션 계정 user2]). 원본 데이터베이스의 뷰 정의가 너무 복잡하면 작업이 실패할 수 있습니다.원본 MySQL 데이터베이스가 비 GTID 데이터베이스인 경우 DTS는 이에 대한 HA 스위치를 지원하지 않습니다. 전환되면 DTS 증분 동기화가 중단될 수 있습니다.
InnoDB, MyISAM 및 TokuDB 데이터베이스 엔진이 있는 데이터만 마이그레이션할 수 있습니다. 다른 데이터 테이블 엔진은 마이그레이션 중에 기본적으로 건너뜁니다.
연결된 데이터 객체는 함께 마이그레이션해야 합니다. 그렇지 않으면 마이그레이션이 실패합니다. 일반적인 연결 관계에는 뷰-참조 테이블, 뷰-뷰 참조, 기본/외래 키 연결 테이블 등이 포함됩니다.
증분 마이그레이션 중에 원본 데이터베이스에 분산 트랜잭션이 있거나
STATEMENT 형식의 Binlog문을 생성하면 마이그레이션이 실패됩니다.잠금 없는 마이그레이션(원본 데이터베이스는 MySQL 5.6용 Alibaba Cloud ApsaraDB RDS, MySQL 5.6용 Alibaba Cloud PolarDB 또는 MySQL용 Amazon RDS이고 타깃 데이터베이스는 TencentDB for MySQL임)에서는 전체 마이그레이션 중에 DDL 작업이 지원되지 않습니다.
작업 제한
마이그레이션하는 동안 다음 작업을 수행하지 마십시오. 그렇지 않으면 마이그레이션 작업이 실패합니다.
원본 및 타깃 데이터베이스와 포트 번호의 사용자 정보(사용자 이름, 암호 및 권한 포함)를 수정하거나 삭제하지 마십시오.
원본 데이터베이스에서 분산 트랜잭션을 실행하지 마십시오.
STATEMENT 형식의 Binlog 데이터를 원본 데이터베이스에 쓰지 마십시오.원본 데이터베이스에서 Binlog를 지우지 마십시오.
데이터베이스/테이블 구조 마이그레이션 또는 전체 마이그레이션 중에 데이터베이스/테이블 구조를 변경하는 DDL 작업을 실행하지 마십시오.
증분 마이그레이션 중에 시스템 테이블
__tencentdb__를 삭제하지 마십시오.전체 데이터 마이그레이션만 수행하는 경우 마이그레이션 중에 원본 데이터베이스에 새 데이터를 쓰지 마십시오. 그렇지 않으면 원본 및 타깃 데이터베이스의 데이터가 일치하지 않습니다. 데이터 쓰기가 있는 시나리오에서 실시간으로 데이터 일관성을 보장하려면 전체+증분 데이터 마이그레이션을 선택하는 것이 좋습니다.
지원되는 SQL 작업
작업 유형 | 지원되는 SQL 작업 |
DML | INSERT, UPDATE, DELETE, REPLACE |
DDL | TABLE: CREATE TABLE, ALTER TABLE, DROP TABLE, TRUNCATE TABLE, RENAEM TABLE VIEW: CREATE VIEW, DROP VIEW INDEX: CREATE INDEX, DROP INDEX DATABASE: CREATE DATABASE, ALTER DATABASE, DROP DATABASE |
환경 요건
설명：
시스템은 마이그레이션 작업을 시작하기 전에 다음 환경 요구 사항을 자동으로 확인하고 요구 사항이 충족되지 않으면 오류를 보고합니다. 실패 항목을 식별할 수 있는 경우 확인 항목 요구 사항에 따라 수정하십시오. 그렇지 않으면 시스템 확인이 완료될 때까지 기다렸다가 오류 메시지에 따라 문제를 수정하십시오.
유형 | 환경 요건 |
원본 데이터베이스 요구 사항 | 원본 및 타깃 데이터베이스를 연결할 수 있어야 합니다. 원본 데이터베이스가 있는 서버에 충분한 아웃바운드 대역폭이 있어야 합니다. 그렇지 않으면 마이그레이션 속도가 영향을 받습니다. 데이터베이스 매개변수 요구 사항: 원본 데이터베이스의 server_id 매개변수는 수동으로 설정해야 하며 0이 될 수 없습니다. 원본 데이터베이스/테이블의 row_format은 FIXED로 설정할 수 없습니다. 원본 및 타깃 데이터베이스의 lower_case_table_names 변수 값은 동일해야 합니다. 원본 데이터베이스의 connect_timeout 변수는 10 이상이어야 합니다. 연결 시간 초과 가능성을 줄이려면 skip-name-resolve를 활성화하는 것이 좋습니다. Binlog 매개변수 요구사항: 원본 데이터베이스의 log_bin 변수는 ON으로 설정해야 합니다. 원본 데이터베이스의 binlog_format 변수는 ROW로 설정해야 합니다. 원본 데이터베이스의 binlog_row_image 변수는 FULL로 설정해야 합니다. MySQL 5.6 이상에서 gtid_mode 변수가 ON이 아니면 알람이 트리거됩니다. gtid_mode를 활성화하는 것이 좋습니다. do_db 및 ignore_db로 필터 조건을 설정할 수 없습니다. 원본 데이터베이스가 세컨더리 데이터베이스인 경우 log_slave_updates 변수를 ON으로 설정해야 합니다. 외래 키 종속성: 외래 키 종속성은 NO ACTION, RESTRICT 및 CASCADE의 세 가지 유형 중 하나로만 설정할 수 있습니다. 부분 테이블 마이그레이션 중에는 외래 키 종속성이 있는 테이블을 마이그레이션해야 합니다. FLOAT 유형의 데이터에 대한 DTS의 마이그레이션 정밀도는 38자리이며, DOUBLE 유형의 데이터는 308자리입니다. 요구 사항을 충족하는지 확인해야 합니다. |
타깃 데이터베이스에 대한 요구 사항 | 타깃 데이터베이스 버전은 원본 데이터베이스 버전보다 높거나 같아야 합니다. 타깃 데이터베이스 공간의 크기는 원본 데이터베이스에서 마이그레이션할 데이터베이스/테이블 크기의 1.2배 이상이어야 합니다. (전체 데이터 마이그레이션은 INSERT 작업을 동시에 실행하여 타깃 데이터베이스의 일부 테이블에서 데이터 조각을 생성합니다. 따라서 전체 마이그레이션이 완료된 후 타깃 데이터베이스의 테이블 크기가 원본 데이터베이스의 테이블 크기보다 클 수 있습니다.) 타깃 데이터베이스는 원본 데이터베이스에 있는 것과 동일한 이름을 가진 테이블 및 뷰와 같은 마이그레이션 객체를 가질 수 없습니다. 타깃 데이터베이스의 max_allowed_packet 매개변수는 4M 이상으로 설정해야 합니다. |
기타 요구 사항 | 환경 변수 innodb_stats_on_metadata를 OFF로 설정해야 합니다. |
작업 단계
CCN을 통한 네트워크 상호 연결 구성
Connecting Network Instances Under the Same Account의 지침에 따라 상호 연결을 설정합니다.
설명：
CCN은 모든 리전 간에 10Kbps 미만의 대역폭만 무료로 제공합니다. 그러나 DTS에는 더 높은 대역폭이 필요합니다. 따라서 링크에서 대역폭 설정이 필요합니다.
DTS 마이그레이션 작업 설정
1. DTS 콘솔에 로그인하고 왼쪽 사이드바에서 데이터 마이그레이션을 선택한 다음 마이그레이션 작업 생성을 클릭하여 마이그레이션 작업 생성 페이지로 이동합니다.
2. 마이그레이션 작업 생성 페이지에서 원본 및 타깃 인스턴스의 유형, 리전 및 사양을 선택하고 구매하기를 클릭합니다.
설정 항목 | 설명 |
원본 인스턴스 유형 | 원본 데이터베이스 유형을 선택합니다. 구매 후 변경할 수 없습니다. 여기에서는 ‘MySQL’을 선택합니다. |
원본 인스턴스 리전 | 원본 데이터베이스 리전을 선택합니다. 원본 데이터베이스가 자체 구축된 데이터베이스인 경우 가장 가까운 리전을 선택하십시오. |
타깃 인스턴스 유형 | 타깃 데이터베이스 유형을 선택합니다. 구매 후 변경할 수 없습니다. 여기에서 ‘MySQL’을 선택합니다. |
타깃 인스턴스 리전 | 타깃 데이터베이스 리전을 선택합니다. |
사양 | 귀하의 업무 여건에 따라 마이그레이션 연계 사양을 선택합니다.. |
3. 원본과 타깃 데이터베이스 설정 페이지에서 작업 설정, 원본 데이터베이스 설정 및 타깃 데이터베이스 설정을 완료하고, 원본 데이터베이스와 타깃 데이터베이스의 연결성 테스트 통과 시 생성을 클릭합니다.
설명：
설정 유형 | 설정 항목 | 설명 |
작업 설정 | 작업 이름 | 쉬운 작업 식별을 위해 의미 있는 이름을 설정합니다. |
| 실행 모드 | 즉시 실행 및 예약 실행 지원: 즉시 실행은 작업 검증 통과 후 즉시 작업을 시작하고, 예약 실행은 작업 실행 시간을 설정하고 설정 시간이 되면 작업을 시작합니다. |
| 태그 | 태그는 다양한 차원의 범주별로 리소스를 관리하는 데 사용됩니다. 기존 태그가 요구 사항을 충족하지 않는 경우 콘솔로 이동하여 추가로 생성하십시오. |
소스 라이브러리 설정 | 원본 데이터베이스 유형 | 구매 시 선택한 원본 데이터베이스 유형으로, 변경할 수 없습니다. |
| 서비스 제공자 | ‘기타’를 선택합니다. |
| 리전 | 구매 시 선택한 원본 데이터베이스 소속 리전으로, 변경할 수 없습니다. |
| 액세스 유형 | |
| 호스트 주소 | 원본 MySQL 데이터베이스에 액세스하기 위한 IP 주소 또는 도메인 이름입니다. |
| 포트 | 원본 MySQL 데이터베이스에 액세스하기 위한 포트입니다. |
| 계정 | 특정 권한이 있어야 하는 원본 MySQL 데이터베이스의 계정입니다. |
| 비밀번호 | 원본 MySQL 데이터베이스의 비밀번호입니다. |
| VPC 기반 CCN 인스턴스 | VPC 기반 CCN 인스턴스만 지원됩니다. CCN과 연결된 네트워크 유형을 확인해야 합니다. |
| 액세스 VPC | 액세스 VPC는 클라우드 네트워크의 마이그레이션/동기화 링크에 연결된 VPC를 의미합니다. CCN과 연결된 모든 VPC에서 원본 데이터베이스가 속한 VPC가 아닌 다른 VPC를 선택합니다. 네트워크 연결성을 보장하기 위해 반드시 다음 사항들을 확인하십시오. 선택한 CCN에 연결된 VPC와 원본 데이터베이스 인스턴스의 호스트 서버 주소는 같은 리전에 있을 수 없으나, 원본 데이터베이스가 자체 구축 IDC의 MySQL인 경우에는 해당 사항을 고려하지 않아도 됩니다. 선택한 CCN에 연결된 VPC와 원본 데이터베이스 인스턴스의 호스트 서버 주소는 같은 VPC에 있을 수 없습니다. 원본 데이터베이스가 자체 구축 IDC의 MySQL인 경우, 자체 구축 IDC와 연결된 전용 게이트웨이가 있는 VPC와 선택한 VPC가 동일한 VPC일 수 없습니다. |
| 서브넷 | 선택한 VPC의 서브넷 이름입니다.서브넷을 가져올 수 없으면 계정에 문제가 있을 수 있습니다. ‘액세스 VPC’의 계정은 마이그레이션 계정과 동일해야 합니다.예를 들어, 계정 A의 데이터베이스를 계정 B로 마이그레이션하려면 계정 B를 사용하여 작업을 생성해야 합니다. 따라서 ‘액세스 VPC’는 계정 B에 있어야 합니다. |
| 액세스 VPC 리전 | 구매 작업 시 선택한 원본 데이터베이스 리전과 액세스 VPC 리전이 일치해야 하며 일치하지 않을 경우 DTS는 구매 작업 중 선택한 원본 데이터베이스 리전을 액세스 VPC 리전으로 변경합니다. |
타깃 라이브러리 설정 | 타깃 데이터베이스 유형 | 구매 시 선택한 타깃 데이터베이스 유형으로, 변경할 수 없습니다. |
| 리전 | 구매 시 선택한 타깃 데이터베이스가 속한 리전으로, 변경할 수 없습니다. |
| 액세스 유형 | ‘데이터베이스’를 선택합니다. |
| 데이터베이스 인스턴스 | 타깃 TencentDB 인스턴스 ID를 선택합니다. |
| 계정 | 필요한 권한이 있어야 하는 타깃 TencentDB의 계정입니다. |
| 비밀번호 | 타깃 TencentDB의 비밀번호입니다. |
4. 마이그레이션 옵션 설정 및 마이그레이션 객체 선택 페이지에서 마이그레이션 유형과 마이그레이션 객체를 설정하고 저장을 클릭합니다.
설정 항목 | 설명 |
마이그레이션 유형 | 상황에 따라 선택하십시오. 구조적 마이그레이션: 데이터베이스 및 데이터베이스의 테이블과 같은 구조화된 데이터가 마이그레이션됩니다. 전체 마이그레이션: 전체 데이터베이스가 마이그레이션됩니다. 전체 + 증분 마이그레이션: 전체 데이터베이스 및 후속 증분 데이터가 마이그레이션됩니다. 마이그레이션 중 데이터 쓰기가 있고 논스톱 방식으로 데이터를 원활하게 마이그레이션하려면 이 옵션을 선택합니다. |
객체 마이그레이션 | 전체 인스턴스: information_schema, mysql, performance_schema 및 sys와 같은 시스템 데이터베이스를 제외한 전체 데이터베이스 인스턴스를 마이그레이션합니다. 지정된 객체: 지정된 객체를 마이그레이션합니다. |
객체 지정 | 원본 데이터베이스 객체에서 마이그레이션할 객체를 선택하고 선택한 객체 상자로 이동합니다. |
5. 확인 작업 페이지에서 확인을 진행하고 확인 통과 후 작업 실행을 클릭합니다.
확인이 실패한 경우 확인 실패 수정 설명 대로 문제를 수정하고 확인 작업을 다시 시작합니다.
실패: 확인 항목 실패로 작업이 차단되었음을 나타냅니다. 문제를 수정하고 확인 작업을 다시 실행해야 합니다.
알람: 확인 항목이 요구 사항을 완전히 충족하지 못함을 나타내며, 작업을 계속할 수 있지만 비즈니스에 영향을 미칩니다. 알람을 무시할지 아니면 문제를 해결하고 계속할지 선택합니다.
6. 데이터 마이그레이션 작업 리스트로 돌아가면 작업이 생성 중 상태가 되며, 1 - 2분 실행 후 데이터 마이그레이션 작업이 정상적으로 실행됩니다.
구조적 마이그레이션 또는 전체 마이그레이션을 선택: 완료되면 작업이 자동 중지됩니다.
전체 + 증분 마이그레이션 선택: 전체 마이그레이션이 완료된 후 마이그레이션 작업은 자동으로 중지되지 않는 증분 데이터 동기화 단계에 자동으로 들어갑니다. 증분 데이터 동기화를 수동으로 중지하려면 완료를 클릭해야 합니다.
적절한 시기에 증분 데이터 동기화 및 비즈니스 전환을 수동으로 완료합니다.
마이그레이션 작업이 증분 동기화 단계에 있고 지연 상태가 아닌지 확인합니다. 그렇다면 몇 분 동안 원본 데이터베이스에 데이터 쓰기를 중지하십시오.
원본-타깃 데이터베이스 데이터 간격이 0MB이고 원본-타깃 데이터베이스 시간 지연이 0초인 경우 증분 동기화를 수동으로 완료합니다.
7. (옵션) 작업 조회, 삭제 등 작업을 수행하려면 해당 작업을 클릭하고 작업 열에서 해당 작업을 선택합니다. 자세한 내용은 작업 관리를 참고하십시오.
비즈니스 컷오버(cut-over)
피드백