릴리스 노트
제품 공지
COS+snapshot을 통한 자체 구축 ES에서 Tencent Cloud ES로의 데이터 마이그레이션 및 복구
소개
Tencent Cloud Elasticsearch Service(ES)는 오픈소스 검색 엔진 Elasticsearch를 기반으로 한 고가용성, 확장 가능한 완전 관리형 클라우드 Elasticsearch 서비스입니다. Kibana 및 주요 플러그인을 포함하며, 보안, SQL, 머신 러닝, 알림, 모니터링 등의 고급 기능(X-Pack)을 통합 제공합니다. Tencent Cloud ES를 통해 클러스터 신속 배포, 손쉬운 관리, 유동적 확장이 가능하며, 복잡한 운영 작업을 간소화하여 로그 분석, 이상 감시, 웹 검색, 기업 검색, BI 분석 등 다양한 비즈니스 구축을 가속화할 수 있습니다.
Tencent Cloud ES는 컴퓨팅, 스토리지, 보안 등 분야의 선도적인 기술 우위를 결합하며 Elasticsearch의 호환성과 개방성을 유지합니다. 풍부한 클러스터 관리 기능 및 보안성, 유연성, 고가용성 등 특성을 갖추고 있으며, 공식 고급 X-Pack 상용 기능을 통합하여 오픈 소스 엔진 기반에 권한 관리, SQL, 머신 러닝, 경고 등 추가 기능을 제공합니다. 이를 통해 클러스터 배포, 운영 관리 등 기반 운영 업무를 단순화하고 업무 본질에 집중할 수 있습니다.
Tencent Cloud ES를 통해 웹사이트 검색 네비게이션, 엔터프라이즈 검색, 서비스 로그 이상 모니터링, 클릭스트림 분석 등과 같은 대용량 데이터 저장 및 검색, 실시간 로그 분석 등의 애플리케이션을 신속하게 구축할 수 있습니다.
ES와 COS 간 사용 시나리오는 주로 데이터 마이그레이션, 데이터 복구 및 백업에 집중되어 있습니다. 원리는 원본 ES 데이터가 COS에 중간 저장된 후, 저장된 데이터를 대상 ES 클러스터로 비동기 복구하는 방식입니다.
준비 작업
주의:
COS bucket 리전은 ES와 동일해야 합니다.
COS 플러그인 설치
Tencent Cloud ES는 기본적으로 내부에 해당 플러그인이 통합되어 있습니다. 그러나 사용자가 자체 구축한 ES 클러스터에서 COS를 사용하려면, 해당 ES 버전에 맞는 COS 플러그인을 설치해야 합니다.
COS 플러그인 기능
사용자가 자체 구축한 클러스터에서 스냅샷 파일을 직접 COS bucket에 백업할 수 있으며, 이후 대상 클러스터에서 복구 작업을 진행할 수 있습니다.
플러그인 다운로드
Github에서 Tencent Cloud ES COS 플러그인을 다운로드할 수 있습니다. 본 실습에서는 플러그인 7.2.0 버전을 예시로 설명합니다. 다른 버전의 차이점에 대해서는 releases를 참조하십시오.
플러그인 설치 절차
1. 사용 중인 ES 버전에 맞는 플러그인을 다운로드합니다. (예: 7.2.0 버전)
2. ES 시작 계정(elastic)에게 해당 플러그인 파일의 모든 권한을 부여합니다.
3. 일반 사용자 계정으로 전환 후 플러그인을 설치하고 ES 서비스를 재시작합니다. 주의: 클러스터 내 모든 노드에서 작업을 수행해야 합니다. 실행 명령어는 아래와 같습니다.
bin/elasticsearch-plugin install file:///path/repository-cos.zip
아래 그림과 같습니다.
4. 설치 완료 후, kibana에서
get _cat/plugins 명령어를 통해 플러그인 설치 여부를 확인할 수 있습니다. 설치 성공 시 결과가 표시됩니다.
COS를 통한 자체 구축 ES와 Tencent Cloud ES 간 데이터 마이그레이션
1. 로컬 클러스터에서 COS 저장소를 등록합니다.
PUT _snapshot/my_cos_backup{"type": "cos","settings": {"access_key_id": "xxxxxx","access_key_secret": "xxxxxxx","bucket": "appId 접미사가 없는 bucket 이름","region": "ap-guangzhou","compress": true,"chunk_size": "500mb","base_path": "/yourbasepath","app_id": "xxxxxxx"}}
이 명령어를 실행하면 해당 COS bucket의 지정된 base_path 경로 아래에 my_cos_backup 저장소가 생성됩니다.
매개변수 설명은 다음과 같습니다.
매개변수 이름 | 매개변수 설명 |
access_key_id, access_key_secret | |
bucket | 버킷 이름(appid 포함 금지). |
app_id | |
region | |
base_path | 백업 디렉토리 경로, /dir1/dir2/dir3 형식이며 맨 앞에 /를 붙이고, 마지막 /는 생략합니다. |
주의:
플러그인 버전이 8.15.1 인 경우, 매개변수 이름 앞에 cos.client 접두사가 추가됩니다. (예: cos.client.access_key_id)
2. 로컬 저장소에 스냅샷 파일을 생성하면 생성된 스냅샷 파일은 자동으로 지정된 COS 저장소에 업로드됩니다.
put _snapshot/저장소명/스냅샷명 명령으로 스냅샷을 실행할 수 있습니다.3. Tencent Cloud ES에서도 동일하게 저장소를 등록합니다. 저장소명은 달라도 됩니다.
PUT _snapshot/my_cos_backup{"type": "cos","settings": {"access_key_id": "xxxxxx","access_key_secret": "xxxxxxx","bucket": "appId 접미사가 없는 bucket 이름","region": "ap-guangzhou","compress": true,"chunk_size": "500mb","base_path": "/yourbasepath","app_id": "xxxxxxx"}}
4. Tencent Cloud ES에서 복구를 실행하려면 다음 명령으로 스냅샷 복구를 실행합니다.
POST _snapshot/저장소명/스냅샷명/_restore
주의:
복구하려는 스냅샷명은 원본 클러스터에서 생성한 스냅샷명과 동일해야 합니다.
피드백