탄력적 MapReduce(EMR)는 클라우드 기술과 Hadoop, Hive, Spark, Hbase, Presto, Storm 등 커뮤니티 오픈 소스 기술을 기반으로 안전하고 저렴하며 신뢰할 수 있는 Auto Scaling 클라우드 호스팅 하둡 서비스를 제공합니다. 몇 분 내에 안전하고 신뢰할 수 있는 전용 하둡 클러스터를 생성하여, 클러스터 내 데이터 노드 혹은 오브젝트 스토리지 COS의 PB급 대용량 데이터를 분석합니다.
소개
특징
유연성
사용자는 몇 분 내에 웹페이지 또는 API 방식으로 안전하고 신뢰할 수 있는 하둡 클러스터를 실행합니다. 서비스 부서별 요구사항에 따라 적합한 버전의 Hive, Spark, Hbase, Presto 등 빅 데이터 컴포넌트를 조합하고 실행할 수 있습니다. 콘솔을 제어하여 노드, 컴포넌트, 스레드 등의 알람 설정을 모니터링하고 운영합니다.
탄력성
탄력적 MapReduce 제품을 기반으로 빅 데이터 클러스터의 탄력적 기능을 빠르게 구축할 수 있습니다. 서비스 및 모니터링 지표 상황에 따라 수동 혹은 자동으로 호스팅한 하둡 클러스터 규모를 축소하고 확장할 수 있습니다. 컴퓨팅과 스토리지의 구분으로, 클러스터를 파기(Destroy)하여 리소스를 극대화할 수 있습니다.
신뢰성
클라우드 노드 장애 핫 마이그레이션, 이중 마스터 노드 재해 복구 디자인, 백업 노드를 초 단위로 읽기 및 빅 데이터 서비스 가용성을 지원합니다. Hive 등 메타데이터 멀티 리전 장애 복구, 컴퓨팅과 스토리지를 구분하여 오브젝트 스토리지 COS에 적용하므로 데이터 보안성이 높고 내구성이 뛰어납니다. 보다 향상된 모니터링 시스템으로 클러스터 이상을 빠르게 발견하고 확인하며, 클러스터가 안정적으로 실행하도록 지원합니다.
보안성
VPC 네트워크 보안 격리 솔루션으로 호스팅 하둡 클러스터 네트워크 정책에 적용할 수 있습니다. 네트워크 ACL과 보안 그룹을 지원하며, 서브넷과 호스트를 기반으로 트래픽을 필터링할 수 있어, 네트워크 보안 요구 사항을 충족 시켜 줍니다. Tencent Cloud 품질의 보안 강화 서비스는 EMR 클러스터의 통합 보안 서비스를 제공합니다. 여기에 네트워크 방어, 침입 감지, 취약점 방어 등이 포함됩니다.
기능
신속한 배포
콘솔에서 3단계의 작업으로 별도의 전용 빅 데이터 클러스터를 구축합니다. 탄력적 MapReduce는 다양한 빅데이터 오픈 소스 컴포넌트를 제공합니다. Hive, Spark, Hbase, Presto, Flink, Storm 등을 자유롭게 결합할 수 있고. 안전하고 비용이 저렴하며, 신뢰할 수 있고, Auto Scaling이 가능한 하둡(Hadoop) 서비스를 제공합니다. API 방식으로 생성 파라미터를 유지하므로, 클러스터의 생성 및 파기를 반복할 수 있습니다.
탄력적 MapReduce는 다양한 모델을 지원하여 클러스터를 구축할 수 있습니다. 서비스 환경에 따라 클러스터의 CPU/메모리/스토리지 유형과 수량을 설정할 수 있습니다.
탄력성
콘솔 웹페이지 혹은 API 방식으로 클러스터를 쉽게 운영할 수 있습니다. 몇 분 내에 새로운 노드를 클러스터에 추가할 수 있어 서비스 변화에 빠르게 적응할 수 있습니다. 새로운 확장 노드는 클러스터 컴포넌트를 자동으로 배포하며, 컴포넌트 구성은 자동으로 동기화됩니다. 탄력적 MapReduce는 저장되지 않는 Task 노드 타입의 데이터 컴퓨팅만 지원합니다. 해당 노드를 이용하여 클러스터 규모를 빠르게 확장하거나 축소할 수 있으며, 데이터 손실의 우려가 없습니다.
빠른 시일 내 Auto Scaling 기능을 런칭할 예정입니다. 해당 기능을 적용하면 유지 보수 비용을 대폭 줄이고, 모니터링 데이터를 기반으로 클러스터를 자동 용량 확장하거나 축소할 수 있습니다. 이에 따라, 클러스터 리소스 이용률을 극대화합니다.
컴퓨팅, 스토리지 분리
Tencent Cloud가 제공하는 내구성이 뛰어난 오브젝트 스토리지 COS 서비스를 기반으로, 탄력적 MapReduce는 빅 데이터 스토리지 비용을 85% 절감할 수 있습니다. 오브젝트 스토리지를 액세스 시, 탄력적 MapReduce는 COS 파일 시스템을 자동으로 매칭하며, 별도의 작업 없이도 HDFS처럼 COS 데이터를 조작할 수 있습니다. 컴퓨팅과 스토리지가 분리되어 데이터와 클러스터의 라이프사이클 분리가 가능하므로, 탄력적 MapReduce 클러스터를 생성하고 컴퓨팅 완료 시 완전히 파기할 수 있습니다. 해당 기간의 종량제 기준으로 사용한 시간만큼 과금됩니다.
클러스터 제어
탄력적 MapReduce는 오픈 소스 하둡 및 컴포넌트에 최적화하였습니다. 클러스터의 모니터링 시간이 단축됩니다. 다양한 클러스터 제어 툴을 제공하여 탄력적 MapReduce 콘솔에서 모니터링, 알람 설정, 컴포넌트 프로세스 재시작 및 유지 보수, 파라미터 설정 수정 등 작업을 시각적으로 모티터링 할 수 있습니다. 당사가 제공하는 고급 관리툴을 활용하여 클러스터를 자유롭게 관리할 수 있습니다.
응용 시나리오
오프라인 데이터 분석
칼럼 형태의 스토리지 HBase
스트리밍 데이터 처리
COS 데이터분석
게임, 웹 애플리케이션, 모바일 앱 등 서버의 대용량 로그를 EMR의 데이터 노드 혹은 COS에 동기화하면 Hue 툴을 이용하여 Hive, Spark, Presto 등 메인 컴퓨팅 프레임워크의 데이터를 빠르게 획득하여 분석합니다.
탄력적 MapReduce는 기본 HBase 컴포넌트를 지원하므로, 사용자는 호스팅한 HBase 클러스터를 빠르게 구축하여 사용할 수 있습니다. HBase는 통합 Phoenix를 사용하여 확장성이 뛰어난 분산형 빅 데이터 스토리지이며, HBase 테이블에 빠른 SQL 액세스가 가능합니다.
프로그램/툴에서 API, SDK를 통해 서버에 위치한 인스턴스가 생성한 데이터를 메시지 미들웨어에 푸시합니다. 그 후, EMR 제품에서 적합한 스트리밍 데이터 처리 엔진을 선택하여 데이터를 분석하며, 데이터를 실시간 컴퓨팅하고 결정을 내립니다.
EMR 제품을 사용하면 COS에 위치한 대용량 데이터를 빠르게 분석하며, 스토리지 컴퓨팅을 완전히 분리합니다. 이로 인해 COS에서 제공하는 다양한 데이터 동기화 툴을 충분히 활용할 수 있습니다. 멀티 버전의 하둡 클러스터가 동일한 데이터를 분석하여 데이터 일관성을 충족시키며, 버전 컨트롤로 인해 여러 버전의 하둡 클러스터가 공존하는 문제를 해결합니다.
가격
Elastic MapReduce(EMR)는 유연한 사용 방법 및 과금 방식을 제공합니다. 노드 단위로 정확하게 과금되며, 사용자는 다양한 노드 유형으로 클러스터를 구성할 수 있습니다. 비즈니스 상황에 따라 클러스터의 노드 수량을 조정할 수 있습니다. 관련 제품에 대한 상세한 내용은 과금 개요 문서를 참고하여 주십시오.