tencent cloud

Cloud Object Storage

동향 및 공지
릴리스 노트
제품 공지
제품 소개
제품 개요
기능 개요
적용 시나리오
제품 장점
기본 개념
리전 및 액세스 도메인
규격 및 제한
제품 요금
과금 개요
과금 방식
과금 항목
프리 티어
과금 예시
청구서 보기 및 다운로드
연체 안내
FAQ
빠른 시작
콘솔 시작하기
COSBrowser 시작하기
사용자 가이드
요청 생성
버킷
객체
데이터 관리
일괄 프로세스
글로벌 가속
모니터링 및 알람
운영 센터
데이터 처리
스마트 툴 박스 사용 가이드
데이터 워크플로
애플리케이션 통합
툴 가이드
툴 개요
환경 설치 및 설정
COSBrowser 툴
COSCLI 툴
COSCMD 툴
COS Migration 툴
FTP Server 툴
Hadoop 툴
COSDistCp 툴
HDFS TO COS 툴
온라인 도구 (Onrain Dogu)
자가 진단 도구
실습 튜토리얼
개요
액세스 제어 및 권한 관리
성능 최적화
AWS S3 SDK를 사용하여 COS에 액세스하기
데이터 재해 복구 백업
도메인 관리 사례
이미지 처리 사례
COS 오디오/비디오 플레이어 사례
데이터 다이렉트 업로드
데이터 보안
데이터 검증
빅 데이터 사례
COS 비용 최적화 솔루션
3rd party 애플리케이션에서 COS 사용
마이그레이션 가이드
로컬 데이터 COS로 마이그레이션
타사 클라우드 스토리지 데이터를 COS로 마이그레이션
URL이 소스 주소인 데이터를 COS로 마이그레이션
COS 간 데이터 마이그레이션
Hadoop 파일 시스템과 COS 간 데이터 마이그레이션
데이터 레이크 스토리지
클라우드 네이티브 데이터 레이크
메타데이터 가속
데이터 레이크 가속기 GooseFS
데이터 처리
데이터 처리 개요
이미지 처리
미디어 처리
콘텐츠 조정
파일 처리
문서 미리보기
장애 처리
RequestId 가져오기
공용 네트워크로 COS에 파일 업로드 시 속도가 느린 문제
COS 액세스 시 403 에러 코드 반환
리소스 액세스 오류
POST Object 자주 발생하는 오류
보안 및 컴플라이언스
데이터 재해 복구
데이터 보안
액세스 관리
자주 묻는 질문
인기 질문
일반 문제
과금
도메인 규정 준수 문제
버킷 설정 문제
도메인 및 CDN 문제
파일 작업 문제
로그 모니터링 문제
권한 관리
데이터 처리 문제
데이터 보안 문제
사전 서명 URL 관련 문제
SDK FAQ
툴 관련 문제
API 관련 문제
Agreements
Service Level Agreement
개인 정보 보호 정책
데이터 처리 및 보안 계약
연락처
용어집

Oceanus를 COS에 연결

PDF
포커스 모드
폰트 크기
마지막 업데이트 시간: 2024-06-24 16:53:18

Oceanus 개요

Oceanus는 빅 데이터 생태계의 강력한 실시간 분석 도구입니다. 이를 통해 웹사이트 클릭스트림 분석, 이커머스 정밀 타켓팅 추천, IoT 등 다양한 애플리케이션을 단 몇 분 만에 쉽게 구축할 수 있습니다. Oceanus는 Apache Flink를 기반으로 개발되었으며 완전 관리형 클라우드 서비스를 제공하므로 인프라의 Ops에 대해 걱정할 필요가 없습니다. 또한 클라우드의 데이터 소스에 연결하여 완전한 지원 서비스를 받을 수 있습니다.
Oceanus는 SQL 분석 문을 작성하고, 사용자 정의 JAR 패키지를 업로드 및 실행하고, 작업을 관리할 수 있는 편리한 콘솔과 함께 제공됩니다. Flink 기술을 기반으로 PB 수준의 데이터 세트에서 1초 미만의 처리 대기 시간을 달성할 수 있습니다.
이 문서에서는 Oceanus를 COS에 연결하는 방법에 대해 설명합니다. 현재 Oceanus는 전용 클러스터 모드에서 사용할 수 있으며, 여기에서 다양한 작업을 실행하고 자신의 클러스터에서 관련 리소스를 관리할 수 있습니다.

준비 작업

Oceanus 클러스터 생성

Oceanus 콘솔에 로그인하여 Oceanus 클러스터를 생성합니다.

COS 버킷 생성

1. COS 콘솔에 로그인합니다.
2. 왼쪽 사이드바에서 버킷 리스트를 클릭합니다.
3. 버킷 생성을 클릭하여 버킷 생성의 안내에 따라 버킷을 생성합니다.
설명:
COS에 데이터를 쓸 때 Oceanus 작업은 COS와 동일한 리전에서 실행되어야 합니다.

실행 순서

Oceanus 콘솔로 이동하여 SQL 작업을 생성하고 COS와 동일한 리전의 클러스터를 선택합니다.

1. Source 생성

CREATE TABLE `random_source` (
f_sequence INT,
f_random INT,
f_random_str VARCHAR
) WITH (
'connector' = 'datagen',
'rows-per-second'='10', -- 초당 생성된 데이터 행 수
'fields.f_sequence.kind'='random', -- 랜덤 숫자
'fields.f_sequence.min'='1', -- 최소 순차 번호
'fields.f_sequence.max'='10', -- 최대 순차 번호
'fields.f_random.kind'='random', -- 랜덤 숫자
'fields.f_random.min'='1', -- 최소 랜덤 숫자
'fields.f_random.max'='100', -- 최대 랜덤 숫자
'fields.f_random_str.length'='10' -- 랜덤 문자열 길이
);
설명:
여기서는 내장 connector 'datagen'이 선택되었습니다. 실제 비즈니스 요구 사항에 따라 데이터 소스를 선택하십시오.

2. Sink 생성

-- <bucket name> 및 <folder name>을 실제 버킷 및 폴더 이름으로 바꿉니다.
CREATE TABLE `cos_sink` (
f_sequence INT,
f_random INT,
f_random_str VARCHAR
) PARTITIONED BY (f_sequence) WITH (
'connector' = 'filesystem',
'path'='cosn://<bucket name>/<folder name>/', --- 데이터가 기록될 디렉터리 경로
'format' = 'json', --- 기록된 데이터의 형식
'sink.rolling-policy.file-size' = '128MB', --- 최대 파일 크기
'sink.rolling-policy.rollover-interval' = '30 min', --- 최대 파일 쓰기 시간
'sink.partition-commit.delay' = '1 s', --- 파티션 커밋 지연
'sink.partition-commit.policy.kind' = 'success-file' --- 파티션 커밋 방법
);
설명:
Sink의 WITH 매개변수에 대한 자세한 내용은 Filesystem (HDFS/COS)을 참고하십시오.

3. 비즈니스 로직 구성

INSERT INTO `cos_sink`
SELECT * FROM `random_source`;
주의:
이는 예시용이며 실제 비즈니스 목적이 없습니다.

4. 작업 매개변수 설정

내장 Connectorflink-connector-cos를 선택하고 고급 매개변수에서 COS URL을 다음과 같이 구성합니다.
fs.AbstractFileSystem.cosn.impl: org.apache.hadoop.fs.CosN
fs.cosn.impl: org.apache.hadoop.fs.CosFileSystem
fs.cosn.credentials.provider: org.apache.flink.fs.cos.OceanusCOSCredentialsProvider
fs.cosn.bucket.region: <COS 리전>
fs.cosn.userinfo.appid: <COS 사용자 appid>
작업은 다음과 같이 구성됩니다.
<COS region>을 ap-guangzhou와 같은 실제 COS 리전으로 바꿉니다.
<COS user appid>를 실제 APPID로 바꿉니다. 이는 계정 센터에서 볼 수 있습니다.
설명:
작업 매개변수 설정에 대한 자세한 내용은 Filesystem (HDFS/COS)을 참고하십시오.

5. 작업 시작

저장 > 구문 확인 > 초안 릴리스를 클릭하고 SQL 작업이 시작될 때까지 기다렸다가 해당 COS 디렉터리로 이동하여 작성된 데이터를 확인합니다.

도움말 및 지원

문제 해결에 도움이 되었나요?

피드백