클라우드로 전환하는 기업이 늘어나면서 기업들은 클라우드 사용 비용 문제에 더욱 주목하고 있습니다. 비즈니스 발전은 방대한 저장 수요를 발생시키는데, 클라우드에 데이터를 저장할 때 어떻게 비용을 최적화하여 비즈니스 부담을 줄일 수 있을까요?
비용 최적화를 진행하기 전에 먼저 Tencent Cloud COS(Cloud Object Storage)의 비용 구조를 이해해야 합니다. COS의 과금 항목은 주로 스토리지 사용량 요금, 트래픽 요금, 요청 요금, 데이터 검색 요금 및 관리 요금 등 5가지 주요 항목으로 구성됩니다.
대부분의 기업에게 스토리지 사용량 요금과 트래픽 요금은 클라우드 저장 비용의 핵심 요소입니다. 스토리지 사용량 요금 측면에서 Tencent Cloud COS 서비스는 STANDARD, STANDARD_IA, ARCHIVE, DEEP ARCHIVE 등 다양한 스토리지 유형을 제공하며, 각 유형별 사양과 가격이 다릅니다. 기업은 비즈니스 모델에 따라 가성비가 가장 적합한 스토리지 유형을 선택할 수 있습니다. 트래픽 요금 측면에서는 공중망 다운스트림 트래픽, CDN Origin-pull 트래픽, 리전 간 복사 트래픽, 글로벌 가속 트래픽 등이 있으며, 비즈니스 모델 차이에 따라 트래픽 요금 구조도 달라집니다. 예를 들어, 한 기업의 비즈니스가 주로 전자상거래 웹사이트 중심으로 대규모 이미지 배포가 필요한 경우, CDN Origin-pull 트래픽이 많아 트래픽 요금의 대부분이 CDN Origin-pull 트래픽 요금으로 발생합니다.
최적화 1: 스토리지 유형 및 비즈니스 리전 선택
비즈니스 모델에 맞는 스토리지 유형과 비즈니스 리전을 선택하면 기업의 스토리지 비용을 크게 최적화할 수 있습니다.
COS는 기업에 다양한 스토리지 유형을 제공하며, 기업은 성능, 데이터 내구성, 비즈니스 가용성 요구에 따라 다른 스토리지 유형을 선택할 수 있고, 이에 따라 비용도 달라집니다. STANDARD는 요금이 상대적으로 높지만 가장 낮은 읽기 지연을 제공합니다. 반면 STANDARD_IA, ARCHIVE, DEEP ARCHIVE는 요금이 낮지만 데이터를 다운로드할 때 추가적인 데이터 검색 요금이 발생하고 더 긴 검색 시간이 소요되므로, 적은 양의 데이터를 읽는 시나리오에 더 적합합니다.
아래 표는 광저우 리전에 100TB 데이터를 저장하는 예시로, 데이터를 다른 스토리지 유형으로 한 달 동안 저장했을 때 발생하는 스토리지 비용을 보여줍니다.
|
스토리지 단가(USD/GB/월) | 0.016 | 0.01 | 0.004 | 0.0016 | 0.0195 | 0.0132 |
트래픽 단가(USD/GB) | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 | 0.1 |
요청 단가(USD/만 회, 100만 회 기준) | 0.002 | 0.01 | 0.002 | 읽기/쓰기 요청: 0.07 표준 검색 요청: 1 | 0.002 | 0.01 |
검색 단가(USD/GB) | 0 | 0.002 | 표준 검색: 0.01 | 표준 검색: 0.02 | 0 | 0.002 |
총 비용(스토리지 100TB + 다운로드 없음) | 1638.40 | 1024.00 | 409.60 | 163.84 | 1996.80 | 1351.68 |
총 비용(스토리지 100TB + 다운로드 100T + 요청 100만 회 + 검색 100TB) | 11638.60 | 11229.80 | 11433.80 | 12318.84 | 11997.00 | 11557.48 |
총 비용(스토리지 100TB+다운로드 500T + 요청 100만 회 + 검색 500TB) | 51638.60 | 52049.00 | 55529.80 | 60510.84 | 51997.00 | 52376.68 |
표에서 볼 수 있듯이, 비즈니스 데이터 다운로드량이 적은 경우 ARCHIVE나 DEEP ARCHIVE를 선택하면 스토리지 비용을 효과적으로 절감할 수 있으며, DEEP ARCHIVE는 STANDARD 대비 최대 90%의 비용을 절약할 수 있습니다. 그러나 데이터를 자주 다운로드해야 하는 경우 STANDARD_IA, ARCHIVE, DEEP ARCHIVE의 데이터 검색 요금이 추가 비용을 유발할 수 있으므로 전체 비용이 오히려 더 높아질 수 있습니다.
구체적인 비즈니스 시나리오별로 다음과 같이 추천됩니다.
1. 빈번한 읽기/쓰기 시나리오: UGC 시나리오, 전자상거래 이미지 등 읽기 요청이 많고 쓰기 요청이 적은 경우 STANDARD를 사용하는 것이 적합합니다. 가용성과 데이터 내구성에 대한 요구가 높은 경우 MAZ_STANDARD를 고려할 수 있습니다.
2. 적은 읽기 시나리오(월 1회): 로그 데이터 분석, 클라우드 스토리지 데이터 등 읽기 빈도는 낮지만 읽을 때 성능 요구가 높은 경우 STANDARD_IA를 선택할 수 있습니다. 가용성과 데이터 내구성이 중요한 경우 MAZ_STANDARD_IA를 권장됩니다.
3. 극소량 읽기 시나리오(3개월에 1회): 비디오 모니터링, 로그 데이터 아카이브 등 읽기 빈도가 매우 낮고 성능 요구가 크지 않은 경우 ARCHIVE를 사용할 수 있습니다.
4. 거의 읽지 않는 시나리오(6개월에 1회): 의료 영상, 기록 자료 등 장기 백업만 필요하고 읽기 성능 요구가 거의 없는 경우 DEEP ARCHIVE를 사용할 수 있습니다.
또한 스토리지 유형에 따라 최소 저장 기간 및 최소 저장 단위 제한이 있을 수 있으며, 성능 특성도 다릅니다. 아래 표는 간단한 비교를 제공합니다.
|
첫 바이트 지연 | 밀리초 단위 | 밀리초 단위 | 최소 1분 | 최소 12시간 | 밀리초 단위 | 밀리초 단위 |
최소 저장 단위 | 제한 없음 | 64KB | 64KB | 64KB | 제한 없음 | 제한 없음 |
최소 저장 기간 | 제한 없음 | 30일 | 90일 | 180일 | 제한 없음 | 30일 |
데이터 내구성 | 99.999999999% | 99.999999999% | 99.999999999% | 99.999999999% | 99.9999999999% | 99.9999999999% |
비즈니스 디자인 가용성 | 99.99% | 99.90% | 99.00% | 99.00% | 99.995% | 99.95% |
설명:
최소 저장 기간: 파일이 해당 스토리지 유형에 저장될 때 필요한 최소 저장 기간으로, 최소 기간을 충족하지 않으면 최소 기간 기준으로 요금이 계산됩니다. 예를 들어 STANDARD_IA는 최소 30일간 저장해야 하며 파일이 하루만 저장된 후 삭제되더라도 30일 기준으로 요금이 부과됩니다.
최소 저장 단위: 파일이 해당 스토리지 유형에 저장될 때 필요한 최소 파일 용량으로, 최소 용량을 충족하지 않으면 최소 용량 기준으로 요금이 계산됩니다. 예를 들어 STANDARD_IA는 최소 64KB를 저장해야 하며, 파일이 1KB만 저장된 후 삭제되더라도 64KB 기준으로 요금이 부과됩니다.
최적화 2: 액세스 패턴 분석 및 데이터 계층화
1. 정기적으로 인벤토리 및 액세스 로그 기능을 통해 데이터 액세스 패턴을 분석
데이터 액세스 패턴을 분석하면 적절한 스토리지 유형을 선택하기 위한 데이터 근거를 제공할 수 있습니다. COS는 인벤토리 기능과 액세스 로그 기능을 제공하여 각각 저장된 파일의 메타데이터 정보와 파일 액세스 기록을 기록하고, 이 정보를 사용자의 버킷에 저장합니다.
설명:
인벤토리 기능에 대한 자세한 내용은 인벤토리 개요를 참고하십시오. 액세스 로그 관리 기능에 대한 자세한 내용은 로그 관리 개요를 참고하십시오. COS는 COS Select 기능을 제공하여 파일 내의 데이터를 검색할 수 있습니다. 생성한 인벤토리 파일이나 로그 기록이 너무 많으면 EMR(Elastic MapReduce) 클러스터를 구매하여 Presto 클러스터를 구축해 데이터 분석을 수행할 수도 있습니다.
인벤토리 파일 내 데이터를 검색·분석하는 예시로, 인벤토리 보고서가 지정된 버킷으로 전달된 후 콘솔에서 해당 보고서를 분석할 수 있으며, 작업 절차는 다음과 같습니다.
주의:
콘솔은 128MB 미만의 파일만 검색을 지원합니다. 인벤토리 보고서 파일이 너무 크거나 보고서 수가 너무 많은 경우, 도구·SDK·API 방식을 통해 호출할 수 있습니다.
2. 구성이 필요한 버킷 이름을 클릭하여 버킷 목록 페이지로 이동합니다.
3. 해당 인벤토리 보고서를 찾아 오른쪽 작업 열에서 더보기 > 검색을 선택합니다.
4. 객체 검색 페이지에서 입력 매개변수를 설정하고 검색 구문을 입력한 후 SQL 실행을 클릭하면 결과 페이지에서 검색 결과를 확인할 수 있습니다. 자세한 작업 지침은 데이터 검색을 참고하십시오. 아래는 인벤토리 보고서 검색에 자주 사용되는 쿼리 예시입니다.
특정 날짜의 특정 스토리지 유형에 저장된 파일 개수 조회:
select count(*) from cosobject s where s._7 = <storage_class>
select count(*) from cosobject s where s._7 = 'Standard'
특정 날짜의 특정 스토리지 유형에서 몇 MB 용량이 있는지 조회:
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = <storage_class>
select SUM(CAST(s._4 AS FLOAT))/1024/1024 from cosobject s where s._7 = 'Standard'
특정 스토리지 유형에서 64KB 미만 파일 개수 조회:
select count(*) from cosobject s where s._7 = <storage_class> and CAST(s._4 AS FLOAT) < <SIZE>
select count(*) from cosobject s where s._7 = 'Standard_IA' and s._4 < 64*1024
버킷 내 리전 간 복사 실패 파일 개수 조회:
select count(*) from cosobject s where s._9 = 'Failed'
주의:
인벤토리 보고서에는 테이블 헤더 정보가 포함되지 않으므로 해당 필드의 순번만 입력하여 검색할 수 있습니다. 인벤토리 보고서의 테이블 헤더와 순번 대응 정보는 다음과 같습니다.
|
s._1 | s._2 | s._3 | s._4 | s._5 | s._6 | s._7 | s._8 | s._9 |
2. 라이프사이클 및 일괄 처리를 통한 데이터 계층화
비즈니스 발전 과정에서 데이터 액세스 패턴은 항상 동적으로 변화합니다. 정기적으로 인벤토리 및 액세스 로그 기능을 통해 데이터 액세스 패턴을 분석한 후, 분석 보고서를 기반으로 비즈니스 데이터를 계층화할 수 있습니다.
대부분의 데이터는 저장 기간이 길어짐에 따라 액세스 빈도가 일반적으로 감소하기 때문에, 기업은 비즈니스 데이터 액세스 패턴의 변화에 따라 스토리지 유형을 조정하여 비즈니스 비용을 최적 상태로 관리할 필요가 있습니다.
COS는 기업이 정기적으로 스토리지 유형을 전환할 수 있도록 라이프사이클 기능을 제공합니다. 기업은 인벤토리와 액세스 로그를 통해 비즈니스 데이터 액세스 패턴을 분석하고, 이에 따라 합리적인 라이프사이클 전환 규칙을 수립할 수 있습니다.
커뮤니티 플랫폼을 운영하는 한 고객을 예로 들어보면, COS를 사용하여 사용자가 업로드한 이미지 데이터를 저장합니다. 일반적으로 이미지 데이터는 업로드 직후 일정 기간 동안은 자주 접근되지만, 일정 시간이 지나면 대부분의 데이터가 점차 '쿨링'되어 접근 빈도가 줄어듭니다. 만약 이 고객의 대부분 이미지 데이터가 90일 이후 월 1회 미만으로 접근되고, 365일 이후에는 거의 접근되지 않는다면, 라이프사이클 설정과 라이프사이클 미설정에 따른 비용을 비교할 수 있습니다.
|
스토리지 단가(USD/GB/월, 광저우 리전을 예로 듦) | STANDARD: 0.016 | STANDARD: 0.016 STANDARD_IA: 0.01 | STANDARD: 0.016 STANDARD_IA: 0.01 ARCHIVE: 0.004 |
저장 기간 | 24개월 | 24개월 (3개월 STANDARD + 21개월 STANDARD_IA) | 24개월 (3개월 STANDARD + 9개월 STANDARD_IA + 12개월 ARCHIVE) |
총 스토리지 비용(USD) | 39321.60 | 26419.20 | 19046.40 |
라이프사이클 규칙을 사용하여 버킷의 객체를 관리하면 데이터 저장 비용을 크게 절감할 수 있습니다. 장기 저장 데이터의 경우라이프사이클 규칙을 적절히 구성하면 비즈니스 저장 비용을 50% 이상 절감할 수 있습니다.
비즈니스 데이터 스토리지 유형 관리 외에도 라이프사이클 기능은 스토리지 버킷의 파일 조각 및 이전 버전 파일 관리에도 사용할 수 있습니다. 파일 조각은 대용량 파일 업로드 중 네트워크 중단 등으로 전송이 실패하여 생성된 불완전한 파일 파트 정보를 의미합니다. 비즈니스 데이터에 다수의 파일 조각이 존재한다면 라이프사이클 규칙을 통해 만료 삭제할 수 있습니다. 이전 버전 파일은 버전 관리 기능을 활성화하면 생성되는 구 버전 파일로, 데이터 오삭제 후 복구 및 롤백에 활용할 수 있으나 스토리지 공간을 차지합니다. 따라서 비즈니스에서도 더 이상 사용하지 않는 이전 버전 파일에 만료 삭제 시간을 설정하여 정리함으로써 데이터 보안과 비용 균형을 달성할 수 있습니다. 규칙을 추가하여 이전 버전 파일 관리를 활성화하면 이전 버전 파일을 쿨링하거나 삭제할 수 있으며, 조각 삭제를 선택하고 만료 시간을 설정하면 존재할 수 있는 파일 조각을 정리할 수 있습니다. 자세한 내용은 라이프사이클 설정을 참고하십시오. 대량의 파일을 한 번에 더 쿨한 스토리지 유형으로 변환해야 하지만 접두사나 태그와 같은 고정 규칙이 없는 일부 비즈니스의 경우, 사용자는 COS 일괄 작업(Batch) 기능을 활용하여 일괄 복사 기능으로 데이터를 다른 스토리지 유형으로 전환할 수 있습니다. 또한 비즈니스 데이터에 객체 태그 추가를 하여 라이프사이클 규칙을 설정하면 일괄 삭제도 가능합니다. 작업 단계는 다음과 같습니다. 1. 처리할 파일 목록을 내보내 CSV 형식 파일로 정리합니다.
2. COSBatch 일괄 처리 작업을 생성하고 파일 목록을 가져옵니다.
3. 일괄 처리 작업을 실행하고 완료될 때까지 기다리면 됩니다.
자세한 작업 단계는 일괄 작업을 참고하십시오. 비용 회고 진행
비용 최적화는 비즈니스 전체 프로세스에 걸쳐 수행되어야 하며, 단순히 클라우드 전환 시 비용 계획을 수립하는 것에 그쳐서는 안 됩니다. 비즈니스는 수시로 비용 회고를 진행해야 합니다. 한편으로 비즈니스 발전에 따라 스토리지 수요와 데이터 액세스 패턴이 실시간으로 변화하고, 다른 한편으로 Tencent Cloud COS는 사용자에게 더 저렴한 스토리지 서비스를 제공하여 비용 절감과 효율 향상을 지원하고 있습니다. 따라서 수시로 비용 회고를 진행하고 비즈니스 요구에 따라 클라우드 스토리지 아키텍처를 합리적으로 계획하는 것은 저장 비용 절감에 도움이 됩니다.
이 외에도 다음을 수행할 수 있습니다.
1. 비용 센터의 사용량 세부 정보 내보내기 페이지에서 Tencent Cloud 청구서를 다운로드하여 COS 사용량 세부 정보를 확인하고, 사용 현황을 분석해 맞춤형 최적화를 진행할 수 있습니다. 2. COS 콘솔 개요 페이지에 접속하여 COS 신제품 출시 현황을 확인하고, 비용 최적화 관련 소식을 확인할 수 있습니다.