메타데이터 가속 기능을 활성화한 후 COS는 메타데이터 가속 버킷에 대한 마운트 포인트를 생성합니다. HDFS 클라이언트를 다운로드하여 클라이언트에 버킷 정보를 입력함으로써 메타데이터 가속 버킷을 마운트할 수 있습니다. 본 문서는 컴퓨팅 클러스터에서 메타데이터 가속이 활성화된 버킷을 마운트하여 HDFS를 사용해 액세스하는 방법을 상세히 소개합니다.
클라이언트 소개
HDFS를 사용하여 COS에 액세스하려면 Hadoop 클라이언트(HDFS 시맨틱 구현용) 및 COS api 클라이언트(COS 버킷 액세스용) 두 가지 클라이언트가 필요합니다. 메타데이터 가속 버킷은 Hadoop-COS(scheme으로 COSN 사용, COSN 클라이언트라고도 함) 및 chdfs-hadoop-plugin(scheme으로 OFS 사용, OFS 클라이언트라고도 함) 두 가지 Hadoop 클라이언트와 호환됩니다.
COSN 클라이언트를 사용할 경우 HEAD Bucket을 요청하여 버킷 유형이 메타데이터 가속 버킷인지 먼저 확인한 후, 요청을 OFS 클라이언트로 전달하여 처리합니다. 따라서 일반 COS 버킷 시나리오와 호환되지 않는 경우 보다 원활한 경험을 위해 OFS 클라이언트 사용을 권장합니다.
2.2 위의 두 스크립트 파일을 서버의 /root 디렉터리에 넣고 update_cos_jar.sh에 실행 권한을 부여하고 다음 명령어를 실행합니다.
주의:
URL 매개변수를 해당 리전의 버킷으로 변경하십시오. 예를 들어 광저우 리전인 경우 https://hadoop-jar-guangzhou-1259378398.cos.ap-guangzhou.myqcloud.com/hadoop_plugin_network/2.7로 변경하십시오.
sh update_cos_jar.sh https://hadoop-jar-beijing-1259378398.cos.ap-beijing.myqcloud.com/hadoop_plugin_network/2.7
2.3 각 EMR 노드에서 위 단계를 순차적으로 실행하여 머신의 jar 패키지가 모두 교체합니다.
3. (선택 사항) hadoop-cos 패키지 또는 cos_api-bundle 버전을 업데이트해야 하는 경우 EMR 업데이트 설명 문서를 참고하십시오.
4. EMR 콘솔에서 core-site.xml을 구성하고 새로운 구성 항목 fs.cosn.bucket.region을 추가합니다. 매개변수 fs.cosn.trsf.fs.ofs.bucket.region은 버킷의 COS 리전(예: ap-shanghai)을 지정하는 데 사용됩니다.
주의:
fs.cosn.bucket.region 및 fs.cosn.trsf.fs.ofs.bucket.region은 버킷의 COS 리전(예: ap-shanghai)을 지정하기 위한 필수 구성 항목입니다. 버킷에 해당하는 리전은 COS 리전 설명 문서를 참고하십시오.
5. Yarn, Hive, Presto, Impala 등의 일부 상주 서비스를 재시작하고 core-site.xml을 모든 Hadoop 노드에 동기화합니다.
6. 마운트 성공 여부를 검증합니다.
hadoop fs 명령줄 도구를 사용하여 hadoop fs -ls cosn://${bucketname-appid}/ 명령어를 실행합니다(bucketname-appid는 마운트 주소, 즉 버킷 이름). 파일 목록이 정상적으로 나열되면 COS 버킷이 성공적으로 마운트되었음을 의미합니다.
자체 구축 Hadoop/CDH 등 환경에 마운트
전제 조건
메타데이터 가속 버킷을 생성하고 HDFS 프로토콜을 활성화하였으며, 컴퓨팅 클러스터가 위치한 VPC 네트워크 주소를 바인딩하였습니다. 자세한 작업 방법은 메타데이터 가속 버킷 생성 및 HDFS 프로토콜 활성화를 참고하십시오.
<!--로컬 cache의 임시 디렉터리입니다. 데이터 읽기/쓰기 시 메모리가 부족한 경우 cache가 로컬 하드 디스크에 저장되며, 이 경로가 존재하지 않으면 자동 생성됩니다.-->
<property>
<name>fs.cosn.trsf.fs.ofs.tmp.cache.dir</name>
<value>/data/chdfs_tmp_cache</value>
</property>
<!--사용자의 appId, Tencent Cloud 콘솔(https://console.tencentcloud.com/developer)에서 확인 가능-->
<property>
<name>fs.cosn.trsf.fs.ofs.user.appid</name>
<value>1250000000</value>
</property>
<!--사용자 버킷의 리전 정보, 형식 예시: ap-guangzhou-->
<property>
<name>fs.cosn.trsf.fs.ofs.bucket.region</name>
<value>ap-guangzhou</value>
</property>
4. 마운트 성공 여부를 검증합니다.
hadoop fs 명령줄 도구를 사용하여 hadoop fs -ls cosn://${bucketname-appid}/ 명령어를 실행합니다(bucketname-appid는 마운트 주소, 즉 버킷 이름). 파일 목록이 정상적으로 나열되면 COS 버킷이 성공적으로 마운트되었음을 의미합니다.
설명:
일부 상주 서비스 컴포넌트(예: Yarn, Hive, Trino(Presto), Impala 등)의 경우 EMR 콘솔에서 컴포넌트를 재시작하여 구성을 로드해야 합니다.
