cosn://bucketname-appid/ 메소드에서 메타데이터 가속 버킷에 대한 액세스를 지원합니다.core-site.xml 파일을 편집하여 다음 기본 설정을 추가합니다. <!--계정에 대한 API Keys 정보입니다. [액세스 관리 콘솔](https://console.tencentcloud.com/capi)에 로그인하면 Tencent Cloud API 키를 조회할 수 있습니다. --><!--구성 보안을 강화하기 위해 구성에 서브 계정 키 또는 임시 키를 사용하는 것이 좋습니다. 서브 계정 승인 시 [최소 권한의 원칙 설명](https://www.tencentcloud.com/document/product/436/32972)을 따릅니다. --><property><name>fs.cosn.userinfo.secretId/secretKey</name><value>AKIDxxxxxxxxxxxxxxxxxxxxx</value></property><!--cosn의 구현 클래스--><property><name>fs.AbstractFileSystem.cosn.impl</name><value>org.apache.hadoop.fs.CosN</value></property><!--cosn의 구현 클래스--><property><name>fs.cosn.impl</name><value>org.apache.hadoop.fs.CosFileSystem</value></property><!--ap-guangzhou 형식의 버킷 리전--><property><name>fs.cosn.bucket.region</name><value>ap-guangzhou</value></property><!--실행 중 생성된 임시 파일을 저장하는 데 사용되는 로컬 임시 디렉터리-><property><name>fs.cosn.tmp.dir</name><value>/tmp/hadoop_cos</value></property>
core-site.xml을 모든 hadoop 노드에 동기화 합니다. hadoop fs 명령줄 도구를 사용하여 hadoop fs -ls cosn://${bucketname-appid}/ 명령을 실행합니다. 여기서 bucketname-appid는 마운트 주소, 즉 버킷 이름입니다. 파일 목록이 제대로 출력되면 COS 버킷이 성공적으로 마운트된 것입니다.hadoop 또는 mr 작업의 다른 구성 항목을 사용하여 메타데이터 가속이 활성화된 버킷에서 데이터 작업을 실행할 수도 있습니다. mr 작업의 경우 -Dfs.defaultFS=ofs://${bucketname-appid}/를 통해 작업의 기본 입력 및 출력 파일 'FS'를 해당 버킷으로 변경할 수 있습니다.구성 항목 | 구성 항목 콘텐츠 | 설명 |
fs.cosn.userinfo.secretId/secretKey | 형식은 AKIDxxxxxxxxxxxxxxxxxxxx와 같습니다 | |
fs.cosn.impl | org.apache.hadoop.fs.CosFileSystem | FileSystem에 대한 cosn 구현 유형, org.apache.hadoop.fs.CosFileSystem으로 고정됩니다. |
fs.AbstractFileSystem.cosn.impl | org.apache.hadoop.fs.CosN | AbstractFileSystem에 대한 cosn 구현 유형, org.apache.hadoop.fs.CosN으로 고정됩니다. |
fs.cosn.bucket.region | 형식은 ap-beijing과 같습니다. | 액세스할 버킷의 리전 정보를 입력합니다. 열거 값은 리전 및 액세스 도메인의 도메인 약칭을 참고하십시오. 예: ap-beijing, ap-guangzhou 등. 기존 설정 호환: fs.cosn.userinfo.region |
fs.cosn.tmp.dir | 기본값/tmp/hadoop_cos | 실제 존재하는 로컬 디렉터리를 입력합니다. 실행 과정에서 생성되는 임시 파일이 잠시 해당 디렉터리에 저장됩니다. 동시에 각 노드의 디렉터리에 대해 충분한 공간과 권한을 구성하는 것이 좋습니다. |
구성 항목 | 구성 항목 콘텐츠 | 설명 |
fs.cosn.trsf.fs.AbstractFileSystem.ofs.impl | com.qcloud.chdfs.fs.CHDFSDelegateFSAdapter | 메타데이터 버킷 액세스 구현 클래스 |
fs.cosn.trsf.fs.ofs.impl | com.qcloud.chdfs.fs.CHDFSHadoopFileSystemAdapter | 메타데이터 버킷 액세스 구현 클래스 |
fs.cosn.trsf.fs.ofs.tmp.cache.dir | 형식은 /data/emr/hdfs/tmp/posix-cosn/과 같습니다. | 실제 로컬 디렉터리를 설정하면 작업 중 생성된 임시 파일이 여기에 임시 저장됩니다. 동시에 "/data/emr/hdfs/tmp/posix-cosn/"과 같이 각 노드에서 이 디렉터리에 대한 충분한 공간과 권한을 구성하는 것이 좋습니다. |
fs.cosn.trsf.fs.ofs.user.appid | 형식은 12500000000과 같습니다. | 필수. 사용자 appid |
fs.cosn.trsf.fs.ofs.bucket.region | 형식은 ap-beijing과 같습니다. | 필수. 사용자 bucket의 region |
구성 항목 | 구성 항목 콘텐츠 | 설명 |
fs.cosn.posix_bucket.fs.impl | org.apache.hadoop.fs.CosNFileSystem | 이 매개변수는 POSIX 액세스 모드(기본 모드)의 경우 com.qcloud.chdfs.fs.CHDFSHadoopFileSystemAdapter S3 또는 액세스 모드의 경우 org.apache.hadoop.fs.CosNFileSystem에서 각각 고정됩니다. |
피드백