説明:
メタデータアクセラレーション機能はバケット作成時にのみ有効化でき、有効化後は無効化にすることはできません。有効化は、必要に応じて検討してください。
現在、メタデータアクセラレーション機能はパブリックベータ機能です。お問い合わせよりパブリックベータの利用資格を申請してください。 HDFSプロトコルのメリット
メタデータアクセラレーション機能は、基盤にCloud HDFSの優れたメタデータ管理機能を採用しており、ユーザーがファイルシステムセマンティクスを通じてCOSサービスにアクセスすることをサポートします。システム設計指標として、数百GBレベルの帯域幅、10万レベルのQPS、およびミリ秒レベルのレイテンシーを実現可能です。
メタデータアクセラレーションを有効にしたバケットは、HCFS(Hadoop Compatible File System)プロトコルと完全互換性があり、ネイティブなHDFSインターフェースを使用して直接アクセスできます。
Hadoopツールを使用した通常のCOSバケットへのアクセスより、HDFSプロトコルを使用すると、ツール内部でHCFSインターフェースをCOSのRESTfulインターフェースに変換する必要がなく、プロトコル変換のオーバーヘッドが削減されます。さらに、ディレクトリのアトミックかつ効率的なリネーム(Rename)、ファイルのAtime/Mtime更新、効率的なディレクトリDU統計、POSIX ACL権限サポートなどのネイティブHDFS機能を提供できます。 注意:
メタデータアクセラレーションバケットの基盤アーキテクチャの特性上、最適なパフォーマンスを実現するために、COSのRESTfulインターフェースではなく、HDFSプロトコルを使用してメタデータバケットにアクセスすることを推奨します。
手順1:メタデータアクセラレーションバケットの作成
バケットの作成を参考にCOSコンソールにログインし、バケットを作成してメタデータアクセラレーションを有効にします。HDFSサービスロール権限を許可していない場合、今すぐ許可をクリックして権限を許可に進む必要があります。許可を同意後、作成が可能になります。 説明:
COSセマンティクスを使用して頻繁に読み書きを行う必要がある場合、メタデータアクセラレーション機能を有効にすることは推奨しません。
メタデータバケットの一部の管理機能は制限されます。詳細は、制限事項の説明をご参照ください。 手順2:HDFSプロトコルアクセスの有効化
1. 作成済みのメタデータアクセラレーションバケットを見つけ、バケット名をクリックしてバケット詳細ページに入ります。
2. 左側のメニューバーでレイクストレージ設定 > メタデータアクセラレーション機能を選択すると、メタデータアクセラレーション機能が有効になり、デフォルトのバケットマウントポイント情報が表示されます。下図をご参照ください。
3. HDFSメタデータ権限設定欄で、権限設定の追加をクリックし、以下のパラメータを設定して、完了後に保存をクリックします。
VPCネットワーク名/ID計算クラスタが存在するVPCネットワークアドレスを選択します。
ノードIPアドレスVPC CIDR内でアクセスを許可するIPアドレスまたはIPアドレス範囲を入力します。
アクセスタイプ読み書き可能または読み取り専用を選択します。
説明:
HDFSプロトコルを使用してアクセスする場合、メタデータアクセラレーションバケットはまず計算ノードのIPがこの設定を満たしているかを検証します。使用する前に、この設定項目が正しく設定されていることを確認してください。
4. 必要に応じて、HDFSメタデータ認証設定で認証なし、POSIX認証、Ranger認証の3種類のファイルシステム認証方式から選択できます。編集をクリックして修正ページに入ります。
説明:
POSIX認証を使用する必要がある場合、HDFSユーザー設定でスーパーユーザーリストを設定できます。下図をご参照ください。