Hiveでは、パーティション情報はディレクトリ形式で表示されます。Icebergでは、パーティション情報は最終的な基盤データファイルに記録され、これによりIcebergのパーティションはより柔軟になり、データ量の変化に応じてパーティション戦略を進化させることができます。データレイクコンピューティングDLCでは、隠しパーティションなどの機能を利用するためにIcebergテーブルを作成できます。
説明:
ネイティブテーブルはデフォルトでIcebergテーブルであり、外部テーブルはファイル形式に応じてHiveテーブルまたはIcebergテーブルを選択できます。詳細な構文についてはドキュメントCREATE TABLEを参照してください。 隠しパーティションでは、データの挿入やクエリ時にHiveのように追加でパーティション情報を指定する必要がありません。
Icebergのパーティション戦略では以下の関数がサポートされており、異なるフィールドと対応するパーティション変換戦略は次の表の通りです:
|
identity | いずれか | ソースタイプ |
bucket | int, long, decimal, date, time, timestamp, timestamptz, string, uuid, fixed, binary | int |
truncate | int, long, decimal, string | ソースタイプ |
year | date, timestamp, timestamptz | int |
month | date, timestamp, timestamptz | int |
day | date, timestamp, timestamptz | date |
hour | timestamp, timestamptz | int |