Delta Lake および Apache Iceberg 向けの Unity Catalog マネージドテーブル

Unity Catalog マネージドテーブルは、DatabricksにおけるDelta LakeおよびApache Icebergのデフォルトかつ推奨されるテーブルタイプです。Unity Catalog は、読み取り、書き込み、ストレージ、最適化に関するすべての責任を管理します。外部Delta LakeテーブルをUnity Catalog マネージドテーブルに変換するを参照してください。

マネージドテーブルのデータファイルは、それらを含むスキーマまたはカタログに格納されます。 「Unity Catalog で管理されたストレージの場所を指定する」を参照してください。

Databricksは、 外部 および フォーリンテーブルと比較して以下の利点を活かすためにマネージドテーブルの利用を推奨しています:

• ストレージとコンピュートのコストを削減します。
• すべてのクライアントタイプでクエリパフォーマンスが高速になります。
• 自動テーブルメンテナンスと最適化。
• オープンAPIsを介した外部クライアントへの安全なアクセス。
• Delta LakeおよびApache Icebergフォーマットのサポート。
• 最新のプラットフォーム機能への自動アップグレード。

マネージドテーブルは、 Databricksでサポートされているすべての言語と製品で操作できます。 マネージドテーブルを作成、更新、削除、またはクエリするには、特定の権限が必要です。 Unity Catalog での特権の管理を参照してください。

Unity Catalogマネージドテーブルの利点​

Unity Catalog マネージドテーブルは、ストレージコストとクエリー速度を最適化し、Delta LakeおよびApache Icebergのサードパーティツールとの相互運用を可能にします。データマネジメントとパフォーマンスを簡素化するために、これらのマネージドテーブルは、ファイルサイズの圧縮やインテリジェントな統計情報収集などのAIを活用したテクノロジーを使用しています。

マネージドテーブルは、Delta LakeおよびApache Icebergクライアントからのアクセスを可能にすることで相互運用性をサポートします。外部 システムを用いたDatabricksデータのアクセスを参照してください。

以下の機能はUnity Catalog マネージドテーブルに固有のものであり、外部テーブルやフォーリンテーブルでは利用できません。

外部システムを使ってDatabricksのデータにアクセスする​

マネージドテーブルは、Delta LakeとApache Icebergのクライアントからのアクセスを許可することで、相互運用性をサポートしています。

オープンAPIsとクレデンシャルベンディングにより、Unity Catalogは、Trino、DuckDB、Apache Spark、Daft、DremioのようなIceberg RESTカタログ統合エンジンなどの外部エンジンがマネージドテーブルにアクセスすることを可能にします。オープンAPIsをサポートしていない外部クライアントの場合は、任意のDelta LakeまたはApache Icebergクライアントを使用してマネージドテーブルを読み取るために、互換 Modeを使用できます。OpenSharing は、オープンソースプロトコルであり、外部パートナーやプラットフォームとのセキュアなガバナンスされたデータ共有を可能にします。

サポートされている外部エンジンの一覧については、 「統合」セクションを参照してください。一覧に含まれていない場合は、お使いのエンジンのドキュメントをご確認ください。

以下のオープンAPIにより、外部システムがUnity Catalogマネージドテーブルにアクセスできるようになります:

• Unity REST API は、Delta LakeクライアントがマネージドDelta Lakeテーブルへの読み取り、書き込み、作成アクセス権を持っています。
• Iceberg REST Catalog （IRC）は、Apache Iceberg クライアントに対し、マネージド Apache Iceberg テーブルへの読み取り、書き込み、および作成アクセスを提供し、Apache Iceberg 読み取りが有効化された （UniForm） Delta Lake テーブルへの読み取り専用アクセスを提供します。

どちらのAPIs資格情報販売をサポートしており、これにより、要求元のDatabricksプリンシパルの権限を継承する一時的なスコープ付き資格情報が提供されるため、ガバナンスとセキュリティ制御が維持されます。

OpenSharing は、外部パートナーやプラットフォームに対して安全かつ管理されたデータアクセスを可能にするオープンソースプロトコルです。OpenSharing を使用して、パートナーに一時的な読み取りアクセス権のみを付与できます。

マネージドテーブルへのすべての読み取りと書き込みには、テーブル名、およびカタログ名とスキーマ名が存在する場合はそれらを使用する必要があります。たとえば、catalog_name.schema_name.table_name。Unity Catalogマネージドテーブルへのパスベースのアクセスは、Unity Catalogのアクセス制御をバイパスするためサポートされていません（Compatibility Modeを除く）。このため、Databricks RuntimeまたはOSSクライアントのバージョンによっては、データの破損や損失につながる可能性があります。

マネージドテーブルを作成する​

マネージドテーブルを作成するには、次のものが必要です。

• USE SCHEMA テーブルの親スキーマ上。
• USE CATALOG テーブルの親カタログ。
• CREATE TABLE テーブルの親スキーマ上。

次の構文を使用して、空のマネージドテーブルを作成します。プレースホルダーの値を置き換えてください：

• <catalog-name>：テーブルを格納するカタログの名前。
• <schema-name>: テーブルを含むスキーマの名前。
• <table-name>：テーブルの名前。
• <column-specification>: 各列の名前とデータ型。

-- Create a managed Delta table
CREATE TABLE <catalog-name>.<schema-name>.<table-name>
(
  <column-specification>
);

-- Create a managed Iceberg table
CREATE TABLE <catalog-name>.<schema-name>.<table-name>
(
  <column-specification>
)
USING iceberg;

from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([StructField("<column-name>", StringType())])

spark.createDataFrame([], schema).write \
  .saveAsTable("<catalog-name>.<schema-name>.<table-name>")

from delta.tables import DeltaTable

DeltaTable.create(spark) \
  .tableName("<catalog-name>.<schema-name>.<table-name>") \
  .addColumn("<column-name>", "<data-type>") \
  .property("<key>", "<value>") \
  .execute()

from pyspark.sql.types import StructType, StructField, StringType

schema = StructType([StructField("<column-name>", StringType())])

spark.createDataFrame([], schema).write \
  .format("iceberg") \
  .saveAsTable("<catalog-name>.<schema-name>.<table-name>")

読み書きのパフォーマンスを維持するために、Databricksは定期的に管理されたApache Icebergテーブルメタデータの最適化操作を実行します。このタスクはサーバーレスコンピュートで行われ、Apache Icebergテーブルに対して MODIFY 権限を持っています。この操作はテーブルのメタデータにのみ書き込み、コンピュートはジョブの間のみテーブルの権限を維持します。

マネージドテーブルは、クエリ結果から作成することも、 DataFrame 書き込み操作から作成することもできます。 次の記事では、 Databricksでマネージドテーブルを作成するために使用できる多くのパターンの一部を示しています。

• CREATE TABLE [USING]
• CREATE TABLE LIKE
• ファイルアップロードを使用したテーブルの作成と変更

既存のマネージドテーブルのコピーを作成するには、クローンを使用します。マネージド Delta Lake テーブルでは、ディープクローンとシャロークローンがサポートされています。マネージド Apache Iceberg テーブルは、ディープクローンのみをサポートします。Databricks でのテーブルのクローン作成とマネージド Iceberg テーブルのクローン作成をご覧ください。

マネージドテーブルをドロップする​

マネージドテーブルを削除するには、次のものが必要です。

• MANAGE テーブル上に表示されるか、テーブルの所有者である必要があります。
• USE SCHEMA テーブルの親スキーマ上。
• USE CATALOG テーブルの親カタログ。

マネージドテーブルを削除するには、次のコマンドを実行します。

DROP TABLE IF EXISTS catalog_name.schema_name.table_name;

spark.sql("DROP TABLE IF EXISTS catalog_name.schema_name.table_name")

spark.catalog.dropTable("catalog_name.schema_name.table_name", ifExists=True)

Unity Catalogは、誤って削除されたマネージドテーブルを復元するために、UNDROP TABLEコマンドをサポートしています。デフォルトでは、テーブルはドロップ後7日間復元可能です。リカバリ期間が終了した後、Databricks はお使いのクラウドテナントから基になるデータファイルを48時間以内に削除します。

復旧期間を構成する​

カタログまたはスキーマレベルで、削除されたマネージドテーブルの復元可能期間を構成できます。回復期間が両方のレベルで設定されている場合、そのスキーマ内のテーブルではスキーマレベルの設定が優先されます。

回復期間を設定するには、カタログまたはスキーマに対する MANAGE 権限または所有権が必要です。この設定は、構成後にドロップされたテーブルにのみ適用されます。既に削除されたテーブルには影響しません。

復旧期間は、0時間（復旧を無効にするため）、または7～30日の間で設定できます。より長いリカバリ期間（最大30日間）は、重要な本番運用データの偶発的な削除に対して、保護を強化します。復旧期間を短縮するか、または0に設定すると、削除されたデータがより迅速に削除されます。これは、ETLパイプラインの一部として頻繁にテーブルを作成および削除するワークロードにおいて、コスト削減に役立ちます。復旧期間を0に設定すると、削除されたテーブルはUNDROPで復元することはできません。データファイルは、テーブルが削除されてから48時間以内にクラウドストレージから削除されます。

復旧期間を指定するには、RETAIN DROPPED TO 句とともに ALTER CATALOG または ALTER SCHEMA を使用します。

-- Set a 30-day recovery period on a catalog
ALTER CATALOG my_catalog RETAIN DROPPED TO 30 DAYS;

-- Set a 7-day recovery period on a schema (overrides the catalog setting)
ALTER SCHEMA my_catalog.my_schema RETAIN DROPPED TO 7 DAYS;

spark.sql("ALTER CATALOG my_catalog RETAIN DROPPED TO 30 DAYS")
spark.sql("ALTER SCHEMA my_catalog.my_schema RETAIN DROPPED TO 7 DAYS")

RETAIN DROPPED FOR句を使用してカタログまたはスキーマを作成する際に、リカバリ期間を設定することもできます。

CREATE CATALOG my_catalog RETAIN DROPPED FOR 30 DAYS;
CREATE SCHEMA my_catalog.my_schema RETAIN DROPPED FOR 7 DAYS;

spark.sql("CREATE CATALOG my_catalog RETAIN DROPPED FOR 30 DAYS")
spark.sql("CREATE SCHEMA my_catalog.my_schema RETAIN DROPPED FOR 7 DAYS")

現在の復旧期間を確認するには、DESCRIBE EXTENDEDを実行します。出力にはRecovery Period Hours行が含まれます。

DESCRIBE CATALOG EXTENDED my_catalog;
DESCRIBE SCHEMA EXTENDED my_catalog.my_schema;

spark.sql("DESCRIBE CATALOG EXTENDED my_catalog").show()
spark.sql("DESCRIBE SCHEMA EXTENDED my_catalog.my_schema").show()