Delta Lake テーブル形式の相互運用性
Microsoft Fabric では、Delta Lake テーブル形式が分析の標準です。 Delta Lake は、ACID (原子性、整合性、分離性、持続性) トランザクションをビッグ データと分析ワークロードに取り込むオープンソースストレージレイヤーです。
すべての Fabric エクスペリエンスによって Delta Lake テーブルが生成および使用され、相互運用性と統一された製品エクスペリエンスが促進されます。 Fabric Data Warehouse や Synapse Spark などの 1 つのコンピューティング エンジンによって生成された Delta Lake テーブルは、Power BI などの他のエンジンで使用できます。 Fabric にデータを取り込むと、Fabric は既定でデルタ テーブルとして格納します。 OneLake ショートカットを使用すると、Delta Lake テーブルを含む外部データを簡単に統合できます。
Delta Lake の機能とファブリック エクスペリエンス
相互運用性を実現するために、すべての Fabric エクスペリエンスが Delta Lake の機能と Fabric の機能に合わせて調整されます。 Delta Lake テーブルにのみ書き込むことができるエクスペリエンスもあれば、Delta Lake テーブルから読み取ることができるエクスペリエンスもあります。
- ライター: データ ウェアハウス、イベントストリーム、およびエクスポートされた Power BI セマンティック モデルを OneLake に
- 閲覧者: SQL 分析エンドポイント、および Power BI の Direct Lake セマンティック モデル
- ライターとリーダー: Fabric Spark ランタイム、データフロー、データ パイプライン、Kusto クエリ言語 (KQL) データベース
次の表は、Delta Lake の主な機能と、各 Fabric 機能でのサポートを示しています。
| ファブリックの機能 | 名前ベースの列マッピング | 削除ベクトル | V オーダーの書き込み | テーブルの最適化とメンテナンス | パーティションの書き込み | パーティションの読み取り | 液体クラスタリング | TIMESTAMP_NTZ | デルタ リーダー/ライターのバージョンと既定のテーブル機能 |
|---|---|---|---|---|---|---|---|---|---|
| データ ウェアハウス Delta Lake のエクスポート | いいえ | はい | はい | はい | いいえ | はい | いいえ | いいえ | 閲覧者: 3 ライター: 7 削除ベクトル |
| SQL 分析エンドポイント | はい | はい | 該当なし | 該当なし | N/A (適用なし) | はい | はい | いいえ | 該当なし |
| Fabric Spark Runtime 1.3 | はい | はい | はい | はい | はい | はい | はい | はい | 閲覧者: 1 ライター: 2 |
| Fabric Spark Runtime 1.2 | はい | はい | はい | はい | はい | はい | はい、読み取り専用です | はい | 閲覧者: 1 ライター: 2 |
| Fabric Spark Runtime 1.1 | はい | いいえ | はい | はい | はい | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 ライター: 2 |
| データフロー | はい | はい | はい | いいえ | はい | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 ライター: 2 |
| データ パイプライン | いいえ | いいえ | はい | いいえ | はい、上書きのみ | はい | はい、読み取り専用です | いいえ | 閲覧者: 1 ライター: 2 |
| Power BI ダイレクト レイク セマンティック モデル | はい | はい | 該当なし | 該当なし | 該当なし | はい | はい | いいえ | 該当なし |
| Power BI セマンティック モデルを OneLake にエクスポートする | はい | N/A (適用なし) | はい | いいえ | はい | 該当なし | いいえ | いいえ | 閲覧者: 2 ライター: 5 |
| KQL データベース | はい | はい | いいえ | いいえ* | はい | はい | いいえ | いいえ | 閲覧者: 1 ライター: 1 |
| イベントストリーム | いいえ | いいえ | いいえ | いいえ | はい | N/A (適用なし) | いいえ | いいえ | 閲覧者: 1 ライター: 2 |
* KQL データベースは、保持など、特定のテーブル メンテナンス機能を提供します。 データは、保持期間の終了時に OneLake から削除されます。 詳細については、「1 つの論理コピー」をご覧ください。
手記
- Fabric では、既定では名前ベースの列マッピングは書き込まれません。 既定の Fabric エクスペリエンスでは、サービス全体で互換性のあるテーブルが生成されます。 サード パーティのサービスによって生成された Delta Lake には、互換性のないテーブル機能が含まれる場合があります。
- 一部の Fabric エクスペリエンスには、テーブルの最適化とメンテナンス機能が継承されていません。たとえば、ビン圧縮、V オーダー、古い参照されていないファイルのクリーンアップなどです。 Delta Lake テーブルを分析に最適な状態に保つには、「テーブルメンテナンス機能を使用して、これらのエクスペリエンスを通じて取り込まれたテーブルに対して、Fabric でデルタテーブルを管理する」の手法に従います。
現在の制限事項
現時点では、Fabric では次の Delta Lake 機能はサポートされていません。
- Delta Lake 3.x ユニフォーム
- ID 列の書き込み (独自の Databricks 機能)
- Delta Live Tables (独自の Databricks 機能)
- RLE (実行長エンコード) が有効なチェックポイントファイル
関連コンテンツ
- Delta Lake とは
- Fabric Lakehouse と Synapse Spark の Delta Lake テーブルについて詳しく理解します。
- Power BI と Microsoft Fabricの Direct Lake について説明します。
- 発行された Delta Lake Logs を使用して、Warehouse からテーブルのクエリを実行する方法について詳しく理解します。