describe detail を使用して Delta Lake tableの詳細を確認する
DESCRIBE DETAILを使用して、差分 table に関する詳細情報 (ファイルの数、データ サイズなど) を取得できます。
DESCRIBE DETAIL '/data/events/'
DESCRIBE DETAIL eventsTable
Spark SQL 構文の詳細については、「DESCRIBE DETAIL
Scala/Java/Python 構文の詳細については、Delta Lake API のドキュメント を参照してください。
詳細なschema
この操作の出力には、次の schemaを持つ行が 1 つだけ含まれます。
手記
表示される columns は、使用している Databricks Runtime のバージョンと、有効にした table 機能によって異なります。
| Column | 型 | 説明 |
|---|---|---|
| format | 糸 | tableの形式 (つまり delta)。 |
| id | 糸 | tableの一意の ID。 |
| 名前 | 糸 | メタストアで定義されている table の名前。 |
| 説明 | 糸 | tableの説明。 |
| 場所 | 糸 | tableの場所。 |
| createdAt | タイムスタンプ | table が作成されたとき。 |
| lastModified | タイムスタンプ | table が最後に変更されたとき。 |
| partitionColumns | 文字列の配列 | table がパーティション分割されている場合の partitioncolumns の名前。 |
| numFiles | long | tableの最新バージョンのファイルの数。 |
| sizeInBytes | int | table の最新のスナップショットのサイズ (バイト単位)。 |
| プロパティ | string-string マップ | すべてのプロパティは、このtableのために設定されます。 |
| minReaderVersion | int | tableを読み取ることができるリーダーの最小バージョン (ログ プロトコルに従います)。 |
| minWriterVersion | int | tableに書き込むことができるライターの最小バージョン (ログ プロトコルに従います)。 |
| 統計学 | 文字列キーを使用してマップする | その他のtableレベルの統計。 |
| tableFeatures | 文字列の配列 | tableでサポートされるtable機能のlist。 「Azure Databricks で Delta Lake 機能の互換性を管理する方法」を参照してください。. |
| clusteringColumns | 文字列の配列 | 液体クラスタリングに使用されている columns。 の「デルタ tables に液体クラスタリングを使用する」を参照してください |
出力の例を次に示します。
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
|format| id| name|description| location| createdAt| lastModified|partitionColumns|numFiles|sizeInBytes|properties|minReaderVersion|minWriterVersion|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+
| delta|d31f82d2-a69f-42e...|default.deltatable| null|file:/Users/tuor/...|2020-06-05 12:20:...|2020-06-05 12:20:20| []| 10| 12345| []| 1| 2|
+------+--------------------+------------------+-----------+--------------------+--------------------+-------------------+----------------+--------+-----------+----------+----------------+----------------+