Dela via

Konvertera till Delta Lake

  • Artikel

CONVERT TO DELTA SQL-kommandot utför en engångskonvertering för Parquet- och Iceberg-tabeller till Delta Lake-tabeller. För inkrementell konvertering av parquet- eller isbergstabeller till Delta Lake, se Stegvis klona Parquet- och Isbergstabeller till Delta Lake.

Unity Catalog stöder CONVERT TO DELTA SQL-kommandot för Parquet- och Iceberg-tabeller som lagras på externa platser som hanteras av Unity Catalog.

Du kan konfigurera befintliga Parquet-datafiler som externa tabeller i Unity Catalog och sedan konvertera dem till Delta Lake för att låsa upp alla funktioner i Databricks lakehouse.

Den tekniska dokumentationen finns i KONVERTERA TILL DELTA.

Konvertera en katalog med Parquet- eller Iceberg-filer på en extern plats till Delta Lake

Kommentar

  • Konvertering av isbergstabeller finns i offentlig förhandsversion.
  • Konvertering av isbergstabeller stöds i Databricks Runtime 10.4 LTS och senare.
  • Det går inte att konvertera iceberg-metaarkivtabeller.
  • Det går inte att konvertera isbergstabeller som har upplevt partitionsutveckling .
  • Det går inte att konvertera Iceberg-sammanslagningstabeller som har upplevt uppdateringar, borttagningar eller sammanslagningar.
  • Följande är begränsningar för att konvertera Isbergstabeller med partitioner som definierats för trunkerade kolumner:
    • I Databricks Runtime 12.2 LTS och nedan är stringden enda trunkerade kolumntypen som stöds .
    • I Databricks Runtime 13.3 LTS och senare kan du arbeta med trunkerade kolumner av typer string, longeller int.
    • Azure Databricks stöder inte arbete med trunkerade kolumner av typen decimal.

Du kan konvertera en katalog med Parquet-datafiler till en Delta Lake-tabell så länge du har skrivåtkomst på lagringsplatsen. Information om hur du konfigurerar åtkomst med Unity Catalog finns i Ansluta till molnobjektlagring och -tjänster med Unity Catalog.

Kommentar

Unity Catalog kräver Azure Data Lake Storage Gen2.

CONVERT TO DELTA parquet.`abfss://container@storageAccount.dfs.core.windows.net/parquet-data`;

CONVERT TO DELTA iceberg.`abfss://container@storageAccount.dfs.core.windows.net/iceberg-data`;

Om du vill läsa in konverterade tabeller som externa tabeller till Unity Catalog behöver du behörigheten CREATE EXTERNAL TABLE på den externa platsen.

Kommentar

För Databricks Runtime 11.3 LTS och senare härleder CONVERT TO DELTA automatiskt partitioneringsinformation för tabeller som är registrerade i Hive-metaarkivet. Du måste ange partitioneringsinformation för externa Unity Catalog-tabeller.

Konvertera hanterade och externa tabeller till Delta Lake i Unity Catalog

CONVERT TO DELTA syntax kan endast användas för att skapa externa Unity Catalog-tabeller. Använd en CTAS instruktion för att konvertera en äldre Hive-metaarkivhanterad Parquet-tabell direkt till en hanterad Delta Lake-tabell i Unity Catalog. Mer information finns i Uppgradera en Hive-tabell till en hanterad Unity Catalog-tabell med CREATE TABLE AS SELECT.

Information om hur du uppgraderar en extern Parquet-tabell till en extern Unity Catalog-tabell finns i Uppgradera en enda Hive-tabell till en extern Unity Catalog-tabell med hjälp av uppgraderingsguiden.

När du har registrerat en extern Parquet-tabell till Unity Catalog kan du konvertera den till en extern Delta Lake-tabell. Du måste ange partitioneringsinformation om Parquet-tabellen är partitionerad.

CONVERT TO DELTA catalog_name.database_name.table_name;

CONVERT TO DELTA catalog_name.database_name.table_name PARTITIONED BY (date_updated DATE);