Поделиться через

Перенос данных в Delta Lake

  • Статья

Azure Databricks предоставляет средства для упрощения миграции данных Parquet и Iceberg в Delta Lake.

Когда следует использовать CONVERT TO DELTA vs. CLONE

Команда SQL CONVERT TO DELTA выполняет однократное преобразование Parquet и Iceberg tables во внешний tables. См. статью о преобразовании в Delta Lake.

CLONE Поддержка Parquet и Iceberg расширяет CONVERT TO DELTA функциональные возможности для включения добавочной поддержки для преобразования. Вы можете использовать DEEP CLONE для создания Unity управляемых tablesCatalog. См.: инкрементно клонировать Parquet и Iceberg tables в Delta Lake.

Databricks рекомендует хранить данные при помощи управляемых Unity Catalog и tables, но преобразование на месте предоставляет многие из тех же преимуществ, не требуя полной перезаписи всех данных. Databricks рекомендует использовать, CLONE если исходная система продолжает получать обновления во время миграции.