Dela via

DLT-begränsningar

  • Artikel

Följande är begränsningar för DLT som är viktiga att känna till när du utvecklar dina pipelines:

  • En Azure Databricks-arbetsyta är begränsad till 100 samtidiga pipelineuppdateringar. Antalet datauppsättningar som en enda pipeline kan innehålla bestäms av pipelinekonfigurationen och arbetsbelastningens komplexitet.
  • DLT-datauppsättningar kan bara definieras en gång. På grund av detta kan de bara vara föremål för en enda operation i alla DLT-pipelines. Undantaget är strömmande tabeller med tillflödesprocesser, vilket gör att du kan skriva till den strömmande tabellen från flera strömmande källor. Se Använd tilläggsflöde för att skriva till en strömmande tabell från flera källströmmar.
  • Identitetskolumner har följande begränsningar. Mer information om identitetskolumner i Delta-tabeller finns i Använda identitetskolumner i Delta Lake.
    • Identitetskolumner stöds inte med tabeller som är målet för TILLÄMPA ÄNDRINGAR bearbetning.
    • Identitetskolumner kan omberäknas under uppdateringar av en materialiserad vy. Därför rekommenderar Databricks att du endast använder identitetskolumner i DLT med strömmande tabeller.
  • Materialiserade vyer och strömmande tabeller som publicerats från en DLT-pipeline, inklusive de som skapats av Databricks SQL, kan endast nås av Azure Databricks-klienter och program. Men om du vill göra dina materialiserade vyer och strömmande tabeller tillgängliga externt kan du använda API:et DLT sink för att skriva till tabeller i en extern Delta-instans. Se strömma inspelningar till externa tjänster med DLT-inkast.
  • Du kan inte använda DeltaDelning för att dela materialiserade vyer och strömmande tabeller som skapats av en DLT-pipeline.
  • Det finns begränsningar för den databricksberäkning som krävs för att köra och göra sökningar i Unity Catalog-pipelines. Se Krav för pipelines som publicerar till Unity Catalog.
  • Endast pipelineägaren kan komma åt händelseloggen för en pipeline. Se Fråga händelseloggen.
  • Frågor om tidsresor i Delta Lake stöds endast med strömningstabeller och inte stöds med materialiserade vyer. Se Arbeta med Delta Lake-tabellhistorik.
  • Du kan inte aktivera Iceberg läser på materialiserade vyer och strömmande tabeller som skapats av DLT-pipelines.