Delen via

DLT-beperkingen

  • Artikel

Hieronder vindt u beperkingen van DLT die belangrijk zijn om te weten wanneer u uw pijplijnen ontwikkelt:

  • Een Azure Databricks-werkruimte is beperkt tot 100 gelijktijdige pijplijnupdates. Het aantal gegevenssets dat één pijplijn kan bevatten, wordt bepaald door de complexiteit van de pijplijnconfiguratie en workload.
  • DLT-gegevenssets kunnen slechts eenmaal worden gedefinieerd. Daarom kunnen ze het doel zijn van slechts één bewerking in alle DLT-pijplijnen. De uitzondering is streamingtabellen met toevoegstroomverwerking, waarmee u vanuit meerdere streamingbronnen naar de streamingtabel kunt schrijven. Zie Toevoegstroom gebruiken om vanuit meerdere bronstromen naar een streamingtabel te schrijven.
  • Identiteitskolommen hebben de volgende beperkingen. Om meer te weten te komen over identiteitskolommen in Delta-tabellen, zie Gebruik van identiteitskolommen in Delta Lake.
    • Identiteitskolommen worden niet ondersteund bij tabellen die het doelwit zijn van WIJZIGINGEN TOEPASSEN verwerking.
    • Identiteitskolommen kunnen opnieuw worden gecomputeerd tijdens het bijwerken van gerealiseerde weergaven. Daarom raadt Databricks aan om alleen identiteitskolommen in DLT te gebruiken met streamingtabellen.
  • Gerealiseerde weergaven en streamingtabellen die zijn gepubliceerd vanuit een DLT-pijplijn, inclusief de tabellen die zijn gemaakt door Databricks SQL, kunnen alleen worden geopend door Azure Databricks-clients en -toepassingen. Als u uw gerealiseerde weergaven en streamingtabellen echter extern toegankelijk wilt maken, kunt u de DLT sink-API gebruiken om naar tabellen in een extern Delta-exemplaar te schrijven. Zie Stream-records naar externe services met DLT-sinks.
  • U kunt Delta Sharing niet gebruiken om gerealiseerde weergaven en streamingtabellen te delen die zijn gemaakt door een DLT-pijplijn.
  • Er zijn beperkingen voor de Databricks-rekenkracht die nodig is om Unity Catalog-pijplijnen uit te voeren en er query's op uit te voeren. Zie de Vereisten voor pijplijnen die worden gepubliceerd in Unity Catalog.
  • Alleen de eigenaar van de pijplijn heeft toegang tot het gebeurtenislogboek voor een pijplijn. Zie Het gebeurtenislogboek opvragen.
  • Delta Lake time travel-query's worden alleen ondersteund met streamingtabellen en worden niet ondersteund met gerealiseerde weergaven. Zie Werken met de Delta Lake tabelgeschiedenis.
  • U kunt Iceberg-lezingen niet inschakelen voor gematerialiseerde weergaven en streamingtabellen die zijn gemaakt door DLT-pijplijnen.