Aanbevolen procedures voor serverloze berekeningen
In dit artikel vindt u aanbevelingen voor aanbevolen procedures voor het gebruik van serverloze berekeningen in uw notebooks en taken.
Door deze aanbevelingen te volgen, verbetert u de productiviteit, kostenefficiëntie en betrouwbaarheid van uw workloads in Azure Databricks.
Workloads migreren naar serverloze berekeningen
Om de isolatie van gebruikerscode te beveiligen, maakt serverloze berekening gebruik van de beveiligde modus voor gedeelde toegang van Azure Databricks. Hierdoor zijn voor sommige workloads codewijzigingen vereist om verder te kunnen werken aan serverloze berekeningen. Zie Serverloze rekenbeperkingen voor een lijst met niet-ondersteunde functies.
Bepaalde workloads zijn eenvoudiger te migreren dan andere workloads. Workloads die voldoen aan de volgende vereisten, zijn het eenvoudigst te migreren:
- De gegevens die worden geopend, moeten worden opgeslagen in Unity Catalog.
- De workload moet compatibel zijn met de berekening van de gedeelde toegangsmodus.
- De workload moet compatibel zijn met Databricks Runtime 14.3 of hoger.
Als u wilt testen of een workload werkt op serverloze berekeningen, voert u deze uit op een niet-serverloze rekenresource met de modus Gedeelde toegang en een Databricks Runtime van 14.3 of hoger. Als de uitvoering is geslaagd, is de workload gereed voor migratie.
Vanwege de betekenis van deze wijziging en de huidige lijst met beperkingen, worden veel workloads niet naadloos gemigreerd. Azure Databricks raadt aan om de serverloze rekencompatibiliteit te prioriteren wanneer u nieuwe workloads maakt, in plaats van alles opnieuw op te geven.
Gegevens opnemen van externe systemen
Omdat serverloze berekening geen ondersteuning biedt voor de installatie van JAR-bestanden, kunt u geen JDBC- of ODBC-stuurprogramma gebruiken om gegevens op te nemen uit een externe gegevensbron.
Alternatieve strategieën die u voor opname kunt gebruiken, zijn onder andere:
Op SQL gebaseerde bouwstenen, zoals COPY INTO en streamingtabellen.
Automatisch laden om nieuwe gegevensbestanden stapsgewijs en efficiënt te verwerken wanneer ze binnenkomen in de cloudopslag. Zie Wat is automatisch laadprogramma?
Oplossingen voor gegevensopnamepartner. Zie Verbinding maken met opnamepartners met behulp van Partner Connect.
De gebruikersinterface voor het toevoegen van gegevens om bestanden rechtstreeks te uploaden. Zie Bestanden uploaden naar Azure Databricks.
Alternatieven voor opname
Wanneer u serverloze berekeningen gebruikt, kunt u ook de volgende functies gebruiken om query's uit te voeren op uw gegevens zonder deze te verplaatsen.
- Als u gegevensduplicatie wilt beperken of wilt garanderen dat u query's uitvoert op de meest recente gegevens, raadt Databricks het gebruik van Delta Sharing aan. Zie Wat is Delta Sharing?
- Als u ad-hocrapportage en proof-of-concept-werk wilt uitvoeren, raadt Databricks aan om de juiste keuze te proberen, wat mogelijk Lakehouse Federation is. Lakehouse Federation maakt het mogelijk om volledige databases te synchroniseren met Azure Databricks vanaf externe systemen en wordt beheerd door Unity Catalog. Zie Wat is Lakehouse Federation?
Probeer een of beide functies en kijk of ze voldoen aan de prestatievereisten van uw query.
De kosten van serverloze compute bewaken
Er zijn meerdere functies die u kunt gebruiken om de kosten van serverloze berekeningen te bewaken:
Gebruik systeemtabellen om dashboards te maken, waarschuwingen in te stellen en ad-hocquery's uit te voeren. Zie De kosten van serverloze berekeningen bewaken.
Budgetwaarschuwingen instellen in uw account. Zie Budgetten maken en bewaken.
Importeer een vooraf geconfigureerd gebruiksdashboard. Zie Een gebruiksdashboard importeren.