Overzicht van Azure Databricks-architectuur

Dit artikel bevat een algemeen overzicht van de Azure Databricks-architectuur, met inbegrip van de bedrijfsarchitectuur, in combinatie met Azure.

Architectuur op hoog niveau

Azure Databricks werkt vanuit een besturingsvlak en een rekenvlak.

• Het besturingsvlak bevat de back-endservices die Azure Databricks beheert in uw Azure Databricks-account. De webtoepassing bevindt zich in het besturingsvlak.

• Het rekenvlak is waar uw gegevens worden verwerkt. Er zijn twee typen rekenvlakken, afhankelijk van de berekening die u gebruikt.

  • Voor serverloze berekeningen worden de serverloze rekenresources uitgevoerd in een serverloze rekenlaag in uw Azure Databricks-account.
  • Voor klassieke Azure Databricks-berekeningen bevinden de rekenresources zich in uw Azure-abonnement in de zogenaamde klassieke rekenlaag. Dit verwijst naar het netwerk in uw Azure-abonnement en de bijbehorende resources.

  Zie Typen berekeningen voor meer informatie over klassieke berekeningen en serverloze berekeningen.

Elke Azure Databricks-werkruimte heeft een gekoppeld opslagaccount dat bekend staat als het werkruimteopslagaccount. Het opslagaccount voor de werkruimte bevindt zich in uw Azure-abonnement.

In het volgende diagram wordt de algehele Azure Databricks-architectuur beschreven.

Serverloos rekenvlak

In het serverloze rekenvlak worden Azure Databricks-rekenresources uitgevoerd in een rekenlaag binnen uw Azure Databricks-account. Azure Databricks maakt een serverloze rekenlaag in dezelfde Azure-regio als het klassieke rekenvlak van uw werkruimte. U selecteert deze regio bij het maken van een werkruimte.

Om klantgegevens binnen het serverloze rekenvlak te beveiligen, wordt serverloze berekening uitgevoerd binnen een netwerkgrens voor de werkruimte, met verschillende beveiligingslagen om verschillende Azure Databricks-werkruimten en extra netwerkcontroles tussen clusters van dezelfde klant te isoleren.

Voor meer informatie over netwerken in het serverloze rekenvlak, serverloze rekenvlaknetwerken.

Klassiek rekenvlak

In het klassieke rekenvlak worden Azure Databricks-rekenresources uitgevoerd in uw Azure-abonnement. Nieuwe rekenresources worden gemaakt in het virtuele netwerk van elke werkruimte in het Azure-abonnement van de klant.

Een klassiek rekenvlak heeft natuurlijke isolatie omdat deze wordt uitgevoerd in het eigen Azure-abonnement van elke klant. Zie Het klassieke rekenvlak netwerken voor meer informatie over netwerken in het klassieke rekenvlak.

Zie Azure Databricks-regio's voor regionale ondersteuning.

Opslagaccount voor werkruimte

Wanneer u een werkruimte maakt, maakt Azure Databricks een account in uw Azure-abonnement dat moet worden gebruikt als het werkruimteopslagaccount.

Het opslagaccount van de werkruimte bevat:

• Systeemgegevens voor werkruimten: systeemgegevens van werkruimten worden gegenereerd wanneer u verschillende Azure Databricks-functies gebruikt, zoals het maken van notebooks. Deze bucket bevat notebookrevisies, taakuitvoeringsgegevens, opdrachtresultaten en Spark-logboeken
• DBFS: DBFS (Databricks File System) is een gedistribueerd bestandssysteem in Azure Databricks-omgevingen die toegankelijk zijn onder de dbfs:/ naamruimte. DBFS-hoofd- en DBFS-koppelingen bevinden zich beide in de dbfs:/ naamruimte. Het opslaan en openen van gegevens met behulp van DBFS-hoofd- of DBFS-koppelingen is een afgeschaft patroon en wordt niet aanbevolen door Databricks. Zie Wat is DBFS? voor meer informatie.
• Werkruimtecatalogus voor Unity Catalog: Als uw werkruimte automatisch is ingeschakeld voor Unity Catalog, bevat het werkruimteopslagaccount de standaardwerkruimtecatalogus. Alle gebruikers in uw werkruimte kunnen assets maken in het standaardschema in deze catalogus. Zie Unity Catalog instellen en beheren.

Zie Firewall-ondersteuning inschakelen voor uw werkruimteopslagaccount om de toegang tot uw werkruimteopslagaccount te beperken van alleen geautoriseerde resources en netwerken.