Översikt över Azure Databricks-arkitektur

Den här artikeln innehåller en översikt över Azure Databricks-arkitekturen på hög nivå, inklusive dess företagsarkitektur, i kombination med Azure.

Arkitektur på hög nivå

Azure Databricks fungerar från ett kontrollplan och ett beräkningsplan.

• Kontrollplanet innehåller de serverdelstjänster som Azure Databricks hanterar i ditt Azure Databricks-konto. Webbprogrammet finns i kontrollplanet.

• Det beräkningsplanetwhere dina data bearbetas. Det finns två typer av beräkningsplan beroende på vilken beräkning du använder.

  • För serverlös beräkning körs de serverlösa beräkningsresurserna i ett serverlöst beräkningsplan i ditt Azure Databricks-konto.
  • För klassisk Azure Databricks-beräkning finns beräkningsresurserna i din Azure-prenumeration i det som kallas det klassiska beräkningsplanet. Detta refererar till nätverket i din Azure-prenumeration och dess resurser.

  Mer information om klassisk beräkning och serverlös beräkning finns i Typer av beräkning.

Varje Azure Databricks-arbetsyta har ett associerat lagringskonto som kallas lagringskontot för arbetsytan. Lagringskontot för arbetsytan finns i din Azure-prenumeration.

I följande diagram beskrivs den övergripande Azure Databricks-arkitekturen.

Serverlöst beräkningsplan

I det serverlösa beräkningsplanet körs Azure Databricks-beräkningsresurser i ett beräkningslager i ditt Azure Databricks-konto. Azure Databricks skapar ett serverlöst beräkningsplan i samma Azure-region som arbetsytans klassiska beräkningsplan. Du select den här regionen när du skapar en arbetsyta.

För att skydda kunddata i det serverlösa beräkningsplanet körs serverlös beräkning inom en nätverksgräns för arbetsytan, med olika säkerhetslager för att isolera olika Azure Databricks-kundarbetsytor och ytterligare nätverkskontroller mellan kluster för samma kund.

Om du vill veta mer om nätverk i det serverlösa beräkningsplanet, serverlös beräkningsplannätverk.

Klassiskt beräkningsplan

I det klassiska beräkningsplanet körs Azure Databricks-beräkningsresurser i din Azure-prenumeration. Nya beräkningsresurser skapas i varje arbetsytas virtuella nätverk i kundens Azure-prenumeration.

Ett klassiskt beräkningsplan har naturlig isolering eftersom det körs i varje kunds egen Azure-prenumeration. Mer information om nätverk i det klassiska beräkningsplanet finns i Klassiska nätverk för beräkningsplanet.

Regionalt stöd finns i Azure Databricks-regioner.

Lagringskonto för arbetsyta

När du skapar en arbetsyta skapar Azure Databricks ett konto i din Azure-prenumeration som ska användas som arbetsytelagringskonto.

Lagringskontot för arbetsytan innehåller:

• Systemdata för arbetsytor: Arbetsytesystemdata genereras när du använder olika Azure Databricks-funktioner, till exempel att skapa notebook-filer. Den här bucketen innehåller notebook-revisioner, jobbkörningsinformation, kommandoresultat och Spark-loggar
• DBFS: DBFS (Databricks File System) är ett distribuerat filsystem i Azure Databricks-miljöer som är tillgängliga under dbfs:/ namnområdet. DBFS-rot- och DBFS-monteringar finns båda i dbfs:/ namnområdet. Lagring och åtkomst till data med DBFS-rot- eller DBFS-monteringar är ett inaktuellt mönster och rekommenderas inte av Databricks. Mer information finns i Vad är DBFS?.
• Unity Catalog arbetsyta catalog: Om arbetsytan har aktiverats för Unity Catalog automatiskt innehåller arbetsytans lagringskonto standardarbetsytan catalog. Alla användare på din arbetsyta kan skapa resurser i det förvalda schema i den här catalog. Se Set upp och hantera Unity Catalog.

För att limit få tillgång till ditt lagringskonto för arbetsytan från endast auktoriserade resurser och nätverk, se Aktivera brandväggsstöd för ditt lagringskonto för arbetsytan.