Omówienie architektury usługi Azure Databricks

Ten artykuł zawiera ogólne omówienie architektury usługi Azure Databricks, w tym jej architektury przedsiębiorstwa, w połączeniu z platformą Azure.

Architektura wysokiego poziomu

Usługa Azure Databricks działa poza płaszczyzną sterowania i płaszczyzną obliczeniową.

• Płaszczyzna sterowania obejmuje usługi zaplecza zarządzane przez usługę Azure Databricks na koncie usługi Azure Databricks. Aplikacja internetowa znajduje się na płaszczyźnie sterowania.

• Płaszczyzna obliczeniowa to miejsce przetwarzania danych. Istnieją dwa typy płaszczyzn obliczeniowych w zależności od używanych zasobów obliczeniowych.

  • W przypadku bezserwerowych zasobów obliczeniowych bezserwerowych działają na bezserwerowej płaszczyźnie obliczeniowej na koncie usługi Azure Databricks.
  • W przypadku klasycznych zasobów obliczeniowych usługi Azure Databricks zasoby obliczeniowe znajdują się w subskrypcji platformy Azure w tak zwanej klasycznej płaszczyźnie obliczeniowej. Dotyczy to sieci w ramach subskrypcji platformy Azure i jej zasobów.

  Aby dowiedzieć się więcej o klasycznych obliczeniach i bezserwerowych obliczeniach, zobacz Typy obliczeń.

Każdy obszar roboczy usługi Azure Databricks ma skojarzone konto magazynu znane jako konto magazynu obszaru roboczego. Konto magazynu obszaru roboczego znajduje się w subskrypcji platformy Azure.

Na poniższym diagramie opisano ogólną architekturę usługi Azure Databricks.

Bezserwerowa płaszczyzna obliczeniowa

Na bezserwerowej płaszczyźnie obliczeniowej zasoby obliczeniowe usługi Azure Databricks są uruchamiane w warstwie obliczeniowej na koncie usługi Azure Databricks. Usługa Azure Databricks tworzy bezserwerową płaszczyznę obliczeniową w tym samym regionie świadczenia usługi Azure co klasyczna płaszczyzna obliczeniowa obszaru roboczego. Ten region należy wybrać podczas tworzenia obszaru roboczego.

Aby chronić dane klientów w bezserwerowej płaszczyźnie obliczeniowej, bezserwerowe obliczenia są uruchamiane w granicach sieci dla obszaru roboczego, z różnymi warstwami zabezpieczeń w celu odizolowania różnych obszarów roboczych klientów usługi Azure Databricks i dodatkowych mechanizmów kontroli sieci między klastrami tego samego klienta.

Aby dowiedzieć się więcej na temat sieci na bezserwerowej płaszczyźnie obliczeniowej, sieć bezserwerowej płaszczyzny obliczeniowej.

Klasyczna płaszczyzna obliczeniowa

W klasycznej płaszczyźnie obliczeniowej zasoby obliczeniowe usługi Azure Databricks są uruchamiane w ramach subskrypcji platformy Azure. Nowe zasoby obliczeniowe są tworzone w ramach sieci wirtualnej każdego obszaru roboczego w ramach subskrypcji platformy Azure klienta.

Klasyczna płaszczyzna obliczeniowa ma naturalną izolację, ponieważ działa we własnej subskrypcji platformy Azure klienta. Aby dowiedzieć się więcej na temat sieci w klasycznej płaszczyźnie obliczeniowej, zobacz Klasyczne sieci płaszczyzn obliczeniowych.

Aby uzyskać pomoc regionalną, zobacz Regiony usługi Azure Databricks.

Konto magazynu obszaru roboczego

Podczas tworzenia obszaru roboczego usługa Azure Databricks tworzy konto w ramach subskrypcji platformy Azure do użycia jako konto magazynu obszaru roboczego.

Konto magazynu obszaru roboczego zawiera:

• Dane systemu obszarów roboczych: dane systemowe obszaru roboczego są generowane podczas korzystania z różnych funkcji usługi Azure Databricks, takich jak tworzenie notesów. Ten zasobnik zawiera poprawki notesu, szczegóły uruchomienia zadania, wyniki poleceń i dzienniki platformy Spark
• DBFS: DBFS (System plików usługi Databricks) to rozproszony system plików w środowiskach usługi Azure Databricks dostępny w dbfs:/ przestrzeni nazw. Instalacja systemu plików DBFS root i DBFS jest zarówno w dbfs:/ przestrzeni nazw. Przechowywanie i uzyskiwanie dostępu do danych przy użyciu instalacji root lub DBFS systemu plików DBFS jest przestarzałym wzorcem i nie jest zalecane przez usługę Databricks. Aby uzyskać więcej informacji, zobacz Co to jest system plików DBFS?.
• Wykaz obszarów roboczych wykazu aparatu Unity: jeśli obszar roboczy został włączony automatycznie dla wykazu aparatu Unity, konto magazynu obszaru roboczego zawiera domyślny wykaz obszarów roboczych. Wszyscy użytkownicy w obszarze roboczym mogą tworzyć zasoby w domyślnym schemacie w tym wykazie. Zobacz Konfigurowanie wykazu aparatu Unity i zarządzanie nim.

Aby ograniczyć dostęp do konta magazynu obszaru roboczego tylko z autoryzowanych zasobów i sieci, zobacz Włączanie obsługi zapory dla konta magazynu obszaru roboczego.