Udostępnij za pośrednictwem

Compute

  • Artykuł

Środowisko obliczeniowe usługi Azure Databricks odnosi się do wyboru zasobów obliczeniowych dostępnych w obszarze roboczym usługi Azure Databricks. Użytkownicy potrzebują dostępu do obliczeń w celu uruchamiania obciążeń inżynierii danych, nauki o danych i analizy danych, takich jak produkcyjne potoki ETL, analiza przesyłania strumieniowego, analiza ad hoc i uczenie maszynowe.

Użytkownicy mogą łączyć się z istniejącymi obliczeniami lub tworzyć nowe zasoby obliczeniowe, jeśli mają odpowiednie uprawnienia.

Możesz wyświetlić zasoby obliczeniowe, do których masz dostęp, korzystając z sekcji Obliczenia w obszarze roboczym:

Strona obliczeniowa ogólnego przeznaczenia w obszarze roboczym usługi Databricks

Typy obliczeń

Są to typy zasobów obliczeniowych dostępnych w usłudze Azure Databricks:

  • Bezserwerowe obliczenia dla notesu: skalowalne obliczenia na żądanie używane do wykonywania kodu SQL i Python w notesach.

  • Bezserwerowe obliczenia dla zadań: na żądanie skalowalne zasoby obliczeniowe używane do uruchamiania zadań usługi Databricks bez konfigurowania i wdrażania infrastruktury.

  • Obliczenia ogólnego przeznaczenia: aprowizowano zasoby obliczeniowe używane do analizowania danych w notesach. Możesz utworzyć, zakończyć i ponownie uruchomić to środowisko obliczeniowe przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Obliczenia zadań: aprowizowane zasoby obliczeniowe używane do uruchamiania zautomatyzowanych zadań. Harmonogram zadań usługi Azure Databricks automatycznie tworzy obliczenia zadania za każdym razem, gdy zadanie jest skonfigurowane do uruchamiania na nowych obliczeniach. Obliczenia kończą się po zakończeniu zadania. Nie można ponownie uruchomić obliczeń zadania. Zobacz Konfigurowanie obliczeń dla zadań.

  • Pule wystąpień: obliczenia z bezczynnymi, gotowymi do użycia wystąpieniami służącymi do skrócenia czasu uruchamiania i skalowania automatycznego. To środowisko obliczeniowe można utworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Bezserwerowe magazyny SQL: elastyczne obliczenia na żądanie używane do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

  • Klasyczne magazyny SQL: służy do uruchamiania poleceń SQL na obiektach danych w edytorze SQL lub notesach interaktywnych. Magazyny SQL można tworzyć przy użyciu interfejsu użytkownika, interfejsu wiersza polecenia lub interfejsu API REST.

W artykułach w tej sekcji opisano sposób pracy z zasobami obliczeniowymi przy użyciu interfejsu użytkownika usługi Azure Databricks. Aby zapoznać się z innymi metodami, zobacz Co to jest interfejs wiersza polecenia usługi Databricks? i dokumentacja interfejsu API REST usługi Databricks.

Databricks Runtime

Środowisko Databricks Runtime to zestaw podstawowych składników uruchamianych na obliczeniach. Środowisko Databricks Runtime to konfigurowalne ustawienie we wszystkich zadaniach obliczeniowych, ale wybierane automatycznie w magazynach SQL.

Każda wersja środowiska Databricks Runtime zawiera aktualizacje, które zwiększają użyteczność, wydajność i bezpieczeństwo analizy danych big data. Środowisko Databricks Runtime w środowisku obliczeniowym dodaje wiele funkcji, w tym:

  • Usługa Delta Lake, warstwa magazynu nowej generacji oparta na platformie Apache Spark, która zapewnia transakcje ACID, zoptymalizowane układy i indeksy oraz ulepszenia aparatu wykonywania dla tworzenia potoków danych. Zobacz Co to jest usługa Delta Lake?.
  • Zainstalowane biblioteki Java, Scala, Python i R.
  • Ubuntu i towarzyszące mu biblioteki systemowe.
  • Biblioteki procesora GPU dla klastrów z obsługą procesora GPU.
  • Usługi Azure Databricks, które integrują się z innymi składnikami platformy, takimi jak notesy, zadania i zarządzanie klastrami.

Aby uzyskać informacje o zawartości każdej wersji środowiska uruchomieniowego, zobacz informacje o wersji.

Przechowywanie wersji środowiska uruchomieniowego

Wersje środowiska Databricks Runtime są regularnie wydawane:

  • Wersje wsparcia długoterminowego są reprezentowane przez kwalifikator LTS (na przykład 3,5 LTS). Dla każdej wersji głównej deklarujemy "kanoniczną" wersję funkcji, dla której zapewniamy trzy pełne lata pomocy technicznej. Aby uzyskać więcej informacji, zobacz Cykle życia pomocy technicznej usługi Databricks.
  • Wersje główne są reprezentowane przez przyrost do numeru wersji, który poprzedza punkt dziesiętny (na przykład skok z 3,5 do 4,0). Są one zwalniane, gdy występują poważne zmiany, z których niektóre mogą nie być zgodne z poprzednimi wersjami.
  • Wersje funkcji są reprezentowane przez przyrost do numeru wersji, który następuje po przecinku dziesiętnym (na przykład skok z 3.4 do 3.5). Każda główna wersja zawiera wiele wersji funkcji. Wersje funkcji są zawsze zgodne z poprzednimi wersjami w ramach wersji głównej.