Udostępnij za pośrednictwem

Październik 2019

  • Artykuł

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w październiku 2019 r.

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia po początkowej dacie wydania.

Metryki obsługi przeniesione do usługi Azure Event Hubs

22–29 października 2019 r.

Metryki możliwości obsługi, które umożliwiają usłudze Azure Databricks monitorowanie kondycji klastra, zostały zmigrowane z usługi Azure Blob Storage do punktów końcowych usługi Event Hubs. Dzięki temu usługa Azure Databricks zapewnia mniejsze opóźnienia odpowiedzi na potrzeby rozwiązywania zdarzeń klientów. W przypadku obszarów roboczych iniekcji sieci wirtualnej dodaliśmy dodatkową regułę do sieciowej grupy zabezpieczeń punktu końcowego EventHub usługi. Szczegóły są dostępne w tabeli zasad bezpieczeństwa grup sieciowych . Nie jest wymagana żadna akcja w celu zapewnienia ciągłej dostępności usług.

Aby uzyskać listę metryk obsługi usługi Azure Databricks z punktami końcowymi Event Hubs według regionów, zobacz Metastore, magazyn artefaktów Blob, magazyn tabel systemowych, magazyn logów Blob oraz adresy IP punktów końcowych Event Hubs.

Przekazywanie poświadczeń usługi Azure Data Lake Storage w standardowych klastrach i języku Scala jest już ogólnie dostępne

22 października – 29, 2019: Wersja 3.5

Przekazywanie poświadczeń dla języków Python, SQL i Scala w klastrach standardowych z uruchomionym środowiskiem Databricks Runtime 5.5 lub nowszym oraz platformą SparkR w środowisku Databricks Runtime 6.0 lub nowszym jest ogólnie dostępne. Zobacz Włączanie przekazywania poświadczeń usługi Azure Data Lake Storage dla klastra w warstwie Standardowa.

Databricks Runtime 6.1 dla usługi Genomics (ogólna dostępność)

22 października 2019 r.

Środowisko Databricks Runtime 6.1 dla usługi Genomics jest ogólnie dostępne.

Databricks Runtime 6.1 na potrzeby uczenia maszynowego (ogólna dostępność)

22 października 2019 r.

Środowisko Databricks Runtime 6.1 ML jest ogólnie dostępne. Obejmuje ona obsługę klastrów gpu i uaktualnień do następujących bibliotek uczenia maszynowego:

  • TensorFlow do wersji 1.14.0
  • PyTorch do wersji 1.2.0
  • Torchvision do wersji 0.4.0
  • MLflow do wersji 1.3.0

Aby uzyskać więcej informacji, zobacz pełne informacje o wersji środowiska Databricks Runtime 6.1 for ML (EoS).

Szybkość wywołań interfejsu API MLflow jest teraz ograniczona

22 października – 29, 2019: Wersja 3.5

Aby zapewnić wysoką jakość usług pod dużym obciążeniem, usługa Azure Databricks wymusza teraz limity szybkości interfejsu API dla wszystkich wywołań interfejsu API MLflow. Limity są ustawiane na konto, aby zapewnić sprawiedliwe użycie i wysoką dostępność dla wszystkich organizacji, które udostępniają obszar roboczy.

Klienci MLflow z automatycznymi ponownymi próbami są dostępni w rozwiązaniu MLflow 1.3.0 i znajdują się w środowisku Databricks Runtime 6.1 dla uczenia maszynowego (EoS). Zalecamy wszystkim klientom przejście na najnowszą wersję klienta MLflow.

Aby uzyskać szczegółowe informacje, zobacz Interfejs API eksperymentów.

Pule wystąpień do szybkiego uruchamiania klastra są teraz ogólnie dostępne

22 października – 29, 2019: Wersja 3.5

Funkcja usługi Azure Databricks, która obsługuje dołączanie klastra do wstępnie zdefiniowanej puli bezczynnych wystąpień, jest teraz ogólnie dostępna.

Usługa Azure Databricks nie nalicza opłat za jednostki usługi Databricks, gdy wystąpienia są bezczynne w puli. Rozliczenia dostawcy wystąpień mają zastosowanie. Zobacz cennik.

Aby uzyskać szczegółowe informacje, zobacz Dokumentacja konfiguracji puli.

Databricks Runtime 6.1 (ogólna dostępność)

16 października 2019 r.

Środowisko Databricks Runtime 6.1 oferuje kilka ulepszeń usługi Delta Lake:

  • Łatwe konwertowanie tabel na format usługi Delta Lake
  • Interfejsy API języka Python dla tabel delty (publiczna wersja zapoznawcza)
  • Dynamiczne oczyszczanie plików (DFP) jest domyślnie włączone

Środowisko Databricks Runtime 6.1 usuwa również kilka ograniczeń w przekazywaniu poświadczeń.

Uwaga

Począwszy od wersji 6.1, środowisko Databricks Runtime obsługuje tylko klastry procesora CPU. Jeśli chcesz używać klastrów gpu, musisz użyć usługi Databricks Runtime ML.

Aby uzyskać więcej informacji, zobacz pełne informacje o wersji środowiska Databricks Runtime 6.1 (EoS).

Databricks Runtime 6.0 dla usługi Genomics (ogólna dostępność)

16 października 2019 r.

Databricks Runtime for Genomics (Databricks Runtime Genomics) to wariant środowiska Databricks Runtime zoptymalizowany pod kątem pracy z danymi genomicznymi i biomedycznymi. Począwszy od wersji 6.0, środowisko Databricks Runtime dla usługi Genomics jest ogólnie dostępne.

Możliwość wdrażania obszaru roboczego usługi Azure Databricks we własnej sieci wirtualnej, nazywanej również iniekcją sieci wirtualnej, jest ogólnie dostępna

9 października 2019 r.

Z przyjemnością informujemy o możliwości wdrożenia obszaru roboczego usługi Azure Databricks we własnej sieci wirtualnej, znanej również jako iniekcja sieci wirtualnej. Ta opcja jest przeznaczona dla tych, którzy wymagają dostosowania sieci i dlatego nie chcą używać domyślnej sieci wirtualnej utworzonej podczas wdrażania obszaru roboczego usługi Azure Databricks w standardowy sposób. Za pomocą iniekcji sieci wirtualnej można wykonywać następujące czynności:

  • Połącz usługę Azure Databricks z innymi usługami platformy Azure (takimi jak Azure Storage) w bardziej bezpieczny sposób przy użyciu punktów końcowych usługi.
  • Połącz się z lokalnymi źródłami danych do użycia z usługą Azure Databricks, korzystając z tras zdefiniowanych przez użytkownika.
  • Połącz usługę Azure Databricks z urządzeniem wirtualnym sieci , aby sprawdzić cały ruch wychodzący i podjąć działania zgodnie z regułami zezwalania i odmowy.
  • Skonfiguruj usługę Azure Databricks do używania niestandardowego systemu DNS.
  • Skonfiguruj reguły sieciowej grupy zabezpieczeń w celu określenia ograniczeń ruchu wychodzącego.
  • Wdróż klastry usługi Azure Databricks w istniejącej sieci wirtualnej.

Wdrożenie usługi Azure Databricks we własnej sieci wirtualnej umożliwia również korzystanie z elastycznych zakresów CIDR (w dowolnym miejscu między /16-/24 dla sieci wirtualnej i maksymalnie /26 dla podsieci).

Konfiguracja przy użyciu interfejsu użytkownika witryny Azure Portal jest szybka i łatwa: podczas tworzenia obszaru roboczego wystarczy wybrać Wdrożyć obszar roboczy usługi Azure Databricks w usłudze Virtual Network, wybrać sieć wirtualną i podać zakresy CIDR dla dwóch podsieci. Usługa Azure Databricks aktualizuje sieć wirtualną przy użyciu dwóch nowych podsieci i sieciowych grup zabezpieczeń, umożliwia dostęp do ruchu przychodzącego i wychodzącego podsieci oraz wdraża obszar roboczy w zaktualizowanej sieci wirtualnej.

Iniekcja sieci wirtualnej we wdrożeniu obszaru roboczego

Jeśli wolisz skonfigurować sieć wirtualną na potrzeby samodzielnego wstrzykiwania sieci wirtualnej — na przykład chcesz użyć istniejących podsieci, użyć istniejących sieciowych grup zabezpieczeń lub utworzyć własne reguły zabezpieczeń — możesz użyć szablonów usługi ARM dostarczonych przez usługę Azure-Databricks zamiast interfejsu użytkownika portalu.

Uwaga

Jeśli uczestniczysz w wersji zapoznawczej iniekcji sieci wirtualnej, musisz uaktualnić obszar roboczy wersji zapoznawczej do wersji ogólnodostępnej przed 31 stycznia 2020 r., aby nadal otrzymywać pomoc techniczną.

Aby uzyskać szczegółowe informacje, zobacz Deploy Azure Databricks in your Azure virtual network (VNet injection) (Wdrażanie usługi Azure Databricks w sieci wirtualnej) i Łączenie obszaru roboczego usługi Azure Databricks z siecią lokalną.

Użytkownicy usługi Azure Databricks niebędący administratorami mogą odczytywać identyfikatory oraz nazwy użytkowników i grup przy użyciu interfejsu API SCIM

8 października 2019 r. — 15 października 2019 r.: wersja 3.4

Użytkownicy niebędący administratorami mogą teraz wywoływać interfejs API grup , aby tylko odczytywać nazwy wyświetlane i identyfikatory użytkowników oraz grup. Wszystkie inne operacje interfejsu API SCIM nadal wymagają dostępu administratora.

Interfejs API obszaru roboczego zwraca identyfikatory obiektów folderów i notesów

8 października 2019 r. — 15 października 2019 r.: wersja 3.4

Punkty get-status końcowe interfejsu list API obszaru roboczego zwracają teraz identyfikatory obiektów notesu i folderu, co daje możliwość odwoływania się do tych obiektów w innych wywołaniach interfejsu API.

Databricks Runtime 6.0 ML (ogólna dostępność)

4 października 2019 r.

Środowisko Databricks Runtime 6.0 ML zawiera następujące aktualizacje:

  • MLflow
    • Nowe źródło danych platformy Spark dla eksperymentów MLflow udostępnia teraz standardowy interfejs API do ładowania danych przebiegu eksperymentu MLflow.
    • Dodano klienta java MLflow
    • Biblioteka MLflow jest teraz promowana jako biblioteka najwyższego poziomu
  • Ogólna dostępność funkcji Hyperopt — istotne ulepszenia, ponieważ publiczna wersja zapoznawcza obejmuje obsługę rejestrowania MLflow dla procesów roboczych platformy Spark, poprawną obsługę zmiennych emisji PySpark, a także nowy przewodnik po wyborze modelu przy użyciu funkcji Hyperopt.
  • Uaktualniono biblioteki Horovod i MLflow oraz dystrybucję Anaconda.

Uwaga

W tej wersji obsługiwane są tylko klastry procesora CPU.

Aby uzyskać więcej informacji, zobacz pełne informacje o wersji środowiska Databricks Runtime 6.0 for ML (EoS).

Nowe regiony: Brazylia Południowa i Francja Środkowa

1 października 2019 r.

Usługa Azure Databricks jest teraz dostępna w Brazylii Południowej (Sao Paulo State) i Francji Środkowej (Paryż).

Databricks Runtime 6.0 (ogólna dostępność)

1 października 2019 r.

Środowisko Databricks Runtime 6.0 oferuje wiele uaktualnień bibliotek i nowych funkcji, w tym:

  • Nowe interfejsy API języka Scala i Java dla komend DML w Delta Lake, a także komend narzędziowych do oczyszczania i historię.
  • Ulepszony klient DBFS FUSE umożliwiający szybsze i bardziej niezawodne operacje odczytu i zapisu podczas trenowania modelu.
  • Obsługa wielu wykresów matplotlib na komórkę notesu.
  • Zaktualizuj do Python 3.7 oraz zaktualizuj biblioteki numpy, pandas, matplotlib i inne.
  • Obsługa wersji Sunset of Python 2.

Uwaga

W tej wersji obsługiwane są tylko klastry procesora CPU.

Aby uzyskać więcej informacji, zobacz pełne informacje o wersji środowiska Databricks Runtime 6.0 (EoS).