Udostępnij za pośrednictwem

Wrzesień 2020

  • Artykuł

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane we wrześniu 2020 r.

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia po początkowej dacie wydania.

Rozwiązania Databricks Runtime 7.3, 7.3 ML i 7.3 Genomics są teraz ogólnie dostępne

24 września 2020 r.

Środowisko Databricks Runtime 7.3, Databricks Runtime 7.3 for Machine Learning i Databricks Runtime 7.3 dla usługi Genomics są teraz ogólnie dostępne. Zapewniają one wiele funkcji i ulepszeń, w tym:

  • Optymalizacje wydajności usługi Delta Lake znacznie zmniejszają nakład pracy
  • Klonowanie metryk
  • Ulepszenia usługi Delta Lake MERGE INTO
  • Określanie początkowej pozycji przesyłania strumieniowego ze strukturą usługi Delta Lake
  • Ulepszenia modułu ładującego automatycznego
  • Adaptacyjne wykonywanie zapytań
  • Zarządzanie długością kolumn w łączniku Azure Synapse Analytics
  • Ulepszone zachowanie dbutils.credentials.showRoles
  • Uproszczona konwersja biblioteki pandas na ramkę danych platformy Spark
  • Nowość maxResultSize w toPandas() wywołaniu
  • Debugowanie bibliotek pandas i funkcji zdefiniowanych przez użytkownika PySpark
  • (Tylko uczenie maszynowe) Aktywacja Conda dla procesów roboczych
  • (Tylko genomiki) Obsługa odczytywania plików BGEN z nieskompresowanym lub skompresowanym genotypem zstd
  • Uaktualnienia biblioteki

Aby uzyskać więcej informacji, zobacz Databricks Runtime 7.3 LTS (EoS) i Databricks Runtime 7.3 LTS for Machine Learning (EoS).

Klastry z jednym węzłem (publiczna wersja zapoznawcza)

23-29 września 2020 r.: Wersja 3.29

Klaster z jednym węzłem jest klastrem składającym się ze sterownika Spark i bez procesów roboczych platformy Spark. Natomiast klastry trybu standardowego wymagają co najmniej jednego procesu roboczego platformy Spark do uruchamiania zadań platformy Spark. Klastry trybu pojedynczego węzła są przydatne w następujących sytuacjach:

  • Uruchamianie obciążeń uczenia maszynowego z jednym węzłem, które wymagają, aby platforma Spark ładowała i zapisywała dane
  • Uproszczona eksploracyjna analiza danych (EDA)

Aby uzyskać szczegółowe informacje, zobacz Obliczenia z jednym węzłem lub wieloma węzłami.

Ograniczanie szybkości interfejsu API REST systemu plików DBFS

23-29 września 2020 r.: Wersja 3.29

Aby zapewnić wysoką jakość usług pod dużym obciążeniem, usługa Azure Databricks wymusza teraz limity szybkości interfejsu API dla wywołań interfejsu API systemu plików DBFS. Limity są ustawiane na obszar roboczy w celu zapewnienia sprawiedliwego użycia i wysokiej dostępności. Automatyczne ponawianie prób jest dostępne przy użyciu interfejsu wiersza polecenia usługi Databricks w wersji 0.12.0 lub nowszej. Zalecamy wszystkim klientom przejście do najnowszej wersji interfejsu wiersza polecenia usługi Databricks.

Nowe ikony paska bocznego

23-29 września 2020 r.

Zaktualizowaliśmy pasek boczny w interfejsie użytkownika obszaru roboczego usługi Azure Databricks. Nic wielkiego, ale uważamy, że nowe ikony wyglądają całkiem ładnie.

Pasku bocznym

Zwiększenie limitu uruchomionych zadań

23-29 września 2020 r.: Wersja 3.29

Limit równocześnie uruchamianych zadań został zwiększony z 150 do 1000 na obszar roboczy. Nie będzie już działać w kolejce ponad 150 w stanie oczekiwania. Zamiast kolejki dla żądań uruchamiania powyżej uruchomień współbieżnych, odpowiedź jest zwracana po zażądaniu uruchomienia, 429 Too Many Requests którego nie można uruchomić natychmiast. Ten wzrost limitu został wdrożony stopniowo i jest teraz dostępny we wszystkich obszarach roboczych we wszystkich regionach.

Listy kontroli dostępu (ACL) dla artefaktów na platformie MLflow

23-29 września 2020 r.: Wersja 3.29

Uprawnienia eksperymentu MLflow są teraz wymuszane na artefaktach w usłudze MLflow Tracking, co umożliwia łatwe kontrolowanie dostępu do modeli, zestawów danych i innych plików. Domyślnie podczas tworzenia nowego eksperymentu artefakty przebiegu są teraz przechowywane w lokalizacji zarządzanej przez platformę MLflow. Cztery poziomy uprawnień eksperymentu MLflow (BRAK UPRAWNIEŃ, MOŻE ODCZYTYWAĆ, MOŻE EDYTOWAĆ i MOŻE ZARZĄDZAĆ) są automatycznie stosowane do uruchamiania artefaktów przechowywanych w lokalizacjach zarządzanych przez platformę MLflow w następujący sposób:

  • Uprawnienia CAN EDIT lub CAN MANAGE są wymagane do rejestrowania artefaktów uruchamiania w eksperymencie.
  • Uprawnienia CAN READ są wymagane do wyświetlania listy i pobierania artefaktów przebiegu z eksperymentu.

Aby uzyskać więcej informacji, zobacz Listy ACL eksperymentu MLflow.

Ulepszenia użyteczności platformy MLflow

23-29 września 2020 r.: Wersja 3.29

Ta wersja zawiera następujące ulepszenia użyteczności biblioteki MLflow:

  • Na stronach Experiment i Registered Models znajdują się teraz porady ułatwiające nowym użytkownikom rozpoczęcie pracy.
  • Tabela wersji modelu zawiera teraz tekst opisu wersji modelu. Nowa kolumna zawiera pierwsze 32 znaki lub pierwszy wiersz (w zależności od tego, co jest krótsze) opisu.

Nowy łącznik usługi Power BI usługi Azure Databricks (publiczna wersja zapoznawcza)

22 września 2020 r.

Program Power BI Desktop w wersji 2.85.681.0 zawiera nowy łącznik usługi Power BI usługi Azure Databricks, który sprawia, że integracja między usługami Azure Databricks i Power BI jest znacznie bardziej bezproblemowa i niezawodna. Nowy łącznik zawiera następujące ulepszenia:

  • Prosta konfiguracja połączenia: nowy łącznik usługi Azure Databricks usługi Power BI jest zintegrowany z usługą Power BI i konfigurowany przy użyciu prostego okna dialogowego z kilkoma kliknięciami.
  • Uwierzytelnianie na podstawie poświadczeń Microsoft Entra ID — administratorzy nie muszą już konfigurować tokenów PAT.
  • Szybsze importowanie i zoptymalizowane wywołania metadanych dzięki nowemu sterownikowi ODBC usługi Azure Databricks, który ma znaczną poprawę wydajności.
  • Dostęp do danych Azure Databricks za pośrednictwem Power BI uwzględnia kontrolę dostępu do tabel Azure Databricks oraz uprawnienia konta Azure Storage skojarzone z tożsamością Microsoft Entra ID.

Aby uzyskać więcej informacji, zobacz Łączenie usługi Power BI z usługą Azure Databricks.

Korzystanie z kluczy zarządzanych przez klienta na potrzeby katalogu głównego DBFS (publiczna wersja zapoznawcza)

15 września 2020 r.

Teraz możesz użyć własnego klucza szyfrowania w usłudze Azure Key Vault, aby zaszyfrować konto magazynu SYSTEMU PLIKÓW DBFS. Zobacz Klucze zarządzane przez klienta dla katalogu głównego systemu plików DBFS.

Nowe sterowniki JDBC i ODBC zapewniają szybszą analizę biznesową o mniejszych opóźnieniach

15 września 2020 r.

Udostępniliśmy nowe wersje sterowników JDBC i ODBC usługi Databricks z następującymi ulepszeniami:

  • Wydajność: Zmniejszono połączenie i krótkie opóźnienie zapytań, zwiększono szybkość transferu wyników na podstawie serializacji apache Arrow i ulepszono wydajność pobierania metadanych.
  • Środowisko użytkownika: Uwierzytelnianie przy użyciu tokenów dostępu OAuth2 identyfikatora Entra firmy Microsoft, ulepszone komunikaty o błędach i automatyczne ponawianie próby podczas nawiązywania połączenia z klastrem zamykania, bardziej niezawodna obsługa ponownych prób w sporadycznych błędach sieci.
  • Obsługa połączeń przy użyciu serwera proxy HTTP.

Aby uzyskać więcej informacji na temat nawiązywania połączenia z narzędziami analizy biznesowej przy użyciu technologii JDBC i ODBC, zobacz Databricks ODBC i JDBC Drivers (Sterowniki ODBC i JDBC usługi Databricks).

Obsługa modeli MLflow (publiczna wersja zapoznawcza)

9-15 września 2020 r.: Wersja 3.28

Obsługa modeli MLflow jest teraz dostępna w publicznej wersji zapoznawczej. Usługa MLflow Model Serving umożliwia wdrożenie modelu MLflow zarejestrowanego w rejestrze modeli jako punktu końcowego interfejsu API REST hostowanego i zarządzanego przez usługę Azure Databricks. Po włączeniu obsługi modelu dla zarejestrowanego modelu usługa Azure Databricks tworzy klaster i wdraża wszystkie niezarchiwizowane wersje tego modelu.

Wszystkie wersje modelu można wykonywać względem żądań interfejsu API REST przy użyciu standardowego uwierzytelniania usługi Azure Databricks. Prawa dostępu do modelu są dziedziczone z rejestru modeli — każda osoba mająca prawa do odczytu zarejestrowanego modelu może wykonywać zapytania dotyczące dowolnej z wdrożonych wersji modelu. Chociaż ta usługa jest dostępna w wersji zapoznawczej, zalecamy jej użycie w przypadku aplikacji o niskiej przepływności i niekrytycznych.

Aby uzyskać więcej informacji, zobacz Starsza wersja usługi MLflow Model Serving on Azure Databricks (Obsługa starszych modeli MLflow w usłudze Azure Databricks).

Ulepszenia interfejsu użytkownika klastrów

9-15 września 2020 r.: Wersja 3.28

Na stronie Klastry znajdują się teraz oddzielne karty klastrówogólnego przeznaczenia i klastrów zadań. Lista na każdej karcie jest teraz podzielona na strony. Ponadto usunęliśmy opóźnienie, które czasami wystąpiło między utworzeniem klastra i wyświetleniem go w interfejsie użytkownika.

Kontrolki widoczności dla zadań, klastrów, notesów i innych obiektów obszaru roboczego

9-15 września 2020 r.: Wersja 3.28

Domyślnie każdy użytkownik może wyświetlać wszystkie zadania, klastry, notesy i foldery w obszarze roboczym wyświetlanym w interfejsie użytkownika usługi Azure Databricks i wyświetlać je przy użyciu interfejsu API usługi Databricks, nawet jeśli kontrola dostępu jest włączona dla tych obiektów, a użytkownik nie ma uprawnień do tych obiektów.

Teraz każdy administrator usługi Azure Databricks może włączyć kontrolki widoczności notesów i folderów (obiektów obszaru roboczego), klastrów i zadań, aby upewnić się, że użytkownicy mogą wyświetlać tylko te obiekty, do których otrzymali dostęp za pośrednictwem obszaru roboczego, klastra lub kontroli dostępu zadań.

Patrz List kontroli dostępu nie można już wyłączyć.

Tworzenie tokenów nie jest już domyślnie dozwolone

9-15 września 2020 r.: Wersja 3.28

W przypadku obszarów roboczych utworzonych po wydaniu platformy Azure Databricks w wersji 3.28 użytkownicy nie będą już mogli domyślnie generować osobistych tokenów dostępu. Administratorzy muszą jawnie udzielić tych uprawnień, niezależnie od tego, czy dla całej grupy users, czy na zasadzie indywidualnego użytkownika albo konkretnej grupy. Obszary robocze utworzone przed wydaniem wersji 3.28 będą obsługiwać uprawnienia, które zostały już wprowadzone.

Zobacz Monitorowanie i odwoływanie osobistych tokenów dostępu.

Rejestr modeli MLflow obsługuje udostępnianie modeli między obszarami roboczymi

9 września 2020 r.

Usługa Azure Databricks obsługuje teraz dostęp do rejestru modeli z wielu obszarów roboczych. Teraz możesz rejestrować modele, śledzić przebiegi modeli i ładować modele w obszarach roboczych. Wiele zespołów może teraz udostępniać dostęp do modeli, a organizacje mogą używać wielu obszarów roboczych do obsługi różnych etapów programowania. Aby uzyskać szczegółowe informacje, zobacz Udostępnianie modeli między obszarami roboczymi.

Ta funkcja wymaga klienta języka Python MLflow w wersji 1.11.0 lub nowszej.

Databricks Runtime 7.3 (wersja beta)

3 września 2020 r.

Środowisko Databricks Runtime 7.3, Databricks Runtime 7.3 for Machine Learning i Databricks Runtime 7.3 for Genomics są teraz dostępne jako wersje beta.

Aby uzyskać informacje, zobacz Databricks Runtime 7.3 LTS (EoS) i Databricks Runtime 7.3 LTS for Machine Learning (EoS).

Zmiana nazwy typu obciążenia usługi Azure Databricks

1 września 2020 r.

Nazwy typów obciążeń używanych przez klastry zostały zmienione:

  • inżynierowie danych —> Obliczenia zadań
  • inżynierowie danych światło -> Zadania — obliczenia lekkie
  • Analiza danych —> obliczenia ogólnego przeznaczenia

Te nowe nazwy będą wyświetlane na fakturach i w witrynie EA Portal w połączeniu z planem cenowym (na przykład "Premium — Obliczenia zadań — DBU"). Aby uzyskać szczegółowe informacje, zobacz Mierniki usługi Azure Databricks.

Interfejs użytkownika zmienił się również w wersji 3.27 platformy (przeznaczonej do wydania etapowego od 25 sierpnia do 3 września):

Na stronie klastrów , nagłówki list uległy zmianie:

  • Klastry interaktywne —> klastry ogólnego przeznaczenia
  • Klastry zautomatyzowane —> klastry zadań

Podczas konfigurowania klastra dla zadania opcje Typ klastra uległy zmianie:

  • Nowy klaster zautomatyzowany —> nowy klaster zadań
  • Istniejący klaster interaktywny —> istniejący klaster ogólnego przeznaczenia