Sierpień 2022

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w sierpniu 2022 r.

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia lub więcej po początkowej dacie wydania.

Użytkownicy konta mogą uzyskiwać dostęp do konsoli konta

1–31 sierpnia 2022 r.

Użytkownicy konta mogą uzyskać dostęp do konsoli konta usługi Azure Databricks , aby wyświetlić listę swoich obszarów roboczych. Użytkownicy konta mogą wyświetlać tylko obszary robocze, do których udzielono im dostępu. Zobacz Zarządzanie kontem usługi Azure Databricks.

Użytkownicy z obszarów roboczych są automatycznie synchronizowani z kontem jako użytkownicy konta. Wszyscy istniejący użytkownicy obszaru roboczego i jednostki usługi są automatycznie synchronizowani z kontem jako użytkownicy na poziomie konta i jednostki usługi. Zobacz Assign users to Azure Databricks (Przypisywanie użytkowników do usługi Azure Databricks).

Sterownik ODBC usługi Databricks 2.6.26

29 sierpnia 2022 r.

Wydaliśmy wersję 2.6.26 sterownika Databricks ODBC (pobierz). Ta wersja aktualizuje obsługę zapytań. Teraz możesz asynchronicznie anulować zapytania dotyczące połączeń HTTP po żądaniu interfejsu API.

Ta wersja rozwiązuje również następujący problem:

• W przypadku korzystania z zapytań niestandardowych w programie Spotfire łącznik przestaje odpowiadać.

Sterownik JDBC usługi Databricks 2.6.29

29 sierpnia 2022 r.

Wydaliśmy wersję 2.6.29 sterownika JDBC usługi Databricks (pobierz). Ta wersja rozwiązuje następujące problemy:

• W przypadku korzystania z serwera proxy HTTP z włączoną funkcją Cloud Fetch łącznik nie zwraca dużych wyników zestawu danych.
• Drobne problemy tekstowe w tekście licencji usługi Databricks. Brak linków do dokumentacji.
• Nazwy plików JAR były niepoprawne. Zamiast SparkJDBC41.jar powinno to być DatabricksJDBC41.jar. Zamiast SparkJDBC42.jar, powinno to być DatabricksJDBC42.jar.

Klient magazynu funkcji usługi Databricks jest teraz dostępny w interfejsie PyPI

26 sierpnia 2022 r.

Klient magazynu funkcji jest teraz dostępny w interfejsie PyPI. Klient wymaga środowiska Databricks Runtime 9.1 LTS lub nowszego i można go zainstalować przy użyciu:

%pip install databricks-feature-store

Klient jest już spakowany przy użyciu środowiska Databricks Runtime dla usługi Machine Learning 9.1 LTS i nowszych wersji.

Nie można uruchomić klienta poza usługi Databricks; Można go jednak zainstalować lokalnie, aby ułatwić testowanie jednostkowe i dodatkowe wsparcie środowiska IDE (na przykład autouzupełnianie). Aby uzyskać więcej informacji, zobacz Klient języka Python magazynu funkcji usługi Databricks

Unity Catalog jest ogólnie dostępny

25 sierpnia 2022 r.

Unity Catalog jest ogólnie dostępny. Aby zapoznać się ze szczegółowymi informacjami o funkcjach i ich ograniczeniach, zobacz notatki o wersji GA w Unity Catalog.

Udostępnianie różnicowe jest ogólnie dostępne

25 sierpnia 2022 r.

Udostępnianie funkcji delta jest teraz ogólnie dostępne, począwszy od środowiska Databricks Runtime 11.1. Aby uzyskać szczegółowe informacje, zobacz Co to jest udostępnianie różnicowe?.

• Udostępnianie różnicowe usługi Databricks do usługi Databricks jest w pełni zarządzane bez konieczności wymiany tokenów.
• Tworzenie dostawców, adresatów i udostępnianie ich za pomocą prostego interfejsu użytkownika oraz zarządzanie nimi.
• Twórz i zarządzaj dostawcami, adresatami oraz udostępnieniami za pomocą interfejsów API SQL i REST z pełną obsługą CLI i narzędzia Terraform.
• Wykonywanie zapytań dotyczących zmian danych lub udostępnianie wersji przyrostowych za pomocą zestawienia zmian danych.
• Ogranicz dostęp adresata do pobierania plików poświadczeń lub wykonywania zapytań dotyczących danych przy użyciu list dostępu do adresów IP i ograniczeń regionu.
• Udostępnianie różnicowe w celu udostępniania danych w ramach tego samego konta usługi Azure Databricks jest domyślnie włączone.
• Wymuszanie rozdzielenia obowiązków przez delegowanie zarządzania udostępnianiem delty do osób niebędących administratorami.

Databricks Runtime 11.2 (wersja beta)

23 sierpnia 2022 r.

Środowisko Databricks Runtime 11.2, 11.2 Photon i 11.2 ML są teraz dostępne jako wersje beta.

Zapoznaj się z pełnymi informacjami o wersji w usłudze Databricks Runtime 11.2 (EoS) i Databricks Runtime 11.2 for Machine Learning (EoS).

Zmniejszenie liczby komunikatów w interfejsie użytkownika Delta Live Tables dla potoków ciągłych

22-29 sierpnia 2022 r.: Wersja 3.79

W tej wersji przejścia stanu dla tabel w ciągłym potoku Delta Live Tables są wyświetlane tylko w interfejsie użytkownika do momentu, gdy tabele osiągną stan działania. Wszystkie przejścia związane z pomyślną ponowną kompilacją tabel nie są wyświetlane w interfejsie użytkownika, ale są dostępne w dzienniku zdarzeń tabel Delta Live Tables na poziomie METRICS. Wszystkie przejścia do stanów awarii są nadal wyświetlane w interfejsie użytkownika. Wcześniej wszystkie przejścia stanu były wyświetlane w interfejsie użytkownika dla tabel na żywo. Ta zmiana zmniejsza liczbę zdarzeń potoku wyświetlanych w interfejsie użytkownika i ułatwia znajdowanie ważnych komunikatów dla potoków. Aby dowiedzieć się więcej na temat wykonywania zapytań dotyczących dziennika zdarzeń, zobacz What is the Delta Live Tables event log?.

Łatwiejsza konfiguracja klastrów dla potoków Delta Live Tables

22-29 sierpnia 2022 r.: Wersja 3.79

Teraz możesz wybrać tryb klastra (skalowanie automatyczne lub stały rozmiar) bezpośrednio w interfejsie UI Delta Live Tables, gdy tworzysz potok. Wcześniej konfigurowanie klastra skalowania automatycznego wymagało zmian ustawień JSON potoku. Aby uzyskać więcej informacji na temat tworzenia potoku i nowego ustawienia trybu klastra , zobacz Uruchom aktualizację potoku Delta Live Tables.

Organizowanie zadań dbt w przepływach pracy usługi Databricks (publiczna wersja zapoznawcza)

22-29 sierpnia 2022 r.: Wersja 3.79

Możesz uruchomić projekt dbt core jako zadanie w zadaniu usługi Azure Databricks przy użyciu nowego zadania dbt, co umożliwia uwzględnienie przekształceń dbt w przepływie pracy przetwarzania danych. Na przykład przepływ pracy może pozyskiwać dane za pomocą modułu automatycznego ładowania, przekształcać dane za pomocą dbt i analizować dane za pomocą zadania notesu. Aby uzyskać więcej informacji na temat zadania dbt, w tym przykładu, zobacz Use dbt transformations in an Azure Databricks job (Używanie przekształceń dbt w zadaniu usługi Azure Databricks). Aby uzyskać więcej informacji na temat tworzenia, uruchamiania i planowania przepływu pracy zawierającego zadanie dbt, zobacz Omówienie orkiestracji w usłudze Databricks.

Federacja tożsamości jest ogólnie dostępna

25 sierpnia 2022 r.

Federacja tożsamości upraszcza administrowanie usługą Azure Databricks, umożliwiając przypisywanie użytkowników na poziomie konta, jednostek usługi i grup do obszarów roboczych federacyjnych tożsamości. Teraz możesz skonfigurować wszystkich użytkowników, jednostki usługi i grupy i zarządzać nimi raz w konsoli konta, zamiast powtarzać konfigurację oddzielnie w każdym obszarze roboczym. Aby dowiedzieć się więcej na temat federacji tożsamości, patrz Przypisywanie użytkowników do obszarów roboczych. Aby rozpocząć, zobacz Włączanie federacji tożsamości.

Program Partner Connect obsługuje nawiązywanie połączenia z usługą Stardog

24 sierpnia 2022 r.

Teraz możesz łatwo utworzyć połączenie między usługą Stardog i obszarem roboczym usługi Azure Databricks przy użyciu programu Partner Connect. Stardog udostępnia platformę grafu wiedzy, która odpowiada na złożone zapytania w silosach danych.

Integracja magazynu funkcji usługi Databricks z bezserwerowym wnioskowaniem w czasie rzeczywistym

22-29 sierpnia 2022 r.: Wersja 3.79

Magazyn funkcji usługi Databricks obsługuje teraz automatyczne wyszukiwanie funkcji dla bezserwerowego wnioskowania w czasie rzeczywistym. Aby uzyskać szczegółowe informacje, zobacz Wyszukiwanie funkcji automatycznych za pomocą usługi Databricks Model Serving.

Dodatkowa obsługa typów danych dla automatycznego wyszukiwania funkcji magazynu funkcji usługi Databricks

22-29 sierpnia 2022 r.: Wersja 3.79

Magazyn funkcji usługi Databricks obsługuje BooleanType teraz automatyczne wyszukiwanie funkcji. Zobacz Wyszukiwanie funkcji automatycznych za pomocą obsługi modelu usługi Databricks.

Przynieś swój własny klucz: szyfrowanie poświadczeń Git

23-29 sierpnia 2022 r.

Możesz użyć klucza szyfrowania dla danych uwierzytelniających Git dla repozytoriów Databricks.

Zobacz Przynieś własny klucz: Szyfruj poświadczenia Git.

Tryb podglądu interfejsu użytkownika klastra i tryb dostępu zastępuje tryb zabezpieczeń

19 sierpnia 2022 r.

Nowy interfejs użytkownika tworzenia klastra jest w wersji zapoznawczej. Zobacz Informacje o konfiguracji obliczeniowej.

Ograniczenia katalogu Unity (wersja testowa)

16 sierpnia 2022 r.

• Środowiska Scala, R i obciążenia korzystające ze środowiska Machine Learning Runtime są obsługiwane tylko w klastrach korzystających z trybu dostępu pojedynczego użytkownika. Obciążenia w tych językach nie obsługują używania widoków dynamicznych na poziomie wierszy lub kolumn.
• Płytkie klony nie są obsługiwane w przypadku używania Unity Catalog jako źródła lub celu klonu.
• Bucketing nie jest obsługiwane w przypadku tabel Unity Catalog. Polecenia próbujące utworzyć tabelę bucketed w Unity Catalog będą zgłaszać wyjątek.
• Tryb nadpisywania operacji zapisu ramki danych w katalogu Unity jest obsługiwany tylko w przypadku tabel Delta, a nie w przypadku innych formatów plików. Użytkownik musi mieć uprawnienia CREATE schematu nadrzędnego i musi być właścicielem istniejącego obiektu.
• Obecnie przesyłanie strumieniowe ma następujące ograniczenia:
  • Nie jest obsługiwana w klastrach przy użyciu trybu dostępu współdzielonego. W przypadku obciążeń przesyłania strumieniowego należy użyć trybu dostępu pojedynczego użytkownika.
  • Asynchroniczne punktowanie kontrolne nie jest jeszcze obsługiwane.
  • Zapytania przesyłane strumieniowo trwające ponad 30 dni we wszystkich klastrach puporse lub jobs zgłaszają wyjątek. W przypadku długotrwałych zapytań przesyłania strumieniowego skonfiguruj automatyczne ponawianie prób zadania.
• Odwoływanie się do tabel katalogu Unity z przepływów Delta Live Tables nie jest obecnie obsługiwane.
• Grupy, które zostały wcześniej utworzone w obszarze roboczym, nie mogą być używane w instrukcjach GRANT w Unity Catalog. Ma to na celu zapewnienie spójnego widoku grup, które mogą obejmować obszary robocze. Aby używać grup w instrukcjach GRANT, utwórz swoje grupy w konsoli konta i zaktualizuj wszelką automatyzację zarządzania głównymi podmiotami lub grupami (takie jak SCIM, Okta, Microsoft Entra ID oraz Terraform), aby odwoływać się do punktów końcowych konta zamiast punktów końcowych obszaru roboczego.

Unity Catalog jest dostępny w następujących regionach:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Aby użyć Unity Catalog w innym regionie, skontaktuj się z zespołem opieki nad kontem.

Bezserwerowe wnioskowanie w czasie rzeczywistym w publicznej wersji zapoznawczej

16 sierpnia 2022 r.

Bezserwerowe wnioskowanie w czasie rzeczywistym przetwarza modele uczenia maszynowego przy użyciu biblioteki MLflow i uwidacznia je jako punkty końcowe interfejsu API REST. Ta funkcja korzysta z zasobów obliczeniowych bezserwerowych, co oznacza, że punkty końcowe i skojarzone zasoby obliczeniowe są zarządzane i uruchamiane na koncie usługi Azure Databricks w chmurze. Koszty użycia i magazynowania są obecnie bezpłatne, ale usługa Azure Databricks powiadomi o rozpoczęciu naliczania opłat.

Administratorzy obszaru roboczego muszą włączyć bezserwerowe wnioskowanie w czasie rzeczywistym w obszarze roboczym, aby można było używać tej funkcji.

Aby wziąć udział w publicznej wersji zapoznawczej bezserwerowego wnioskowania w czasie rzeczywistym, skontaktuj się z zespołem konta usługi Azure Databricks.

Ulepszone wyszukiwanie obszarów roboczych jest teraz ogólnie dostępne

9 sierpnia 2022 r.

Teraz możesz wyszukiwać notesy, biblioteki, foldery, pliki i repozytoria według nazwy. Możesz również wyszukać zawartość w notesie i wyświetlić podgląd pasującej zawartości. Wyniki wyszukiwania można filtrować według typu. Zobacz Wyszukiwanie obiektów obszaru roboczego.

Używaj wygenerowanych kolumn podczas tworzenia zestawów danych Delta Live Tables

8-15 sierpnia 2022 r.: Wersja 3.78

Teraz możesz używać kolumn generowanych jako podczas definiowania tabel w potokach Delta Live Tables. Wygenerowane kolumny są obsługiwane przez interfejsy Delta Live Tables Python i SQL.

Ulepszona edycja notesów za pomocą edytora opartego na Monako (eksperymentalne)

8-15 sierpnia 2022 r.

Nowy edytor kodu oparty na Monako jest dostępny dla notesów języka Python. Aby ją włączyć, zaznacz opcję Włącz nowy edytor notesów na karcie Ustawienia edytora na stronie Ustawienia użytkownika.

Nowy edytor zawiera wskazówki dotyczące typów parametrów, inspekcję obiektu po najechaniu kursorem, zwijanie kodu, obsługę wielu kursorów, wybór kolumny (pole) oraz porównania obok siebie w historii wersji notatnika.

Zakończenie obsługi środowiska Databricks Runtime 10.3

2 sierpnia 2022 r.

Wsparcie dla środowisk Databricks Runtime 10.3 i Databricks Runtime 10.3 dla usługi Machine Learning zakończyło się 2 sierpnia. Zobacz Cykle życia pomocy technicznej usługi Databricks.

Włączanie łączności prywatnej za pomocą usługi Azure Private Link (publiczna wersja zapoznawcza)

2 sierpnia 2022 r.

Usługa Azure Databricks obsługuje teraz włączanie połączeń usługi Azure Private Link na potrzeby łączności prywatnej między użytkownikami a obszarami roboczymi usługi Azure Databricks, a także między klastrami na płaszczyźnie obliczeniowej a podstawowymi usługami na płaszczyźnie sterowania w infrastrukturze obszaru roboczego usługi Databricks. Usługa Azure Private Link łączy się bezpośrednio z usługami bez kierowania ruchu przez sieć publiczną. Ta funkcja jest dostępna jako publiczna wersja zapoznawcza. Zobacz Włączanie połączeń zaplecza i frontonu usługi Azure Private Link.

Włączanie bezserwerowych magazynów SQL dla obszaru roboczego (publiczna wersja zapoznawcza)

2 sierpnia 2022 r.

Bezserwerowe magazyny SQL są teraz dostępne dla kont i obszarów roboczych w usłudze Azure Databricks jako publiczna wersja zapoznawcza. Ta funkcja wymaga warstwy cenowej Premium. Przed utworzeniem bezserwerowych magazynów SQL administrator musi włączyć go dla obszaru roboczego.

Tabele delta Live Tables obsługują teraz odświeżanie tylko wybranych tabel w aktualizacjach potoku

2–24 sierpnia 2022 r.

Możesz teraz aktualizować tylko wybrane tabele w potoku Delta Live Tables. Ta funkcja przyspiesza testowanie potoków i rozwiązywania błędów, umożliwiając uruchomienie aktualizacji potoku odświeżającej tylko wybrane tabele. Aby dowiedzieć się, jak uruchomić aktualizację tylko wybranych tabel, zobacz uruchom aktualizację potoku Delta Live Tables.

Wykonywanie zadania czeka teraz na zakończenie instalowania bibliotek klastra

1 sierpnia 2022 r.

Po uruchomieniu klastra zadania usługi Databricks czekają teraz na ukończenie instalacji bibliotek klastra przed wykonaniem. Wcześniej przebiegi zadań czekały na zainstalowanie bibliotek w klastrach wszystkich celów tylko wtedy, gdy zostały określone jako biblioteka zależna zadania. Aby uzyskać więcej informacji na temat konfigurowania bibliotek zależnych dla zadań, zobacz Konfigurowanie i edytowanie zadań usługi Databricks.