Luty 2022
Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w lutym 2022 r.
Uwaga
Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia lub więcej po początkowej dacie wydania.
Łatwiejsze planowanie potoków DLT (publiczna wersja zapoznawcza)
28 lutego — 2 marca 2022 r.
Teraz możesz utworzyć zaplanowane zadanie Azure Databricks dla uruchomionych potoków bezpośrednio z UI DLT. Wcześniej trzeba było utworzyć zadanie i harmonogram uruchamiania zadania z poziomu interfejsu użytkownika zadań.
Łatwe przeglądanie historii aktualizacji potoku DLT (publiczna wersja zapoznawcza)
28 lutego — 2 marca 2022 r.
Teraz możesz wyświetlić historię aktualizacji potoku, w tym stan aktualizacji, szczegóły i wydarzenia, z listą rozwijaną Historia aktualizacji w interfejsie użytkownika DLT.
Upewnij się, że idempotencyjność zadania dla żądania uruchom interfejsu API zadań
22-28 lutego 2022 r.: Wersja 3.66
Teraz możesz użyć opcjonalnego idempotency_token parametru z operacją Uruchom teraz interfejsu API zadań, aby upewnić się, że dokładnie jedno uruchomienie zadania zostało uruchomione. Wcześniej przesyłanie wielu Run now żądań dla tego samego zadania mogło spowodować uruchomienie więcej niż jednego procesu.
Aby dowiedzieć się więcej na temat idempotentności zadań, zobacz Jak zapewnić idempotentność zadań.
Ulepszenia stabilności i skalowalności usługi związanej z zadaniami
22-28 lutego 2022 r.: Wersja 3.66
Następujące zmiany zwiększają stabilność i skalowalność usługi Jobs.
- Każde nowe zadanie ma przypisany dłuższy, unikatowy, liczbowy, niesekwencyjny identyfikator. Klienci, którzy używają Jobs API i zależą od stałej długości identyfikatorów lub identyfikatorów sekwencyjnych bądź monotonnie rosnących, muszą zostać zmodyfikowani, aby akceptować identyfikatory dłuższe, niesekwencyjne i nieuporządkowane. Typ identyfikatora
int64pozostaje niezmieniony, a zgodność jest zachowywana dla klientów korzystających z 754 64-bitowych liczb zmiennoprzecinkowych IEEE, na przykład klientów JavaScript. - Teraz wartość pola
number_in_job, uwzględnionego w odpowiedzi na niektóre żądania API zadań, jest ustawiana na tę samą wartość corun_id.
Porównaj przebiegi MLflow z różnych eksperymentów
22-28 lutego 2022 r.: Wersja 3.66
Teraz można wyświetlać i porównywać przebiegi z wielu eksperymentów. Zobacz Porównanie przebiegów z wielu eksperymentów.
Ulepszenia w wyświetlaniu porównania przebiegów w MLflow
22-28 lutego 2022 r.: Wersja 3.66
Ulepszono wyświetlanie analiz porównawczych. Wizualizacje są teraz wyświetlane w górnej części strony. Teraz możesz przewijać lub zwijać tabele, w których wyświetlane są informacje o przebiegu, parametry i metryki. Teraz można również uprościć wyświetlanie, ukrywając parametry i metryki, które nie różnią się w zależności od przebiegów.
Aby uzyskać informacje na temat strony porównań przebiegów, zobacz Porównanie przebiegów. Aby uzyskać instrukcje dotyczące porównywania przebiegów, zobacz Porównanie przebiegów.
Ulepszona widoczność właścicieli uruchomionych zadań w interfejsie użytkownika klastrów
22-28 lutego 2022 r.: Wersja 3.66
Karta Klastry Zadań w interfejsie użytkownika Obliczenia została zaktualizowana, aby wyświetlać Uruchom zadanie jako użytkownik zamiast właściciela zadań. Ta aktualizacja jest oparta na zmianach w modelu uprawnień zadań i zapewnia lepszy wgląd w właściciela przebiegu zadania. Zobacz Wyświetlanie zasobów obliczeniowych.
Usuwanie kolumn zestawu danych w rozwiązaniu AutoML
22-28 lutego 2022 r.: Wersja 3.66
W środowisku Databricks Runtime 10.3 ML i nowszym, w przypadku problemów klasyfikacji i regresji, można teraz określić kolumny w zestawie danych, których AutoML nie powinien używać do trenowania. Zobacz Referencje interfejsu API Python AutoML.
Strona Eksperymenty jest dostępna ogólnie.
22-28 lutego 2022 r.: Wersja 3.66
Strona eksperymentów jest teraz ogólnie dostępna.
Obsługa tabel tymczasowych w interfejsie języka Python DLT
22-28 lutego 2022 r.: Wersja 3.66
Teraz można użyć właściwości temporary podczas deklarowania tabel za pomocą interfejsu JĘZYKA Python DLT. Zdefiniowanie tabeli tymczasowej powoduje, że biblioteka DLT nie będzie utrwalać metadanych dla tabeli i uniemożliwia publikowanie tabeli po skonfigurowaniu ustawienia target. Zobacz specyfikację Python, aby uzyskać informacje na temat definiowania tabel w języku Python.
Ulepszenia interfejsu użytkownika dla biblioteki DLT (publiczna wersja zapoznawcza)
22-28 lutego 2022 r.: Wersja 3.66
Ta wersja zawiera następujące ulepszenia interfejsu użytkownika DLT:
- Teraz można edytować ustawienia potoku w oknie dialogowym Ustawienia w interfejsie użytkownika DLT, dzięki czemu interfejs jest bardziej przyjazny dla użytkownika. Wcześniej ograniczano się do zmieniania ustawień przez edytowanie specyfikacji JSON. Aby wybrać widok interfejsu użytkownika lub JSON w celu edytowania ustawień potoku, kliknij przycisk UI lub JSON w oknie dialogowym Ustawienia.
- Dziennik zdarzeń na stronie Szczegóły potoku wyróżnia teraz rekordy błędów, co ułatwia identyfikowanie i rozwiązywanie błędów w potokach.
- Ulepszono wyświetlanie postępu uruchomionych potoków. Teraz, gdy wyświetlasz wykres swojego potoku, węzły znajdujące się w stanie
RUNNINGmają animowaną krawędź wchodzącą i animowaną górną granicę.
Koniec wsparcia dla Databricks Runtime 9.0
17 lutego 2022 r.
Wsparcie dla środowisk Databricks Runtime 9.0 i Databricks Runtime 9.0 dla Machine Learning zakończyło się 17 lutego. Zobacz Cykle wsparcia usługi Databricks.
aktualizacje strony docelowej Nauka o danych i inżynierii
10 lutego 2022 r.
Zaktualizowaliśmy wygląd i działanie strony docelowej Nauka o danych & Engineering. Niektóre linki uległy zmianie, ale nie ma innych godnych uwagi zmian funkcjonalności.
Repozytoria usługi Databricks obsługują teraz usługę AWS CodeCommit na potrzeby integracji z usługą Git
7-14 lutego 2022 r.: Wersja 3.65
Teraz możesz używać repozytoriów AWS CodeCommit z repozytoriami Databricks.
Ulepszona wizualizacja potoków DLT (publiczna wersja zapoznawcza)
7-14 lutego 2022 r.: Wersja 3.65
Wizualizacja DAG dla potoku została przeprojektowana, aby poprawić użyteczność i nawigację. Ulepszenia obejmują zmianę wyświetlania wykresów od lewej do prawej zamiast od góry do dołu, zapewniając bardziej intuicyjny widok realizacji pipeline'u.
Zaktualizowany analizator języka Markdown
7-14 lutego 2022 r.: Wersja 3.65
Analizator języka Markdown używany w notesach usługi Azure Databricks został zaktualizowany. Rozwiązano niektóre problemy z poprzedniej aktualizacji . W szczególności nie trzeba już umieszczać spacji między hasztagami a tekstem nagłówka, a linki ze spacjami są teraz renderowane poprawnie.
DLT obsługuje teraz przetwarzanie przechwytywania zmian danych (publiczne wydanie zapoznawcze)
7-14 lutego 2022 r.: Wersja 3.65
Teraz możesz zaimplementować przetwarzanie przechwytywania zmian danych (CDC) w potokach DLT. Przetwarzanie CDC jest obsługiwane w interfejsach SQL i Python. Zobacz API DO ZASTOSOWANIA ZMIAN: upraszczanie przechwytywania danych o zmianach przy użyciu biblioteki DLT.
Dodatkowe magazyny metadanych są teraz dostępne w wielu regionach
8 lutego 2022 r.
Następujące magazyny metadanych są teraz dostępne w następujących regionach:
brazilsouth:
consolidated-brazilsouth-prod-metastore.mysql.database.azure.com
centralus:
consolidated-centralus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-centralus-prod-metastore-addl-3.mysql.database.azure.com
eastus:
consolidated-eastus-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-3.mysql.database.azure.comconsolidated-eastus-prod-metastore-addl-4.mysql.database.azure.com
eastus2
consolidated-eastus2-prod-metastore-addl-2.mysql.database.azure.comconsolidated-eastus2-prod-metastore-addl-3.mysql.database.azure.com
francecentral
consolidated-francecentral-prod-metastore.mysql.database.azure.com
northeurope
consolidated-northeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-northeurope-prod-metastore-addl-3.mysql.database.azure.com
southeastasia
consolidated-southeastasia-prod-metastore-addl-1.mysql.database.azure.com
switzerlandnorth
consolidated-switzerlandnorth-prod-metastore-0.mysql.database.azure.com
switzerlandwest
consolidated-switzerlandwest-prod-metastore-0.mysql.database.azure.com
uksouth
consolidated-uksouth-prod-metastore-addl-1.mysql.database.azure.com
westeurope
consolidated-westeurope-prod-metastore-addl-2.mysql.database.azure.comconsolidated-westeurope-prod-metastore-addl-3.mysql.database.azure.com
Zawsze należy uwzględnić wszystkie odpowiednie nazwy hostów dla każdego regionu używanego w trasach zdefiniowanych przez użytkownika (UDR). Zobacz Ustawienia trasy zdefiniowane przez użytkownika dla usługi Azure Databricks.
Wybieranie struktur algorytmów do użycia z rozwiązaniem AutoML
7-14 lutego 2022 r.: Wersja 3.65
W środowisku Databricks Runtime 10.3 ML i nowszym można określić frameworki algorytmów, takie jak scikit-learn, których rozwiązanie AutoML nie powinno uwzględniać podczas tworzenia modeli. Domyślnie rozwiązanie AutoML uwzględnia modele z biblioteki scikit-learn, XGBoost i LightGBM na potrzeby problemów klasyfikacji i regresji oraz z Prophet i modeli Auto-ARIMA na potrzeby prognozowania problemów. Zobacz Dokumentację interfejsu programowania aplikacji (API) języka Python w AutoML.
Modele MLflow hostowane w usłudze Databricks mogą teraz wyszukać funkcje ze sklepów online
3 lutego 2022 r.
Modele spakowane za pomocą metadanych Feature Store mogą automatycznie wyszukać wartości funkcji z magazynów online w czasie serwowania.
Databricks Runtime 10.3 i 10.3 ML są ogólnie dostępne; 10.3 Photon to publiczna wersja zapoznawcza
2 lutego 2022 r.
Środowiska Databricks Runtime 10.3 i Databricks Runtime 10.3 ML są teraz ogólnie dostępne. Środowisko Databricks Runtime 10.3 Photon jest w publicznej wersji zapoznawczej.