Lipiec 2020

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w lipcu 2020 r.

Uwaga

Wydania są etapowe. Twoje konto usługi Azure Databricks może nie zostać zaktualizowane do tygodnia po początkowej dacie wydania.

Terminal internetowy (publiczna wersja zapoznawcza)

29 lipca 2020 r. 4 sierpnia 2020 r.: Wersja 3.25

Terminal internetowy zapewnia wygodny i wysoce interaktywny sposób dla użytkowników z uprawnieniem CAN ATTACH TO w klastrze do uruchamiania poleceń powłoki, w tym edytorów, takich jak Vim lub Emacs. Przykładowe zastosowania terminalu internetowego obejmują monitorowanie użycia zasobów i instalowanie pakietów systemu Linux.

Aby uzyskać szczegółowe informacje, zobacz Uruchamianie poleceń powłoki w terminalu internetowym usługi Azure Databricks.

Nowa, bezpieczniejsza struktura globalnych skryptów init (publiczna wersja zapoznawcza)

29 lipca — 4 sierpnia 2020 r.: Wersja 3.25

Nowa globalna struktura skryptów inicjowania zapewnia znaczne ulepszenia starszych globalnych skryptów inicjowania:

• Skrypty inicjowania są bezpieczniejsze, wymagają uprawnień administratora do tworzenia, wyświetlania i usuwania.
• Błędy uruchamiania związane ze skryptami są rejestrowane.
• Można ustawić kolejność wykonywania wielu skryptów init.
• Skrypty init mogą odwoływać się do zmiennych środowiskowych związanych z klastrem.
• Skrypty inicjowania można tworzyć i zarządzać nimi przy użyciu strony ustawień administratora lub nowego interfejsu API REST globalnych skryptów inicjowania.

Usługa Databricks zaleca migrowanie istniejących istniejących globalnych skryptów inicjowania do nowej platformy w celu skorzystania z tych ulepszeń.

Aby uzyskać szczegółowe informacje, zobacz Globalne skrypty inicjowania.

Listy dostępu do adresów IP są teraz ogólnie dostępne

29 lipca — 4 sierpnia 2020 r.: Wersja 3.25

API listy dostępu IP jest teraz ogólnie dostępne.

Wersja ogólnie dostępna obejmuje jedną zmianę, która polega na przemianowaniu wartości list_type.

• WHITELIST do ALLOW
• BLACKLIST do BLOCK

Użyj interfejsu API listy dostępu do adresów IP, aby skonfigurować obszary robocze usługi Azure Databricks, aby użytkownicy mogli łączyć się z usługą tylko za pośrednictwem istniejących sieci firmowych z bezpiecznym obwodem. Administratorzy usługi Azure Databricks mogą używać interfejsu IP Access List API do definiowania zestawu zatwierdzonych adresów IP, w tym list dozwolonych i zablokowanych. Cały dostęp przychodzący do aplikacji internetowej i interfejsów API REST wymaga, aby użytkownik nawiązał połączenie z autoryzowanego adresu IP, gwarantując, że obszary robocze nie mogą być dostępne z sieci publicznej, takiej jak kawiarnia lub lotnisko, chyba że użytkownicy korzystają z sieci VPN.

Ta funkcja wymaga planu Premium.

Aby uzyskać więcej informacji, zobacz Konfigurowanie list dostępu do adresów IP dla obszarów roboczych.

Nowe okno dialogowe przekazywania plików

29 lipca — 4 sierpnia 2020 r.: Wersja 3.25

Teraz możesz przekazywać małe pliki danych tabelarycznych (na przykład csv) i uzyskiwać do nich dostęp z notesu, wybierając pozycję Dodaj dane z menu Plik notesu. Wygenerowany kod pokazuje, jak załadować dane do biblioteki Pandas lub Ramek danych. Administratorzy mogą wyłączyć tę funkcję na karcie Zaawansowane konsola administracyjna.

Aby uzyskać więcej informacji, zobacz Przeglądanie plików w systemie plików DBFS.

Ulepszenia filtrowania i sortowania w interfejsie API standardu SCIM

29 lipca — 4 sierpnia 2020 r.: Wersja 3.25

Interfejs API SCIM obejmuje teraz następujące ulepszenia filtrowania i sortowania:

• Administratorzy mogą filtrować użytkowników przy użyciu atrybutu active.
• Wszyscy użytkownicy mogą sortować wyniki przy użyciu parametrów zapytania sortBy i sortOrder. Zachowanie domyślne to sortowanie według identyfikatora.

Dodane regiony świadczenia usługi Azure Government

25 lipca 2020 r.

Usługa Azure Databricks została niedawno udostępniona w regionach US Gov Arizona i US Gov Virginia dla jednostek rządowych USA i ich partnerów.

Databricks Runtime 7.1 (ogólna dostępność)

21 lipca 2020 r.

Środowisko Databricks Runtime 7.1 oferuje wiele dodatkowych funkcji i ulepszeń w środowisku Databricks Runtime 7.0, w tym:

• Łącznik Google BigQuery
• %pip polecenia do zarządzania bibliotekami języka Python zainstalowanymi w sesji notesu
• Zainstalowano aplikację Koalas
• Wiele ulepszeń usługi Delta Lake, w tym:
  • Ustawianie metadanych zatwierdzenia zdefiniowanego przez użytkownika
  • Pobieranie wersji ostatniego zatwierdzenia zapisanego przez bieżący SparkSession
  • Konwersja tabel Parquet utworzonych przez strukturalne przesyłanie strumieniowe przy użyciu dziennika transakcji _spark_metadata
  • MERGE INTO ulepszenia wydajności

Aby uzyskać szczegółowe informacje, zobacz pełne informacje o wersji środowiska Databricks Runtime 7.1 (EoS ).

Databricks Runtime 7.1 ML (ogólna dostępność)

21 lipca 2020 r.

Środowisko Databricks Runtime 7.1 for Machine Learning jest oparte na środowisku Databricks Runtime 7.1 i oferuje następujące nowe funkcje i zmiany w bibliotece:

• polecenia i conda magic są domyślnie włączone
• spark-tensorflow-distributor: 0.1.0
• poduszka 7.0.0 -> 7.1.0
• pytorch 1.5.0 -> 1.5.1
• torchvision 0.6.0 -> 0.6.1
• horovod 0.19.1 -> 0.19.5
• mlflow 1.8.0 -> 1.9.1

Aby uzyskać szczegółowe informacje, zobacz pełne informacje o wersji środowiska Databricks Runtime 7.1 for ML (EoS).

Databricks Runtime 7.1 Genomics (ogólna dostępność)

21 lipca 2020 r.

Środowisko Databricks Runtime 7.1 dla usługi Genomics jest oparte na środowisku Databricks Runtime 7.1 i oferuje następujące nowe funkcje:

• Przekształcenie LOCO
• Funkcja przekształcania danych wyjściowych GloWGR
• Dane wyjściowe RNASeq niesparowane wyrównania

Databricks Connect 7.1 (publiczna wersja zapoznawcza)

17 lipca 2020 r.

Usługa Databricks Connect 7.1 jest teraz dostępna w publicznej wersji zapoznawczej.

Aktualizacje interfejsu API listy dostępu IP

15-21 lipca 2020 r.: Wersja 3.24

Zmieniono następujące właściwości interfejsu API listy dostępu do adresów IP:

• updator_user_id do updated_by
• creator_user_id do created_by

Notesy języka Python obsługują teraz wiele elementów wyjściowych na komórkę

15-21 lipca 2020 r.: Wersja 3.24

Notesy języka Python obsługują teraz wiele danych wyjściowych na komórkę. Oznacza to, że w komórce może znajdować się dowolna liczba instrukcji wyświetlania, displayHTML lub print. Skorzystaj z możliwości wyświetlania nieprzetworzonych danych i wykresu w tej samej komórce lub wszystkich danych wyjściowych, które zakończyły się powodzeniem przed wystąpieniem błędu.

Ta funkcja wymaga środowiska Databricks Runtime 7.1 lub nowszego i jest domyślnie wyłączona w środowisku Databricks Runtime 7.1. Włącz ją, ustawiając wartość spark.databricks.workspace.multipleResults.enabled true.

Wyświetlanie kodu notesu i komórek wyników obok siebie

15-21 lipca 2020 r.: Wersja 3.24

Nowa opcja wyświetlania notesu obok siebie umożliwia wyświetlanie kodu i wyników obok siebie. Ta opcja wyświetlania łączy opcję "Standardowa" (dawniej "Kod") i opcję "Tylko wyniki".

Wstrzymywanie harmonogramów zadań

15-21 lipca 2020 r.: Wersja 3.24

Harmonogramy zadań mają teraz przyciski Wstrzymywanie i usuwanie rozpakuj , co ułatwia wstrzymywanie i wznawianie zadań. Teraz możesz wprowadzać zmiany w harmonogramie zadań bez uruchamiania dodatkowych przebiegów zadań podczas wprowadzania zmian. Bieżące uruchomienia lub uruchomienia wyzwalane przez polecenie Uruchom teraz nie mają wpływu. Aby uzyskać szczegółowe informacje, zobacz Wstrzymywanie i wznawianie wyzwalaczy zadań.

Punkty końcowe interfejsu API zadań walidują identyfikator uruchomienia

15-21 lipca 2020 r.: Wersja 3.24

Punkty jobs/runs/cancel końcowe interfejsu API i jobs/runs/output sprawdzają teraz, czy run_id parametr jest prawidłowy. W przypadku nieprawidłowych parametrów te punkty końcowe interfejsu API zwracają teraz kod stanu HTTP 400 zamiast kodu 500.

Tokeny identyfikatora entra firmy Microsoft do autoryzowania interfejsu API REST usługi Databricks — ogólna dostępność

15-21 lipca 2020 r.: Wersja 3.24

Używanie tokenów identyfikatora Entra firmy Microsoft do uwierzytelniania w interfejsie API obszaru roboczego jest teraz ogólnie dostępne. Tokeny identyfikatora entra firmy Microsoft umożliwiają zautomatyzowanie tworzenia i konfigurowania nowych obszarów roboczych. Jednostki usługi to obiekty aplikacji w identyfikatorze Entra firmy Microsoft. Możesz również użyć jednostek usługi w obszarach roboczych usługi Azure Databricks, aby zautomatyzować przepływy pracy. Aby uzyskać szczegółowe informacje, zobacz Uwierzytelnianie dostępu do zasobów usługi Azure Databricks.

Automatyczne formatowanie kodu SQL w notesach

15-21 lipca 2020 r.: Wersja 3.24

Teraz można sformatować komórki notesu SQL za pomocą skrótu klawiaturowego, menu kontekstowego polecenia i menu Edycja notesu (wybierz pozycję Edytuj > Formatuj komórki SQL). Formatowanie SQL ułatwia odczytywanie i konserwowanie kodu przy niewielkim wysiłku. Działa w przypadku notesów SQL, a także %sql komórek.

Odtwarzalna kolejność instalacji bibliotek Maven i CRAN

1–9 lipca 2020 r.: Wersja 3.23

Usługa Azure Databricks przetwarza teraz biblioteki Maven i CRAN w kolejności, w której zostały zainstalowane w klastrze.

Przejmowanie kontroli nad osobistymi tokenami dostępu użytkowników za pomocą interfejsu API zarządzania tokenami (publiczna wersja zapoznawcza)

1–9 lipca 2020 r.: Wersja 3.23

Teraz administratorzy usługi Azure Databricks mogą używać interfejsu API zarządzania tokenami do zarządzania osobistymi tokenami dostępu użytkowników usługi Azure Databricks:

• Monitorowanie i odwoływanie osobistych tokenów dostępu użytkowników.
• Kontrolowanie okresu istnienia przyszłych tokenów w obszarze roboczym.
• Kontrolowanie, którzy użytkownicy mogą tworzyć tokeny i używać ich.

Zobacz Monitorowanie i odwoływanie osobistych tokenów dostępu.

Przywracanie wyciętych komórek notatnika

1–9 lipca 2020 r.: Wersja 3.23

Możesz teraz odzyskać komórki notatnika, które zostały wycięte, używając skrótu klawiaturowego (Z) lub wybierając pozycję Edytuj > Cofnij wycięcie komórek. Ta funkcja jest analogiczna do tej funkcji w przypadku cofania usuniętych komórek.

Przypisywanie zadań MOŻE ZARZĄDZAĆ uprawnieniami do użytkowników niebędących administratorami

1–9 lipca 2020 r.: Wersja 3.23

Teraz możesz przypisać użytkowników i grupy inne niż administratorzy do uprawnienia CAN MANAGE dla zadań. Ten poziom uprawnień umożliwia użytkownikom zarządzanie wszystkimi ustawieniami zadania, w tym przypisywanie uprawnień, zmienianie właściciela i zmienianie konfiguracji klastra (na przykład dodawanie bibliotek i modyfikowanie specyfikacji klastra). Zobacz Kontrola dostępu do zadania.

Użytkownicy usługi Azure Databricks mogą wyświetlać i filtrować według nazwy użytkownika przy użyciu interfejsu API SCIM

1–9 lipca 2020 r.: Wersja 3.23

Użytkownicy niebędący administratorami mogą teraz wyświetlać nazwy użytkowników i filtrować użytkowników według nazwy użytkownika przy użyciu punktu końcowego SCIM /Users.

Link umożliwiający wyświetlenie specyfikacji klastra podczas wyświetlania szczegółów uruchamiania zadania

1–9 lipca 2020 r.: Wersja 3.23

Teraz po wyświetleniu szczegółów uruchomienia zadania możesz kliknąć link do strony konfiguracji klastra, aby wyświetlić specyfikację klastra. Wcześniej należy skopiować identyfikator zadania z adresu URL i przejść do listy klastrów, aby go wyszukać.