Listopad 2023

Te funkcje i ulepszenia platformy Azure Databricks zostały wydane w listopadzie 2023 r.

Uwaga

Wydania są etapowe. Obszar roboczy usługi Azure Databricks może nie zostać zaktualizowany do tygodnia lub więcej po początkowej dacie wydania.

Wyszukiwanie wektorów mozaiki sztucznej inteligencji jest publiczną wersją zapoznawcza

30 listopada 2023 r.

Mosaic AI Vector Search to bezserwerowa wyszukiwarka podobieństwa, która umożliwia przechowywanie wektorowej reprezentacji danych, w tym metadanych, w bazie danych wektorów. W tej funkcji można tworzyć automatycznie aktualizujące się indeksy wyszukiwania wektorów na podstawie danych w Unity Catalog i wysyłać do nich zapytania za pomocą prostego interfejsu API, aby zwrócić najbardziej podobne wektory w ramach przepływów pracy RAG. Zobacz Mozaikowe wyszukiwanie wektorów sztucznej inteligencji.

Listy kontroli dostępu nie mogą być już wyłączone

29 listopada 2023 r.

Następujące ustawienia są włączone we wszystkich obszarach roboczych planu Premium i nie można ich już wyłączyć na stronie ustawień administratora obszaru roboczego lub interfejsu API conf obszaru roboczego:

• Kontrola dostępu do obszaru roboczego: umożliwia użytkownikom konfigurowanie uprawnień do obiektów obszaru roboczego.
• Kontrola dostępu do klastrów, puli, zadań: umożliwia użytkownikom konfigurowanie uprawnień do klastrów, pul i zadań.
• Kontrola widoczności klastra: uniemożliwia wyświetlanie klastrów użytkownikom, którzy nie mają uprawnień do nich.
• Kontrola widoczności zadań: uniemożliwia wyświetlanie zadań użytkownikom, którzy nie mają uprawnień do nich.
• Ustawienie kontroli widoczności obszaru roboczego: uniemożliwia wyświetlanie notesów i folderów użytkownikom, którzy nie mają na nich uprawnień.

Ustawienia kontroli dostępu zostały domyślnie włączone w nowych obszarach roboczych od marca 2018 r., a ustawienia kontroli widoczności są domyślnie włączone od grudnia 2020 r.

Aby uzyskać więcej informacji, zobacz Listy kontroli dostępu.

Nowe zachowania i akcje w Eksploratorze wykazu dla woluminów

22 listopada 2023 r.

Można teraz utworzyć nowy wolumin w docelowym schemacie, jeśli żaden tam nie istnieje, korzystając z interfejsu użytkownika Przekaż do woluminu. Zobacz Przekazywanie plików do wolumenu w Unity Catalog.

Akcje, takie jak Usuń plik i Pobierz plik zostały dodane do Eksploratora Katalogu dla plików w woluminach.

Środowisko Databricks Runtime 14.2 jest ogólnie dostępne

22 listopada 2023 r.

Środowiska Databricks Runtime 14.2 i Databricks Runtime 14.2 ML są teraz ogólnie dostępne.

Zobacz Databricks Runtime 14.2 (EoS) i Databricks Runtime 14.2 for Machine Learning (EoS).

Łącznik SQL usługi Databricks dla języka Python w wersji 3.0.0

17 listopada 2023 r.

Teraz możesz uruchomić polecenie pip install databricks-sql-connector==3.0.0.

Ta wersja:

• Usuwa obsługę języka Python 3.7
• Dodaje obsługę natywnych sparametryzowanych zapytań SQL. Wymaga DBR 14.2 lub nowszego. Aby uzyskać więcej informacji, zobacz Using Native Parameters w repozytorium GitHub databricks-sql-python.
• Zawiera nasz całkowicie przepisany dialekt SQLAlchemy:
  • Dodaje obsługę programu SQLAlchemy = 2.0 i przerywa obsługę programu SQLAlchemy >1.x
  • Pełne kompleksowe pokrycie testowe wszystkich obsługiwanych funkcji
  • Szczegółowe informacje o użyciu dostępne tutaj
  • Dodaje obsługę:
    • Nowe typy: TIME, , TIMESTAMP, TIMESTAMP_NTZTINYINT
    • Numeric skalowanie typów i precyzja, na przykład Numeric(10,2)
    • Czytanie i pisanie PrimaryKeyConstraintForeignKeyConstraint
    • Odczytywanie i zapisywanie kluczy złożonych
    • Odczytywanie i zapisywanie z widoków
    • Zapisywanie Identity w tabelach (autoinkrementacja kluczy podstawowych)
    • LIMIT i OFFSET do stronicowania wyników
    • Buforowanie wywołań metadanych
• Domyślnie włącza funkcję Pobierania w chmurze. Aby wyłączyć, ustaw use_cloud_fetch=False podczas kompilowania databricks.sql.client.
• Dodanie testów integracyjnych dla zapytań dotyczących przetwarzania woluminów Unity Catalog w usłudze Azure Databricks
• Ponownych prób:
  • Dodawanie _retry_max_redirects konfiguracji
  • Ustaw parametr _enable_v3_retries=True i ostrzegaj, jeśli użytkownicy go zastąpią.
• Zabezpieczenia: minimalna wersja pyarrow do wersji 14.0.1 (CVE-2023-47248)

Biblioteki w plikach obszarów roboczych obsługiwane w klastrach udostępnionych bez izolacji

15 listopada 2023 r.

Biblioteki przechowywane jako pliki obszaru roboczego można teraz instalować do obliczeń skonfigurowanych w trybie dostępu współużytkowanego bez izolacji w środowisku Databricks Runtime 14.1 lub nowszym.

Wycofanie bibliotek obszarów roboczych

15 listopada 2023 r.

Biblioteki obszarów roboczych są teraz przestarzałe i tworzenie nowych bibliotek obszarów roboczych zostało wyłączone. Istniejące biblioteki obszarów roboczych nadal działają. Należy pamiętać, że przechowywanie bibliotek jako plików obszaru roboczego różni się od bibliotek obszarów roboczych i jest nadal w pełni obsługiwane. Biblioteki przechowywane jako pliki obszaru roboczego można zainstalować bezpośrednio w zadaniach obliczeniowych lub zadań podrzędnych. Zobacz Biblioteki.

Obsługa typów maszyn wirtualnych przetwarzania poufnego na platformie Azure jest teraz ogólnie dostępna

15 listopada 2023 r.

Obsługa usługi Azure Databricks dla typów maszyn wirtualnych przetwarzania poufnego platformy Azure jest teraz ogólnie dostępna. Poufne przetwarzanie na platformie Azure pomaga chronić dane w użyciu, uniemożliwiając dostawcy usług w chmurze dostęp do poufnych danych. Zobacz Maszyny wirtualne do poufnego przetwarzania na platformie Azure.

Wyszukiwanie list witryny Databricks Marketplace przy użyciu wyszukiwania globalnego obszaru roboczego

13 listopada 2023 r.

Teraz możesz znaleźć zestawy danych, modele sztucznej inteligencji i akceleratory rozwiązań usługi Databricks w witrynie Marketplace usługi Databricks przy użyciu globalnego paska wyszukiwania w interfejsie użytkownika obszaru roboczego usługi Azure Databricks. Zobacz Co to jest witryna Databricks Marketplace? i Wyszukaj obiekty obszaru roboczego.

Korzystanie z produktów danych w witrynie Databricks Marketplace przy użyciu platform zewnętrznych

10 listopada 2023 r.

Konsumenci bez obszaru roboczego Azure Databricks z włączonym kontrolerem katalogów Unity mogą teraz uzyskiwać dostęp do produktów danych na Rynku Databricks. Możesz użyć otwartych łączników udostępniania Delta Sharing, aby uzyskać dostęp do danych Marketplace przy pomocy różnych popularnych platform, w tym Microsoft Power BI, Microsoft Excel, pandas, Apache Spark oraz obszarów roboczych Databricks niewchodzących w skład Unity Catalog. Tylko tabelaryczne zestawy danych są dostępne na platformach zewnętrznych (na przykład nie notesów ani modeli usługi Databricks). Zobacz Uzyskiwanie dostępu do produktów danych w witrynie Databricks Marketplace przy użyciu platform zewnętrznych.

Obsługa bezserwerowych magazynów SQL Warehouse dodanych w kilku regionach świadczenia usługi Azure

9 listopada 2023 r.

Następujące regiony platformy Azure obsługują teraz bezserwerowe magazyny SQL:

• Brazylia Południowa (brazylia))
• Indie Środkowe (centralindia)
• Japonia Wschodnia (japonia)
• Północno-środkowe stany USA (northcentralus)
• Południowe Zjednoczone Królestwo (uksouth)

Zobacz Regiony usługi Azure Databricks i Włączanie bezserwerowych magazynów SQL.

Automatyczne włączanie Unity Catalog dla nowych obszarów roboczych

9 listopada 2023 r.

Databricks zaczęło automatycznie uruchamiać Unity Catalog dla nowych workspaców. Eliminuje to konieczność konfiguracji Unity Catalog przez administratorów konta po utworzeniu obszaru roboczego. Wdrożenie będzie kontynuowane stopniowo na kontach. Zobacz automatyczne włączanie katalogu Unity.

Databricks Runtime 14.2 (wersja beta)

8 listopada 2023 r.

Środowiska Databricks Runtime 14.2 i Databricks Runtime 14.2 ML są teraz dostępne jako wersje beta.

Zobacz Databricks Runtime 14.2 (EoS) i Databricks Runtime 14.2 for Machine Learning (EoS).

Witryna Marketplace usługi Databricks zawiera akceleratory rozwiązań usługi Databricks

7 listopada 2023 r.

Marketplace Databricks zapewnia teraz dostęp do Akceleratorów Rozwiązań Databricks, specjalnie stworzonych przewodników, które oferują w pełni funkcjonalne notatniki, najlepsze praktyki oraz przykładowe dane, umożliwiając szybkie dodawanie wielu popularnych przypadków użycia do Azure Databricks. Zobacz i uzyskaj dostęp do akceleratorów rozwiązań Databricks.

Federacja Lakehouse dodaje obsługę Google BigQuery

3 listopada 2023 r.

Teraz można skonfigurować federację lakehouse do uruchamiania federacyjnych zapytań z typem łącznika BigQuery . Nowy łącznik BigQuery jest obsługiwany w usługach Pro i Serverless SQL Warehouse oraz Databricks Runtime 13.3 LTS i nowszych wersjach. Zobacz Uruchamianie zapytań federacyjnych w usłudze Google BigQuery.