Sdílet prostřednictvím


Listopad 2023

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v listopadu 2023.

Poznámka:

Verze jsou připraveny. Váš pracovní prostor Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Rozhraní AI Vector Search ve verzi Public Preview

30. listopadu 2023

Mosaic AI Vector Search je bezserverový vyhledávač podobnosti, který umožňuje ukládat vektorové znázornění vašich dat, včetně metadat, ve vektorové databázi. V rámci této funkce můžete vytvořit automatické aktualizace indexů vektorového vyhledávání z dat v Unity Catalog a dotazovat se na ně pomocí jednoduchého rozhraní API, které v rámci pracovních postupů RAG vrátí nejvíce podobných vektorů. Podívejte se na hledání vektorů AI v systému Mosaic.

Seznamy ovládacích prvků přístupu už nejde zakázat.

29. listopadu 2023

Ve všech pracovních prostorech plánu Premium jsou povolená následující nastavení a už není možné je zakázat na stránce nastavení pracovního prostoru ani v rozhraní API pro konfiguraci pracovního prostoru:

  • Řízení přístupu k pracovnímu prostoru: Umožňuje uživatelům konfigurovat oprávnění k objektům pracovního prostoru.
  • Řízení přístupu ke clusterům, fondům a úlohám: Umožňuje uživatelům konfigurovat oprávnění ke clusterům, fondům a úlohám.
  • Řízení viditelnosti clusteru: Brání tomu, aby se clustery zobrazovaly uživatelům, kteří nemají žádná oprávnění.
  • Řízení viditelnosti úloh: Zabrání tomu, aby se úlohy zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.
  • Nastavení řízení viditelnosti pracovního prostoru: Zabrání tomu, aby se poznámkové bloky a složky zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.

Nastavení řízení přístupu jsou ve výchozím nastavení povolená pro nové pracovní prostory od března 2018 a nastavení řízení viditelnosti jsou standardně povolená od prosince 2020.

Další informace najdete v tématu Seznamy řízení přístupu.

Nové chování a akce v Průzkumníku Catalog pro volumes

22. listopadu 2023

Nyní můžete vytvořit nový svazek v cílovém schema, pokud v uživatelském rozhraní pro nahrávání na svazek žádný neexistuje. Viz Nahrát soubory do svazku Unity Catalog.

Akce, jako je Odstranit soubor a Stáhnout soubor, byly přidány do Catalog Explorer pro soubory v volumes.

Databricks Runtime 14.2 je obecná dostupnost

22. listopadu 2023

Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní obecně dostupné.

Viz Databricks Runtime 14.2 (EoS) a Databricks Runtime 14.2 pro Machine Learning (EoS)

Konektor SQL Databricks pro Python verze 3.0.0

17. listopadu 2023

Nyní můžete spustit pip install databricks-sql-connector==3.0.0.

Tato verze:

  • Odebere podporu pythonu 3.7.
  • Přidává podporu nativních parametrizovaných dotazů SQL. Vyžaduje DBR 14.2 a vyšší. Další informace najdete v tématu Použití nativních Parameters v úložišti Databricks-sql-python Na GitHubu.
  • Zahrnuje náš zcela přepsaný dialekt SQLAlchemy:
    • Přidává podporu pro SQLAlchemy >= 2.0 a zahodí podporu sqlAlchemy 1.x.
    • Úplné kompletní pokrytí testů všech podporovaných funkcí
    • Podrobné poznámky k využití, které jsou k dispozici tady
    • Přidává podporu pro:
      • Nové typy: TIME, TIMESTAMP, TIMESTAMP_NTZ, TINYINT
      • Numeric měřítko a přesnost typů, například Numeric(10,2)
      • Čtení a psaní a psaní PrimaryKeyConstraintForeignKeyConstraint
      • Čtení a psaní složených klíčů
      • Čtení a psaní z views
      • Zápis Identity do tables (automatické inkrementace primárních klíčů)
      • LIMIT a OFFSET pro stránkování výsledků
      • Ukládání do mezipaměti volání metadat
  • Ve výchozím nastavení povolí cloudový načítání. Chcete-li zakázat, použijte setuse_cloud_fetch=False při sestavování databricks.sql.client.
  • Přidání integračních testů pro dotazy azure Databricks Unity Catalogvolumes příjmu dat
  • Opětovné pokusy:
    • Přidání _retry_max_redirects konfigurace
    • Set _enable_v3_retries=True a upozornit, pokud to uživatelé přepíší.
  • Zabezpečení: Zvýšení minimální verze pyarrow na verzi 14.0.1 (CVE-2023-47248)

Knihovny v souborech pracovního prostoru podporované ve sdílených clusterech bez izolace

15. listopadu 2023

Teď můžete nainstalovat knihovny uložené jako soubory pracovního prostoru pro výpočty nakonfigurované bez izolace režimu sdíleného přístupu v Databricks Runtime 14.1 a vyšší.

Vyřazení knihoven pracovních prostorů

15. listopadu 2023

Knihovny pracovních prostorů jsou teď zastaralé a vytváření nových knihoven pracovních prostorů je zakázané. Stávající knihovny pracovních prostorů nadále fungují. Upozorňujeme, že ukládání knihoven jako souborů pracovního prostoru se liší od knihoven pracovních prostorů a je stále plně podporované. Knihovny uložené jako soubory pracovního prostoru můžete nainstalovat přímo do výpočetních úloh nebo úloh. Viz knihovny.

Podpora typů důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná.

15. listopadu 2023

Podpora Azure Databricks pro typy důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná. Důvěrné výpočetní prostředí Azure pomáhá chránit užitá data, což brání poskytovateli cloudu v having přístupu k citlivým datům. Prohlédni si důvěrné výpočetní virtuální počítače Azure.

13. listopadu 2023

Datové sady, modely AI a akcelerátory řešení Databricks teď najdete na Webu Databricks Marketplace pomocí globálního panelu hledání v uživatelském rozhraní pracovního prostoru Azure Databricks. Podívejte se , co je Databricks Marketplace? a vyhledejte objekty pracovního prostoru.

Využívání datových produktů na Marketplace Databricks pomocí externích platforem

10. listopadu 2023

Uživatelé bez Catalogpracovního prostoru Azure Databricks s podporou Unity teď mají přístup k datovým produktům na Webu Databricks Marketplace. K přístupu k datům z Marketplace můžete použít otevřené konektory sdílení Delta na různých běžných platformách, včetně Microsoft Power BI, Microsoft Excel, knihovny pandas, Apache Spark a pracovních prostorů Databricks, které nejsou na Unity Catalog. Na externích platformách jsou dostupné jenom tabulkové datové sady (například ne poznámkové bloky nebo modely Databricks). Podívejte se na datové produkty Accessu na Webu Databricks Marketplace s využitím externích platforem.

Podpora bezserverových skladů SQL přidaných pro několik oblastí Azure

9. listopadu 2023

Následující oblasti Azure teď podporují bezserverové sklady SQL:

  • Brazílie – jih (brazíliesouth)
  • Indie – střed (centralindia)
  • Japonsko – východ (japaneast)
  • USA – středosever (northcentralus)
  • Velká Británie – jih (Uksouth)

Podívejte se na oblasti Azure Databricks a povolte bezserverové služby SQL Warehouse.

Automatické povolení Unity Catalog pro nové pracovní prostory

9. listopadu 2023

Databricks začal automaticky aktivovat Unity Catalog pro nové pracovní prostory. Tím se po vytvoření pracovního prostoru odebere potřeba, aby správci účtu nakonfigurovali Catalog Unity. Zavedení bude probíhat postupně napříč účty. Viz také Unity Automatické povolení Catalog.

Databricks Runtime 14.2 (beta verze)

8. listopadu 2023

Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 14.2 (EoS) a Databricks Runtime 14.2 pro Machine Learning (EoS)

Databricks Marketplace zahrnuje akcelerátory řešení Databricks.

7. listopadu 2023

Databricks Marketplace teď poskytuje přístup k akcelerátorům řešení Databricks, účelově sestaveným průvodcům, které poskytují plně funkční poznámkové bloky, pokyny k osvědčeným postupům a ukázková data, abyste get rychle set s mnoha oblíbenými případy použití v Azure Databricks. Viz přístup k akcelerátorům řešení Databricks Get.

Lakehouse Federation přidává podporu pro Google BigQuery

3. listopadu 2023

Teď můžete nakonfigurovat Federaci Lakehouse tak, aby spouštěla federované dotazy s typem konektoru BigQuery . Nový konektor BigQuery je podporovaný pro a bezserverové služby SQL Warehouse a Databricks Runtime 13.3 LTS a vyšší. Viz Spuštění federovaných dotazů v Google BigQuery.