Květen 2024

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v květnu 2024.

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Konfigurace brány firewall bez serveru teď podporuje více typů výpočetních prostředků.

31. května 2024

Azure Databricks teď podporuje konfiguraci bran firewall pro bezserverové úlohy, poznámkové bloky, kanály Delta Live Tables a model obsluhující přístup ke koncovým bodům procesoru pomocí konfigurací síťového připojení (NCCS). Správci účtů můžou vytvářet síťové adaptéry a připojovat je k pracovním prostorům, aby zajistili zabezpečený a řízený přístup prostřednictvím stabilních podsítí.

Viz Konfigurace brány firewall pro bezserverový výpočetní přístup.

Konec podpory řady Databricks Runtime 15.0

31. května 2024

Podpora pro Databricks Runtime 15.0 a Databricks Runtime 15.0 pro Machine Learning skončila 31. května. Viz životní cyklus podpory Databricks.

Databricks Runtime 15.3 (beta verze)

30. května 2024

Databricks Runtime 15.3 a Databricks Runtime 15.3 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 15.3 a Databricks Runtime 15.2 pro Machine Learning.

Uživatelské rozhraní výpočetních metrik je teď dostupné ve všech verzích Databricks Runtime.

30. května 2024

Uživatelské rozhraní výpočetních metrik bylo nasazeno ve všech verzích Databricks Runtime. Dříve byly tyto metriky k dispozici pouze u výpočetních prostředků spuštěných v Databricks Runtime 13.3 a novějších. Viz Zobrazení výpočetních metrik.

Vylepšené vyhledávání a filtrování v tabulkách výsledků v poznámkovém bloku a editoru SQL

28. května 2024

Teď můžete snadno prohledávat sloupce a vybírat hodnoty filtru z rozevíracího seznamu existujících hodnot v tabulkách výsledků v poznámkových blocích a editoru SQL.

Nový řídicí panel pomáhá poskytovatelům Databricks Marketplace monitorovat využití výpisu

28. května 2024

Nový řídicí panel Analýzy poskytovatelů umožňuje poskytovatelům Databricks Marketplace monitorovat zobrazení, požadavky a instalace. Řídicí panel načítá data ze systémových tabulek Marketplace. Viz Monitorování metrik využití pomocí řídicích panelů.

Zobrazení federovaných dotazů generovaných systémem v Query Profile

24. května 2024

Lakehouse Federation teď podporuje zobrazení systémem federovaných dotazů a jejich metrik v profilu dotazu. Kliknutím na uzel kontroly federace v zobrazení grafu zobrazte dotaz vložený do zdroje dat. Viz Zobrazení federovaných dotazů generovaných systémem.

Odchozí IP adresy roviny výpočetních prostředků musí být přidány do seznamu povolených IP adres pracovního prostoru.

24. května 2024

Pokud ve svém pracovním prostoru používáte zabezpečené připojení ke clusteru a přístupové seznamy IP adres, musíte buď přidat všechny veřejné IP adresy, které výpočetní rovina používá pro přístup k řídicí rovině do seznamu povolených adres, nebo nakonfigurovat back-end Private Link. Tato změna ovlivní všechny nové pracovní prostory 29. července 2024 a stávající pracovní prostory 26. srpna 2024. Další informace najdete v příspěvku komunity Databricks.

Pokud například povolíte zabezpečené připojení clusteru v pracovním prostoru, který používá injektáž virtuální sítě, databricks doporučuje, aby váš pracovní prostor má stabilní veřejnou IP adresu pro výchozí přenos dat. Tato veřejná IP adresa a všechny ostatní musí být v seznamu povolených. Podívejte se na ip adresy výchozího přenosu dat při použití zabezpečeného připojení ke clusteru. Případně pokud používáte virtuální síť spravovanou službou Azure Databricks a nakonfigurujete spravovanou bránu NAT pro přístup k veřejným IP adresám, musí být tyto IP adresy uvedené v seznamu povolených adres.

Viz Konfigurace přístupových seznamů IP adres pro pracovní prostory.

OAuth se podporuje ve službě Lakehouse Federation pro Snowflake.

24. května 2024

Katalog Unity teď umožňuje vytvářet připojení Snowflake pomocí OAuth. Viz Spuštění federovaných dotazů na Snowflake.

Hromadné přesunutí a odstranění objektů pracovního prostoru z prohlížeče pracovního prostoru

24. května 2024

Teď můžete vybrat více položek v pracovním prostoru, které chcete přesunout nebo odstranit. Když vyberete více objektů, zobrazí se panel akcí s možnostmi přesunutí nebo odstranění položek. Kromě toho můžete pomocí myši vybrat více položek a přetáhnout je na nové místo. Stávající oprávnění k objektům se stále použijí během hromadných operací přesunu a odstranění.

Objekty katalogu Unity jsou k dispozici v nedávných a oblíbených posílaných objektech.

23. května 2024

Objekty katalogu Unity, jako jsou katalogy a schémata, teď najdete v seznamu posledních položek. Můžete také oblíbené objekty katalogu Unity v Průzkumníku katalogu a prohlížeč schématu a najít oblíbené objekty na domovské stránce pracovního prostoru.

Nový konektor dbt-databricks 1.8.0 přijímá oddělenou architekturu dbt.

23. května 2024

DbT-Databricks Connector 1.8.0 je první verze, která přijímá novou oddělenou architekturu dbt. Místo toho, aby dbt-core nezávisel na tom, aby zákazníci museli zadávat verze pro obě knihovny, konektor teď závisí na sdílené abstrakční vrstvě mezi adaptérem a dbt-core. V důsledku toho už konektor nemusí odpovídat verzi funkce Databricks s verzí dbt-core a je zdarma k přijetí sémantické správy verzí. To znamená, že vývojáři konektorů už nemusí vydávat významné funkce, jako jsou výpočty na model jako opravy.

Tato verze přináší také následující:

• Vylepšení deklarace a provozu materializovaných zobrazení a streamovaných tabulek, včetně možnosti naplánovat automatické aktualizace.
• Podpora zabezpečitelných značek objektů katalogu Unity Chcete-li je odlišit od značek dbt, což jsou metadata, která se často používají pro výběr modelů v operaci dbt, tyto značky jsou pojmenovány databricks_tags v konfiguraci modelu.
• Několik vylepšení výkonu zpracování metadat.

Nová rozhraní API pro dodržování předpisů a nastavení zabezpečení (Public Preview)

23. května 2024

Databricks zavedla nová rozhraní API pro profil zabezpečení dodržování předpisů, rozšířené monitorování zabezpečení a nastavení automatické aktualizace clusteru v pracovních prostorech. Přečtěte si:

• Rozhraní API profilu zabezpečení dodržování předpisů
• Rozšířené rozhraní API pro monitorování zabezpečení
• Rozhraní API pro automatickou aktualizaci clusteru

Databricks Runtime 15.2 je obecná dostupnost

22. května 2024

Databricks Runtime 15.2 a Databricks Runtime 15.2 ML jsou nyní obecně dostupné.

Viz Databricks Runtime 15.2 a Databricks Runtime 15.2 pro Machine Learning.

Nový konektor Tableau pro rozdílové sdílení

22. května 2024

Nový konektor sdílení Tableau Delta zjednodušuje přístup tableau Desktopu k datům sdíleným s vámi pomocí otevřeného protokolu sdílení delta. Viz Tableau: Čtení sdílených dat.

Nové příklady modelu doporučení hlubokého učení

22. května 2024

Databricks publikoval dva nové příklady ilustrující moderní modely doporučení hlubokého učení, včetně modelu dvou věží a dlRM meta. Další informace o modelech doporučení hlubokého učení najdete v tématu Trénování modelů doporučovačů.

Vytvoření vazby přihlašovacích údajů úložiště a externích umístění k určitým pracovním prostorům (Public Preview)

22. května 2024

Teď můžete svázat přihlašovací údaje úložiště a externí umístění s konkrétními pracovními prostory, což brání přístupu k těmto objektům z jiných pracovních prostorů. Tato funkce je užitečná zejména v případě, že používáte pracovní prostory k izolaci přístupu k uživatelským datům, například pokud máte samostatné produkční a vývojové pracovní prostory nebo vyhrazený pracovní prostor pro zpracování citlivých dat.

Další informace najdete v tématu (Volitelné) Přiřazení externího umístění konkrétním pracovním prostorům a (volitelné) Přiřazení přihlašovacích údajů úložiště konkrétním pracovním prostorům.

Složky Gitu jsou obecně dostupné

22. května 2024

Složky Git jsou teď obecně dostupné. Viz integrace Gitu pro složky Databricks Git. Pokud jste uživatelem bývalé funkce Repos, přečtěte si téma Co se stalo s Úložištěm Databricks?

Předem natrénované modely v katalogu Unity (Public Preview)

21. května 2024

Databricks teď zahrnuje výběr vysoce kvalitních předem natrénovaných modelů GenAI v katalogu Unity. Tyto předem natrénované modely umožňují přístup k špičkovým funkcím umělé inteligence pro vaše pracovní postupy odvozování, což vám ušetří čas a náklady na vytváření vlastních modelů. Viz Předem natrénované modely v katalogu Unity a marketplace.

Puzzle AI Vector Search je GA

21. května 2024

Rozhraní AI Vector Search je nyní obecně dostupné. Podívejte se na hledání vektorů AI v systému Mosaic.

Automatické dokončování Databricks Assistantu (Public Preview)

20. května 2024

Funkce automatického dokončování Pomocníka pro Databricks poskytuje návrhy založené na umělé inteligenci v reálném čase při psaní v poznámkových blocích, dotazech a souborech. Pokud ho chcete povolit, přejděte do části Nastavení>vývojářských>experimentálních funkcí a přepněte funkci automatického dokončování nástroje Databricks Assistant. Podrobnosti najdete v tématu automatického dokončování založeného na umělé inteligenci.

Podpora Meta Llama 3 v trénování modelu Foundation

20. května 2024

Základní trénování modelů teď podporuje Meta Llama 3. Viz vyladění základního modelu.

Nové změny uživatelského rozhraní složky Git

17. května 2024

Můžete si všimnout některých změn uživatelského rozhraní pro interakce se složkami Git. Přidali jsme následující:

• Když sdílíte složku Gitu, v banneru se zobrazí nové upozornění, které vás vyzve ke zkopírování odkazu pro vytvoření složky Git. Po kliknutí na tlačítko se adresa URL zkopíruje do místní schránky, kterou můžete odeslat jinému uživateli. Když uživatel příjemce načte tuto adresu URL v prohlížeči, uživatel přejde do pracovního prostoru, kde může vytvořit vlastní složku Git naklonovanou ze stejného vzdáleného úložiště Git. Když příjemce získá přístup k adrese URL, zobrazí se v uživatelském rozhraní dialogové okno Vytvořit složku Git, které je předem vyplněné hodnotami převzatými z vaší složky Git.

  

• Podobně se při zobrazení složky Git vytvořené jiným uživatelem zobrazí nové tlačítko Vytvořit složku Git na novém banneru s upozorněním. Kliknutím na toto tlačítko vytvoříte vlastní složku Git pro stejné úložiště Git na základě předem vyplněných hodnot v dialogovém okně Vytvořit složku Git.

  

Trénování základních modelů (Public Preview)

13. května 2024

Databricks teď podporuje trénování základního modelu. Pomocí trénování základního modelu použijete vlastní data k přizpůsobení základního modelu pro optimalizaci jeho výkonu pro konkrétní aplikaci. Vyladěním nebo pokračováním trénování základního modelu můžete trénovat vlastní model pomocí výrazně menšího množství dat, času a výpočetních prostředků než trénování modelu od začátku. Trénovací data, kontrolní body a jemně vyladěný model se nacházejí na platformě Databricks a jsou integrované s jeho nástroji pro zásady správného řízení a produktivitu.

Podrobnosti najdete v tématu Vyladění základního modelu.

Povolit uživatelům kopírovat data do schránky z tabulky výsledků

9. května 2024

Správci teď můžou povolit nebo zakázat možnost uživatelů kopírovat data do schránky z tabulek výsledků. Tato funkce byla dříve omezena na poznámkové bloky. Toto nastavení se teď vztahuje na následující rozhraní:

• Poznámkové bloky
• Řídicí panely
• Genie Spaces
• Průzkumník katalogu
• Editor souborů
• Editor SQL

Hodnoty značek atributů pro objekty katalogu Unity teď můžou mít délku 1000 znaků (Public Preview).

8. května 2024

Hodnoty značek atributů v katalogu Unity teď můžou mít délku až 1 000 znaků. Limit znaků pro klíče značek zůstane 255. Viz Použití značek na zabezpečitelné objekty Katalogu Unity.

Stránka Nové náhledy

8. května 2024

Povolte a spravujte přístup k náhledům Databricks na nové stránce Previews. Viz Správa azure Databricks Preview.

Nové funkce pro Hledání vektorů AI v systému Mosaic

8. května 2024

Mezi nové funkce patří:

• Teď se podporují přístupové seznamy IP adres.
• Klíče spravované zákazníkem (CMK) se teď podporují na koncových bodech vytvořených 8. května 2024 nebo po 8. květnu 2024. Podpora vektorového vyhledávání pro CMK je ve verzi Public Preview.
• Vylepšené protokoly auditu a sledování nákladů Viz referenční informace k diagnostickým protokolům.
• Vygenerované vkládání teď můžete uložit jako tabulku Delta. Viz Vytvoření indexu vektorového vyhledávání.

Podívejte se na hledání vektorů AI v systému Mosaic.

Předávání přihlašovacích údajů a řízení přístupu k tabulce metastoru Hive jsou zastaralé

7. května 2024

Řízení přístupu k tabulce metastoru Hive a předávání přihlašovacích údajů jsou v Databricks Runtime 15.0 zastaralé a podpora se odebere v nadcházející verzi DBR.

Upgradujte na Katalog Unity, abyste zjednodušovali zabezpečení a zásady správného řízení vašich dat tím, že poskytuje centrální místo pro správu a auditování přístupu k datům napříč několika pracovními prostory ve vašem účtu. Viz téma Co je katalog Unity?.

Ovladač Databricks JDBC 2.6.38

6. května 2024

Vydali jsme verzi 2.6.38 ovladače Databricks JDBC (stáhnout). Tato verze přidává následující nové funkce a vylepšení:

• Nativní parametrizovaná podpora dotazu, pokud server používá SPARK_CLI_SERVICE_PROTOCOL_V8. Limit počtu parametrů v dotazu je 256 v nativním režimu dotazu.
• Příjem dat pomocí podpory svazku Unity Catalog Další informace o Unity Catalog svazcích v připojení ke cloudovému úložišti objektů pomocí katalogu Unity. Chcete-li tuto možnost použít, nastavte UseNativeQuery na 1hodnotu .
• QueryProfile rozhraní přidáno, aby IHadoopStatement aplikace načíst dotaz query id. query id Dá se použít k načtení metadat dotazu pomocí rozhraní REST API Databricks.
• Asynchronní operace pro volání Thrift metadat, pokud server používá SPARK_CLI_SERVICE_PROTOCOL_V9. Chcete-li použít tuto funkci, nastavte EnableAsyncModeForMetadataOperation vlastnost na 1.
• Podpora kontrolních výrazů JWT Konektor teď podporuje kontrolní výraz JWT OAuth pomocí přihlašovacích údajů klienta. Chcete-li to provést, nastavte UseJWTAssertion vlastnost na 1.

Tato verze také řeší následující problémy:

• Aktualizace knihoven Jackson. Konektor teď používá následující knihovny pro analyzátor JSON Jackson: jackson-annotations 2.16.0 (dříve 2.15.2), jackson-core 2.16.0 (dříve 2.15.2), jackson-databind-2.16.0 (dříve 2.15.2)
• Konektor obsahuje soubory nestínených tříd v adresáři META-INF.

Podpora brány firewall pro účet úložiště pracovního prostoru – obecná dostupnost

6. května 2024

Když vytvoříte nový pracovní prostor Azure Databricks, vytvoří se účet úložiště Azure ve spravované skupině prostředků označované jako účet úložiště pracovního prostoru. Teď můžete povolit bránu firewall, abyste omezili přístup k účtu úložiště pracovního prostoru jenom z autorizovaných prostředků a sítí. Viz Povolení podpory brány firewall pro váš účet úložiště pracovního prostoru.

Databricks Runtime 15.2 (beta verze)

2. května 2024

Databricks Runtime 15.2 a Databricks Runtime 15.2 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 15.2 a Databricks Runtime 15.2 pro Machine Learning.

Poznámkové bloky teď detekují a automaticky dokončí názvy sloupců datových rámců Spark Connect.

1. května 2024

Poznámkové bloky Databricks teď automaticky detekují a zobrazují názvy sloupců v datových rámcích Spark Connect a umožňují používat automatické dokončování k výběru sloupců.