Srpen 2022

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v srpnu 2022.

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Uživatelé účtu mají přístup ke konzole účtu.

1. srpna 2022

Uživatelé účtu můžou získat přístup ke konzole účtu Azure Databricks a zobrazit seznam svých pracovních prostorů. Uživatelé účtu můžou zobrazit jenom pracovní prostory, ke kterým jim byl udělen přístup. Viz Správa účtu Azure Databricks.

Uživatelé z pracovních prostorů se automaticky synchronizují s vaším účtem jako uživatelé účtu. Všichni stávající uživatelé pracovního prostoru a instanční objekty se automaticky synchronizují s vaším účtem jako uživatelé a instanční objekty na úrovni účtu. Podívejte se, jak správci přiřazují uživatele k účtu?

Ovladač ODBC Databricks 2.6.26

29. srpna 2022

Vydali jsme verzi 2.6.26 ovladače ODBC Databricks (stáhnout). Tato verze aktualizuje podporu dotazů. Nyní můžete asynchronně zrušit dotazy na připojení HTTP na žádost rozhraní API.

Tato verze také řeší následující problém:

• Při použití vlastních dotazů v Spotfire přestane konektor reagovat.

Ovladač Databricks JDBC 2.6.29

29. srpna 2022

Vydali jsme verzi 2.6.29 ovladače Databricks JDBC (stáhnout). Tato verze řeší následující problémy:

• Pokud používáte proxy server HTTP s povoleným cloudovým načtením, konektor nevrací výsledky velkých datových sady.
• Menší problémy s textem s textem licence Databricks Chybí odkazy na dokumentaci.
• Názvy souborů JAR byly nesprávné. Místo SparkJDBC41.jar by měla být DatabricksJDBC41.jar. Místo SparkJDBC42.jar by mělo být DatabricksJDBC42.jar.

Klient úložiště funkcí Databricks je teď k dispozici na PyPI.

26. srpna 2022

Klient úložiště funkcí je nyní k dispozici na PyPI. Klient vyžaduje Databricks Runtime 9.1 LTS nebo novější a dá se nainstalovat pomocí:

%pip install databricks-feature-store

Klient je už zabalený s modulem Databricks Runtime pro Machine Learning 9.1 LTS a novější.

Klienta nelze spustit mimo Databricks; Můžete ho ale nainstalovat místně, abyste pomohli s testováním částí a další podporou integrovaného vývojového prostředí (například automatické dokončování). Další informace najdete v tématu Klient Pythonu pro ukládání funkcí Databricks.

Katalog Unity je ga

25. srpna 2022

Katalog Unity je obecně dostupný. Podrobné oznámení o funkcích a omezení najdete v poznámce k verzi Ga katalogu Unity.

Rozdílové sdílení je obecně dostupné

25. srpna 2022

Rozdílové sdílení je nyní obecně dostupné, počínaje Modulem Databricks Runtime 11.1. Podrobnosti najdete v tématu Co je rozdílové sdílení?.

• Sdílení Databricks-to-Databricks Delta je plně spravované bez nutnosti výměny tokenů.
• Vytvářejte a spravujte poskytovatele, příjemce a sdílené složky pomocí jednoduchého uživatelského rozhraní.
• Vytvářejte a spravujte poskytovatele, příjemce a sdílíte s rozhraními SQL a REST API s plnou podporou rozhraní příkazového řádku a Terraformu.
• Dotazujte se na změny dat nebo sdílejte přírůstkové verze pomocí kanálu změn dat.
• Omezte přístup příjemců ke stahování souborů přihlašovacích údajů nebo dotazování dat pomocí přístupových seznamů IP adres a omezení oblastí.
• Použití rozdílového sdílení ke sdílení dat ve stejném účtu Azure Databricks je ve výchozím nastavení povolené.
• Vynucujte oddělení povinností delegováním správy rozdílového sdílení na nesprávce.

Databricks Runtime 11.2 (beta verze)

23. srpna 2022

Databricks Runtime 11.2, 11.2 Photon a 11.2 ML jsou nyní k dispozici jako beta verze.

Úplné poznámky k verzi najdete v Databricks Runtime 11.2 (EoS) a Databricks Runtime 11.2 pro Machine Learning (EoS).

Zmenšený objem zpráv v uživatelském rozhraní Delta Live Tables pro průběžné kanály

22. srpna 2022: Verze 3.79

V této verzi se přechody stavu živých tabulek v průběžném kanálu Delta Live Tables zobrazí pouze v uživatelském rozhraní, dokud tabulky nepřejdou do spuštěného stavu. Všechny přechody související s úspěšným přepočítacím tabulek se nezobrazují v uživatelském rozhraní, ale jsou k dispozici v protokolu událostí Delta Live Tables na úrovni METRIK. Všechny přechody na stavy selhání se stále zobrazují v uživatelském rozhraní. Dříve se všechny přechody stavu zobrazovaly v uživatelském rozhraní pro živé tabulky. Tato změna snižuje objem událostí kanálu zobrazených v uživatelském rozhraní a usnadňuje hledání důležitých zpráv pro vaše kanály. Další informace o dotazování protokolu událostí najdete v tématu Co je protokol událostí Delta Live Tables?

Jednodušší konfigurace clusteru pro kanály Delta Live Tables

22. srpna 2022: Verze 3.79

Teď můžete vybrat režim clusteru, a to buď automatické škálování, nebo pevnou velikost přímo v uživatelském rozhraní Delta Live Tables při vytváření kanálu. Konfigurace clusteru automatického škálování dříve vyžadovala změny nastavení JSON kanálu. Další informace o vytvoření kanálu a novém nastavení režimu clusteru najdete v tématu Spuštění aktualizace kanálu Delta Live Tables.

Orchestrace úloh dbt v pracovních postupech Databricks (Public Preview)

22. srpna 2022: Verze 3.79

Základní projekt dbt můžete spustit jako úkol v úloze Azure Databricks s novým úkolem dbt, což vám umožní zahrnout transformace dbt do pracovního postupu zpracování dat. Pracovní postup může například ingestovat data pomocí automatického zavaděče, transformovat data pomocí dbt a analyzovat data pomocí úlohy poznámkového bloku. Další informace o úloze dbt, včetně příkladu, najdete v tématu Použití transformací dbt v úloze Azure Databricks. Další informace o vytváření, spouštění a plánování pracovního postupu, který obsahuje úlohu dbt, najdete v tématu Plánování a orchestrace pracovních postupů.

Federace identit je obecná dostupnost

25. srpna 2022

Federace identit zjednodušuje správu Azure Databricks tím, že umožňuje přiřazovat uživatele na úrovni účtu, instanční objekty a skupiny k pracovním prostorům federovaným identitám. Teď můžete v konzole účtu nakonfigurovat a spravovat všechny uživatele, instanční objekty a skupiny, a neopakovat konfiguraci samostatně v každém pracovním prostoru. Další informace o federaci identit najdete v tématu Jak správci přiřazují uživatele k pracovním prostorům? Pokud chcete začít, přečtěte si, jak správci povolí federaci identit v pracovním prostoru?.

Partner Connect podporuje připojení ke stardogu

24. srpna 2022

Pomocí Partnerského připojení teď můžete snadno vytvořit připojení mezi stardogem a pracovním prostorem Azure Databricks. Stardog poskytuje platformu pro grafy znalostí pro odpovědi na složité dotazy napříč datovými sily.

Integrace úložiště funkcí Databricks s bezserverovým odvozováním v reálném čase

22. srpna 2022: Verze 3.79

Úložiště funkcí Databricks teď podporuje automatické vyhledávání funkcí pro odvozování bez serveru v reálném čase. Podrobnosti najdete v tématu Automatické vyhledávání funkcí pomocí obsluhy modelu Databricks.

Další podpora datových typů pro automatické vyhledávání funkcí Úložiště funkcí Databricks

22. srpna 2022: Verze 3.79

Úložiště funkcí Databricks teď podporuje BooleanType automatické vyhledávání funkcí. Podívejte se na automatické vyhledávání funkcí pomocí obsluhy modelu Databricks.

Používání vlastního klíče: Šifrování přihlašovacích údajů Gitu

23. srpna 2022

Pro úložiště Databricks můžete použít šifrovací klíč pro přihlašovací údaje Gitu.

Viz Používání vlastního klíče: Šifrování přihlašovacích údajů Gitu.

Náhled uživatelského rozhraní clusteru a režim přístupu nahrazuje režim zabezpečení.

19. srpna 2022

Nové uživatelské rozhraní pro vytvoření clusteru je ve verzi Preview. Viz referenční informace ke konfiguraci služby Compute.

Omezení katalogu Unity (Public Preview)

16. srpna 2022

• Scala, R a úlohy využívající modul runtime Machine Learning se podporují jenom v clusterech, které používají režim přístupu jednoho uživatele. Úlohy v těchto jazycích nepodporují použití dynamických zobrazení pro zabezpečení na úrovni řádků nebo sloupců.
• Při použití katalogu Unity jako zdroje nebo cíle klonu se nepodporují klony s mělkými klony.
• Kontejnery nejsou podporovány pro tabulky katalogu Unity. Příkazy, které se pokusí vytvořit tabulku v kontejneru v katalogu Unity, vyvolá výjimku.
• Režim přepsání operací zápisu do objektu DataFrame do katalogu Unity je podporován pouze pro tabulky Delta, ne pro jiné formáty souborů. Uživatel musí mít CREATE oprávnění pro nadřazené schéma a musí být vlastníkem existujícího objektu.
• Streamování aktuálně má následující omezení:
  • Nepodporuje se v clusterech pomocí režimu sdíleného přístupu. Pro úlohy streamování musíte použít režim přístupu jednoho uživatele.
  • Asynchronní vytváření kontrolních bodů se zatím nepodporuje.
  • Dotazy streamování trvající více než 30 dní na všech clusterech puporů nebo úloh způsobí výjimku. U dlouhotrvajících dotazů streamování nakonfigurujte automatické opakování úloh.
• Odkazování na tabulky katalogu Unity z kanálů Delta Live Tables se v současné době nepodporuje.
• Skupiny vytvořené v pracovním prostoru nelze použít v příkazech GRANT katalogu Unity. Tím zajistíte konzistentní zobrazení skupin, které můžou překlenovat mezi pracovními prostory. Pokud chcete používat skupiny v příkazech GRANT, vytvořte skupiny v konzole účtu a aktualizujte všechny automatizace pro správu principála nebo skupin (například konektory SCIM, Okta a Microsoft Entra ID a Terraform) tak, aby místo na koncové body pracovního prostoru odkazovaly na koncové body účtu.

Katalog Unity je k dispozici v následujících oblastech:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Pokud chcete katalog Unity používat v jiné oblasti, obraťte se na svůj tým účtů.

Odvození bezserverového prostředí v reálném čase ve verzi Public Preview

16. srpna 2022

Bezserverové odvozování v reálném čase zpracovává modely strojového učení pomocí MLflow a zveřejňuje je jako koncové body rozhraní REST API. Tato funkce používá bezserverové výpočetní prostředky, což znamená, že koncové body a přidružené výpočetní prostředky se spravují a spouštějí v cloudovém účtu Azure Databricks. Náklady na využití a úložiště jsou v současné době bezplatné, ale Azure Databricks vám při zahájení nabíjení poskytne oznámení.

Správci pracovních prostorů musí ve vašem pracovním prostoru povolit bezserverové odvozování v reálném čase, aby mohli tuto funkci používat.

Pokud se chcete zúčastnit bezserverového odvozování v reálném čase ve verzi Public Preview, obraťte se na svůj tým účtů Azure Databricks.

Vylepšené vyhledávání pracovních prostorů je teď obecně dostupné.

9. srpna 2022

Teď můžete vyhledávat poznámkové bloky, knihovny, složky, soubory a úložiště podle názvu. Můžete také vyhledat obsah v poznámkovém bloku a zobrazit náhled odpovídajícího obsahu. Výsledky hledání je možné filtrovat podle typu. Viz Hledání objektů pracovního prostoru.

Použití generovaných sloupců při vytváření datových sad Delta Live Tables

8. srpna 2022: Verze 3.78

Vygenerované sloupce teď můžete použít při definování tabulek v kanálech Delta Live Tables. Generované sloupce jsou podporovány rozhraními Delta Live Tables Python a SQL .

Vylepšené úpravy poznámkových bloků pomocí editoru založeného na Monaku (experimentální)

8. srpna 2022

Pro poznámkové bloky Pythonu je k dispozici nový editor kódu založený na Monaku. Pokud ji chcete povolit, zaškrtněte možnost Zapnout nový editor poznámkových bloků na kartě Nastavení editoru na stránce Uživatelská nastavení.

Nový editor obsahuje rady typu parametru, kontrolu objektů při najetí myší, posouvání kódu, podporu více kurzorů, výběr sloupce (pole) a souběžné rozdíly v historii verzí poznámkového bloku.

Konec podpory řady Databricks Runtime 10.3

2. srpna 2022

Podpora pro Databricks Runtime 10.3 a Databricks Runtime 10.3 pro Machine Learning skončila 2. srpna. Viz životní cyklus podpory Databricks.

Povolení privátního připojení pomocí služby Azure Private Link (Public Preview)

2. srpna 2022

Azure Databricks teď podporuje povolení připojení Azure Private Link pro privátní připojení mezi uživateli a jejich pracovními prostory Azure Databricks a také mezi clustery v rovině výpočetních prostředků a základními službami v řídicí rovině v infrastruktuře pracovního prostoru Databricks. Azure Private Link se připojuje ke službám přímo, aniž by byl provoz vystaven veřejné síti. Tato funkce je dostupná ve verzi Public Preview. Viz Povolení back-endu a front-endových připojení služby Azure Private Link.

Povolení bezserverových skladů SQL pro váš pracovní prostor (Public Preview)

2. srpna 2022

Bezserverové sklady SQL jsou teď dostupné pro účty a pracovní prostory v Azure Databricks jako Public Preview. Tato funkce vyžaduje cenovou úroveň Premium. Než vytvoříte bezserverové služby SQL Warehouse, musí ho správce povolit pro pracovní prostor.

Rozdílové živé tabulky teď podporují aktualizaci pouze vybraných tabulek v aktualizacích kanálu.

24. srpna 2022

Teď můžete spustit aktualizaci jenom pro vybrané tabulky v kanálu Delta Live Tables. Tato funkce urychluje testování kanálů a řešení chyb tím, že umožňuje spustit aktualizaci kanálu, která aktualizuje pouze vybrané tabulky. Informace o tom, jak spustit aktualizaci jenom vybraných tabulek, najdete v tématu Spuštění aktualizace v kanálu Delta Live Tables.

Spuštění úlohy teď čeká na dokončení instalace knihoven clusteru.

1. srpna 2022

Při spuštění clusteru teď vaše úlohy Databricks čekají na dokončení instalace knihoven clusteru před spuštěním. Dříve spuštění úloh čekalo, až se knihovny nainstalují do clusterů pro všechny účely, pouze pokud byly pro úlohu zadány jako závislá knihovna. Další informace o konfiguraci závislých knihoven pro úlohy najdete v tématu Konfigurace a úprava úloh Databricks.