Sdílet prostřednictvím

Srpen 2023

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v srpnu 2023.

Poznámka:

Verze jsou připraveny. Váš pracovní prostor Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

31. srpna 2023

Tables zaregistrované v Unity Catalog se teď zobrazují v navigačním vyhledávání v horním panelu. Viz Hledání objektů pracovního prostoru.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.3 (Public Preview)

30. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.3. Podrobnosti najdete v protokolu změn verze 0.203.3.

Ovladač Databricks JDBC 2.6.34

30. srpna 2023

Vydali jsme verzi 2.6.34 ovladače Databricks JDBC (stáhnout). Tato verze řeší řadu problémů s ohrožením zabezpečení upgradem knihoven třetích stran. Kromě toho tato verze řeší následující problémy:

  • Únik vláken, když se dotaz nepodaří připojit k serveru.
  • Chybějící komentáře v metadatech REMARKScolumntable.
  • Pokud operace uzavření sady výsledků vrátí chybu, konektor nevyčistí položky popisovače operací z vlákna prezenčních signálů.

Verze také zlepšuje zpracování chybových zpráv tím SQLState , že dodržuje kódy chyb ze serveru a kontroluje správnou verzi protokolu serveru.

Sada Databricks SDK for Go byla aktualizována na verzi 0.18.0 (beta verze)

29. srpna 2023

Sada Databricks SDK pro Go verze 0.18.0 zavádí 17 zásadních změn rozhraní API, přidává 30 rozhraní API a přidává asi deset polí. Podrobnosti najdete v protokolu změn verze 0.18.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.7.0 (beta verze)

29. srpna 2023

Sada Databricks SDK pro Python verze 0.7.0 zavádí zásadní změnu pro rozhraní API souborů a také 17 dalších zásadních změn. Tato verze také přidá 14 polí a přidá 27 datových tříd. Podrobnosti najdete v protokolu změn verze 0.7.0.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.24.1

29. srpna 2023

Poskytovatel Databricks Terraform verze 1.24.1 obsahuje opravu pro ověření dostupnosti pracovního prostoru. Podrobnosti najdete v protokolu změn verze 1.24.1.

Inicializační skripty na konci životnosti DBFS prodlouženy na 1. prosince 2023

29. srpna 2023

Databricks dříve oznámila, že inicializační skripty v DBFS dosáhnou konce životnosti 1. září 2023. Datum konce životnosti bylo prodlouženo na 1. prosince 2023.

Databricks Runtime 14.0 (beta verze)

29. srpna 2023

Databricks Runtime 14.0 a Databricks Runtime 14.0 ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 14.0 (EoS) a Databricks Runtime 14.0 pro Machine Learning (EoS).

Jednotné navigační prostředí je obecná dostupnost

28. srpna 2023

Jednotné navigační prostředí Azure Databricks je teď obecně dostupné. Uživatelé se už nemůžou vrátit k klasickému navigačnímu prostředí. Další informace najdete v tématu Navigace v pracovním prostoru.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.24.0

25. srpna 2023

zprostředkovatel Databricks Terraform verze 1.24.0 přidává podporu rozhraní API na úrovni účtu pro objekty Unity Catalog, přidává acl_principal_id do několika zdrojů dat a další. Podrobnosti najdete v protokolu změn verze 1.24.0.

Nastavení Databricks Runtime pro Genomics odebrané ze stránky nastavení správce pracovního prostoru

25. srpna 2023

Správci pracovního prostoru už nemůžou povolit nebo zakázat Databricks Runtime pro Genomics ze stránky nastavení pracovního prostoru nebo rozhraní API konfigurace pracovního prostoru. Modul runtime Databricks Genomics je zastaralý a podpora databricks Runtime pro Genomics byla odebrána 24. září 2022.

Modul runtime Databricks Genomics je zastaralý. Ekvivalenty open source najdete v reposích pro kanály genomics a Glow.

Další informace o zásadách vyřazení databricks Runtime a plánu najdete v tématu Podporované verze LTS modulu Databricks Runtime.

Nastavení služby Container Services odebrané ze stránky nastavení správce pracovního prostoru

25. srpna 2023

Správci pracovního prostoru už nemůžou povolit nebo zakázat službu Container Services na stránce nastavení pracovního prostoru. Služba Container Services umožňuje používat kontejnery zákazníků ve vašich clusterech. Ve výchozím nastavení je povolená ve všech nových pracovních prostorech. Služba Container Services je stále možné povolit nebo zakázat pomocí konfiguračního rozhraní API pracovního prostoru. Další informace najdete v tématu Povolení služby Container Services.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.2 (Public Preview)

24. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.2. Podrobnosti najdete v protokolu změn verze 0.203.2.

Přechod na definici funkcí a proměnných v poznámkových blocích Pythonu

24. srpna 2023

Pokud je poznámkový blok Pythonu připojený ke clusteru, v Databricks Runtime 12.2 LTS a novějších verzích můžete automaticky přejít k definici proměnné nebo funkce definované v daném poznámkovém bloku. Podrobnosti najdete v části Přejít k definici .

Databricks Runtime 13.3 LTS je obecná dostupnost

22. srpna 2023

Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS ML jsou nyní obecně dostupné.

Viz Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS pro Machine Learning.

Představení značek v Unity Catalog

22. srpna 2023

Značky teď můžete použít na zabezpečitelné objekty v Unity Catalog. Značky pomáhají uspořádat zabezpečitelné objekty a zjednodušit vyhledávání a zjišťování datových prostředků. Viz Použití značek na objekty v rámci Unity Catalog, které lze zabezpečit.

Seznam povolených pro inicializační skripty, JARs a souřadnice Mavenu na Unity Catalog sdílených clusterech je v Public Preview.

23. srpna 2023

Pomocí Catalogallowlist Unity teď můžete řídit instalaci inicializačních skriptů, JARů a Maven souřadnic na výpočetních prostředcích v režimu sdíleného přístupu se spuštěným Databricks Runtime 13.3 a novějším. Viz Knihovny allowlist a inicializační skripty pro sdílené výpočetní prostředky.

Volumes podpora inicializačních skriptů a JAR je ve verzi Public Preview

23. srpna 2023

Pomocí Unity Catalogvolumes teď můžete ukládat inicializační skripty a JARy na výpočetní prostředky používající přiřazené nebo sdílené režimy přístupu, které používají Databricks Runtime 13.3 a novější. Viz knihovny v oboru clusteru a instalace knihoven ze svazku.

Jednodušší potvrzení výstupu souboru .ipynb v Databricks Repos

21. srpna 2023

Databricks Repos přidala funkce, které usnadňují ovládání a zobrazení výstupních potvrzení souborů .ipynb:

  • Úložiště mohou vytvořit konfigurační soubor commit_output za vás.
  • Oznámení v uživatelském rozhraní vás upozorní na stav potvrzení výstupu.
  • V nabídce Soubor můžete určit, zda jsou potvrzeny výstupy poznámky.

Viz Řídicí potvrzení výstupu poznámkového bloku .ipynb.

Podpora poznámkových bloků IPYNB v Úložištích Databricks je obecná dostupnost

21. srpna 2023

Podpora souborů poznámkového bloku IPYNB v Databricks Repos je obecná dostupnost. Další informace o repos najdete v tématech:

Sada Databricks SDK for Go byla aktualizována na verzi 0.17.0 (beta verze)

18. srpna 2023

Sada Databricks SDK pro Go verze 0.17.0 přidává více než 30 rozhraní API a přejmenovává asi 10 rozhraní API. Podrobnosti najdete v protokolu změn verze 0.17.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.6.0 (beta verze)

18. srpna 2023

Sada Databricks SDK pro Python verze 0.6.0 přidává přibližně 20 datových tříd, přidává přibližně 10 rozhraní API a zahrnuje přibližně 20 přejmenování. Podrobnosti najdete v protokolu změn verze 0.6.0.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.1 (Public Preview)

16. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) bylo aktualizováno na verzi 0.203.1. Podrobnosti najdete v protokolu změn verze 0.203.1.

Sjednocený prohlížeč schema je teď obecně dostupný.

16. srpna 2023

Jednotný způsob procházení dat je teď k dispozici pro poznámkové bloky, editor SQL a průzkumníka Catalog, včetně následujících nových funkcí:

  • Zhuštěná verze stromu.
  • Zobrazení počtu objektů Unity Catalog na úrovni schema při filtrování
  • Kliknutím pravým tlačítkem myši zobrazíte akce.

Změny bezserverové podsítě vás můžou ovlivnit, pokud kódujete ID ve skriptu nebo šabloně.

15. srpna 2023

Pokud používáte bránu firewall služby Azure Storage, do konce srpna se některá ID podsítě mění. To nemá vliv na většinu zákazníků, protože Azure automaticky migruje ID podsítí v existujících pravidlech brány firewall úložiště. Tato migrace nemá vliv na stávající úlohy.

Pokud kódujete list bezserverových podsítí v šabloně nebo skriptu, který aktualizuje pravidla brány firewall služby Azure Storage, musíte před pokusem o get pravidel list nejnovější update ID podsítí. Nejnovější ID pro každou oblast najdete v oblastech Azure Databricks.

Sada Databricks SDK for Go byla aktualizována na verzi 0.16.0 (beta verze)

14. srpna 2023

Sada Databricks SDK pro Go verze 0.16.0 přidá asi deset polí, odebere asi půl tuctu polí a změní podpisy přibližně půl tuctu rozhraní API. Podrobnosti najdete v protokolu změn verze 0.16.0.

Partner Connect podporuje sčítání lidu

14. srpna 2023

K připojení pracovního prostoru Azure Databricks ke službě Census teď můžete použít Partner Connect. Další informace najdete v tématu Připojení ke sčítání lidu.

Spravované klíče HSM služby Azure Key Vault se teď podporují pro klíče spravované zákazníkem.

14. srpna 2023

Některé služby a data Azure Databricks podporují přidání klíče spravovaného zákazníkem, který pomáhá chránit a řídit přístup k šifrovaným datům. Azure Databricks má tři klíčové funkce spravované zákazníkem, které zahrnují různé typy dat a umístění. Všechny tři z těchto funkcí teď podporují klíče spravované zákazníkem ze spravovaného HSM služby Azure Key Vault (moduly hardwarového zabezpečení) společně s trezory služby Azure Key Vault. Informace o šifrování najdete v tématu Klíče spravované zákazníkem.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.5.0 (beta verze)

11. srpna 2023

Sada Databricks SDK pro Python verze 0.5.0 změní podpisy půl tuctu rozhraní API, přidá tucet polí, odebere půlcet polí a přidá několik tříd dat. Podrobnosti najdete v protokolu změn verze 0.5.0.

Programová podpora zápisu pro soubory pracovního prostoru

11. srpna 2023

Clustery využívající Databricks Runtime 11.2 a vyšší podporují zápis do souborů pracovního prostoru. V pracovním prostoru můžete programově vytvářet, updatea odstraňovat soubory a adresáře.

Rozhraní příkazového řádku Databricks se aktualizovalo na verzi 0.203.0 (Public Preview)

10. srpna 2023

Rozhraní příkazového řádku Databricks (Databricks CLI) verze 0.203.0 vylepšuje auth login příkaz a další. Podrobnosti najdete v protokolu změn verze 0.203.0.

Poskytovatel Terraformu databricks aktualizoval na verzi 1.23.0

9. srpna 2023

Poskytovatel Databricks Terraform verze 1.23.0 se rozšiřuje RunJobTask o další podporovaná pole , databricks_jobpřidává podporu vývozce pro databricks_model_servinga další. Podrobnosti najdete v protokolu změn verze 1.23.0.

Skupiny se teď dají přejmenovat.

8. srpna 2023

Teď můžete přejmenovat existující skupiny účtů a místní skupiny pracovního prostoru. Viz Změna názvu skupiny.

Sada Databricks SDK for Go byla aktualizována na verzi 0.15.0 (beta verze)

7. srpna 2023

Sada Databricks SDK pro Go verze 0.15.0 refaktoruje rozhraní API související s oprávněními, aby byla srozumitelnější a snadněji použitelná. Podrobnosti najdete v protokolu změn verze 0.15.0.

Sada Databricks SDK pro Python se aktualizovala na verzi 0.4.0 (beta verze)

7. srpna 2023

Sada Databricks SDK pro Python verze 0.4.0 refaktoruje rozhraní API související s oprávněními, aby byla srozumitelnější a snadněji použitelná. Podrobnosti najdete v protokolu změn verze 0.4.0.

Odebralo se nastavení konfigurace prevence iFramingu třetích stran.

7. srpna 2023

Azure Databricks snižuje riziko domén třetích stran z iFraming Azure Databricks přidáním odpovídajících hlaviček HTTP. Prevence iFramingu třetích stran je ve výchozím nastavení stále povolená, ale Azure Databricks odebral nastavení správce pracovního prostoru, aby ho zakázal. Pokud jste pro pracovní prostor dříve zakázali iFraming třetích stran, bude tato funkce pro tento pracovní prostor nadále zakázaná. Pokud chcete znovu povolit iFraming třetích stran, obraťte se na svůj tým účtů Azure Databricks.

Rozšíření Databricks pro Visual Studio Code se aktualizovalo na verzi 1.1.1

4. srpna 2023

Rozšíření Databricks pro Visual Studio Code verze 1.1.1 poskytuje několik dílčích oprav, například správné zpracování proměnné prostředí ve HOME Windows a další. Podrobnosti najdete v protokolu změn verze 1.1.1.

LangChain je k dispozici ve verzi 13.1 a vyšší

4. srpna 2023

LangChain je k dispozici jako experimentální varianta MLflow, která zákazníkům LangChain umožňuje využívat robustní nástroje a možnosti sledování experimentů MLflow přímo z prostředí Azure Databricks.

LangChain je softwarová architektura navržená tak, aby pomáhala vytvářet aplikace, které využívají velké jazykové modely (LLM) a kombinují je s externími daty, aby přinesly více trénovacího kontextu pro LLMs.

Databricks Runtime pro Machine Learning zahrnuje langchain databricks Runtime 13.1 ML a vyšší.

Příprava funkcí v Unity Catalog je veřejná verze Preview

3. srpna 2023

Díky Feature Engineering v Unity Catalogse Unity Catalog stane vaším úložištěm pro funkce. Jako funkci table pro trénování nebo odvozování modelu můžete použít jakýkoli Delta table s primárním klíčem. Unity Catalog poskytuje zjišťování funkcí a zásady správného řízení.

Vylepšené zpracování chyb při opakovaných selháních průběžné úlohy

3. srpna 2023

Průběžné úlohy překračující prahovou hodnotu pro po sobě jdoucí selhání teď používají exponenciální schéma zpětného odsunutí k efektivnímu opakování spuštění úloh a umožnění zotavení úloh z přechodných problémů. Dříve se průběžné úlohy překračující prahovou hodnotu selhání pozastavily a neproběhly znovu.

Bezserverové sklady SQL jsou teď dostupné v dalších oblastech.

3. srpna 2023

Bezserverové sklady SQL dostupné v dalších oblastech: Austrálie – východ, Kanada – střed, USA – západ 2, USA – středojiž a Jihovýchodní Asie. Viz oblasti Azure Databricks.

Pokud plánujete používat bránu firewall služby Azure Storage, nakonfigurujte bránu firewall tak, aby umožňovala přístup z bezserverových podsítí SQL Warehouse. Viz oblasti Azure Databricks.

Sdílení schémat pomocí rozdílového sdílení (Public Preview)

2. srpna 2023

Pomocí Delta Sharing teď můžete sdílet celý schemaa poskytnout příjemci přístup ke všem tables a views v schema v okamžiku sdílení, spolu s jakýmikoli tables a views, které se v budoucnu přidají do schema. Přidání schémat do sdílené složky pomocí příkazů SQL vyžaduje SQL Warehouse nebo cluster se spuštěným Modulem Databricks Runtime 13.2 nebo novějším. Stejný postup při použití Catalog Exploreru nemá žádné požadavky na výpočetní prostředky. Viz Přidání schémat do sdílené složky.

Podmíněné spouštění úloh v úlohách Azure Databricks

2. srpna 2023

Pomocí nové Run if podmínky můžete spustit úlohu úlohy na základě stavu závislostí úkolu a zajistit větší flexibilitu při implementaci pracovního postupu s úlohou Azure Databricks. Podmínku Run if můžete například použít ke spuštění úlohy, když některé nebo všechny závislosti úlohy selhaly. Viz Konfigurace závislostí úkolů.

Zprostředkovatel Terraformu Databricks se aktualizoval na verzi 1.22.0

1. srpna 2023

Zprostředkovatel Databricks Terraform verze 1.22.0 přidává databricks_access_control_rule_set prostředek, přidává a přidává databricks_metastore zdroje databricks_metastore dat a další. Podrobnosti najdete v protokolu změn verze 1.22.0.

Vylepšené funkce zabezpečení a dodržování předpisů

1. srpna 2023

V pracovních prostorech můžete povolit profil zabezpečení dodržování předpisů, který poskytuje další monitorování, posílenou výpočetní image a další funkce. Profil zabezpečení dodržování předpisů se vyžaduje k zpracování dat, která jsou regulovaná pcI-DSS, pomocí Azure Databricks, ale pokud tyto údaje nezpracujete, můžete ho povolit. Zodpovídáte výhradně za zajištění vlastního dodržování všech platných zákonů a předpisů.

Alternativně můžete samostatně povolit rozšířené monitorování zabezpečení, které poskytuje další monitorování a posílenou výpočetní image.

Obě funkce jsou k dispozici jako součást nového doplňku Rozšířené zabezpečení a dodržování předpisů. Pokud povolíte některou z těchto funkcí v pracovním prostoru, bude se vám účtovat nový doplněk, jak je popsáno na stránce s cenami. Obě funkce vyžadují cenovou úroveň Premium.

Monitorování Lakehouse je ve verzi Public Preview

1. srpna 2023

Databricks Lakehouse Monitoring integruje monitorování kvality dat a modelů do platformy Databricks. Poskytuje předem dostupné metriky kvality, jako jsou souhrnné statistiky, změny distribuce v průběhu času a výkon modelu, včetně nestrannosti a předsudků. Monitorování Lakehouse automaticky vygeneruje souhrnný řídicí panel, který vám pomůže vizualizovat kvalitu dat v průběhu času. Můžete také nastavit výstrahy na základě dat pomocí set.

Databricks Runtime 13.3 LTS (beta verze)

1. srpna 2023

Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS ML jsou nyní k dispozici jako beta verze.

Viz Databricks Runtime 13.3 LTS a Databricks Runtime 13.3 LTS pro Machine Learning.

Nové operace Gitu jsou obecně dostupné: Sloučení větví, opětovného vytvoření základu a přijetí změn s řešením konfliktů

1. srpna 2023

V úložištích Databricks jsou teď obecně dostupné následující operace Gitu:

  • Sloučení a změna základu: Teď můžete git sloučit nebo znovu nabít dvě větve přímo v Azure Databricks. To zjednodušuje proces kombinování větví a poskytuje možnost vyřešit konflikty, které vznikají během operace.
  • Přijetí změn s řešením konfliktů: Úložiště Databricks teď můžete použít ke správě a řešení konfliktů, ke kterým dochází při načítání ze vzdáleného úložiště Git pomocí Azure Databricks.

Díky těmto výkonným novým nástrojům pro řešení konfliktů se spolupráce na kódu pomocí úložišť Databricks stává ještě efektivnější a efektivnější.