Co se chystá?

Seznamte se s funkcemi a změnami chování v nadcházejících verzích Azure Databricks.

Změna chování pro možnost přírůstkového výpisu adresáře Automatického načítače

Poznámka

Možnost automatického zavaděče cloudFiles.useIncrementalListing je zastaralá. I když tato poznámka popisuje změnu výchozí hodnoty možností a jak ji používat po této změně, Databricks doporučuje nahradit použití této možnosti režimem oznámení souboru .

V nadcházející verzi Databricks Runtime bude hodnota zastaralé možnosti Auto Loader cloudFiles.useIncrementalListing ve výchozím nastavení nastavena na false. Nastavení této hodnoty na false způsobí, že automatický zavaděč provede výpis celého adresáře při každém spuštění. V současné době je výchozí hodnota možnosti cloudFiles.useIncrementalListingauto, pokyn automatickému zavaděči, aby se pokusil zjistit, jestli se s adresářem dá přírůstkový výpis použít.

Chcete-li pokračovat v používání funkce přírůstkového výpisu, nastavte možnost cloudFiles.useIncrementalListing na true. Když tuto hodnotu nastavíte na true, Auto Loader provede kompletní výpis jednou za sedm přírůstkových výpisů.

Další informace o možnostech výpisu adresáře Auto Loaderu najdete v tématu možnosti Auto Loaderu.

Správa statistik je ve výchozím nastavení povolená s prediktivní optimalizací

Od 21. ledna začne Databricks povolovat správu statistik pro všechny účty s povolenou prediktivní optimalizací. Správa statistik rozšiřuje stávající funkce prediktivní optimalizace přidáním kolekce statistik při zápisu a automatického spouštění příkazů ANALYZE pro spravované tabulky Unity Catalog. Další informace o prediktivní optimalizaci najdete v tématu prediktivní optimalizace spravovaných tabulek v katalogu Unity.

Bezserverové výpočetní prostředky pro získání podpory sady Scala SDK pro přihlašovací údaje služby

Aktualizace bezserverového výpočetního prostředí bude podporovat ověřování řízené pomocí Unity Catalog pro externí cloudové služby pomocí přihlašovacích údajů služby s Scala SDK. Podpora Scala pro ověřování hlavního účtu služby, která je již dostupná v Databricks Runtime 16.2 a novějších, přidává podporu pro ověřování s využitím přihlašovacích údajů služby pomocí Python SDK. Viz Správa přístupu k externím cloudovým službám pomocí přihlašovacích údajů služby.

Změna chování při odebrání definic datových sad z kanálu Delta Live Tables

Nadcházející verze Delta Live Tables změní chování při odebrání materializovaného zobrazení nebo streamované tabulky z potrubí. Při této změně se odebrané materializované zobrazení nebo proudová tabulka při spuštění další aktualizace kanálu automaticky neodstraní. Místo toho budete moct pomocí příkazu DROP MATERIALIZED VIEW odstranit materializované zobrazení nebo příkaz DROP TABLE k odstranění tabulky streamování. Po vyřazení objektu se spuštěním aktualizace pipeline objekt automaticky neobnoví. Nový objekt se vytvoří, pokud se do kanálového procesoru znovu přidá materializovaný pohled nebo streamovací tabulka se stejnou definicí. Objekt však můžete obnovit pomocí příkazu UNDROP.

Poznámkové bloky IPYNB se stanou výchozím formátem poznámkového bloku pro Azure Databricks.

Databricks v současné době ve výchozím nastavení vytvoří všechny nové poznámkové bloky ve zdrojovém formátu Databricks, který zachycuje pouze kód. V lednu 2025 bude nový výchozí formát poznámkového bloku IPYNB (.ipynb), který také zachycuje prostředí poznámkového bloku, definice vizualizací a widgety poznámkových bloků. Toto nové výchozí nastavení lze změnit v panelu uživatelského nastavení pracovního prostoru Nastavení. Další podrobnosti o formátech poznámkových bloků najdete v tématu Formáty poznámkového bloku.

Soubory pracovního prostoru budou zapnuty pro všechny pracovní prostory Azure Databricks 1. února 2025.

Databricks povolí soubory pracovního prostoru pro všechny pracovní prostory Azure Databricks 1. února 2025. Tato změna umožňuje uživatelům pracovního prostoru používat nové funkce souborů. Po 1. únoru 2025 nebudete moct deaktivovat soubory pracovního prostoru pomocí vlastnosti enableWorkspaceFilesystem s rozhraním REST API služby Azure Databricks pro povolení a zakázání funkcí pracovního prostoru. Další podrobnosti o souborech pracovního prostoru najdete v tématu Co jsou soubory pracovního prostoru?.

Tabulky se ve výchozím nastavení sdílí s historií v Delta Sharing.

Databricks plánuje změnit výchozí nastavení pro tabulky sdílené pomocí Delta Sharing tak, aby nově zahrnovaly historii. Dříve bylo sdílení historie ve výchozím nastavení zakázané. Sdílení historie tabulek zlepšuje výkon čtení a poskytuje automatickou podporu pokročilých optimalizací Delta.

Nižší náklady a větší kontrola nad výkonem a náklady na výpočetní prostředky bez serveru pro úlohy pracovních postupů

Kromě aktuálně podporovaných automatických optimalizací výkonu vám vylepšení bezserverových výpočetních funkcí pro optimalizaci pracovních postupů poskytnou větší kontrolu nad tím, jestli jsou úlohy optimalizované pro výkon nebo náklady. Další informace najdete v tématu Úspora nákladů na výpočetní prostředky bez serveru pro poznámkové bloky, úlohy a kanály.

Změny podpory starší verze řídicího panelu

Databricks doporučuje používat řídicí panely AI/BI (dříve řídicí panely Lakeview). Dřívější verze řídicích panelů, dříve označované jako řídicí panely SQL Databricks, se teď označují jako starší řídicí panely. Databricks nedoporučuje vytvářet nové starší řídicí panely. Řídicí panely AI/BI nabízejí ve srovnání se starší verzí vylepšené funkce, včetně vytváření s asistencí umělé inteligence, konceptů a publikovaných režimů a křížového filtrování.

Časová osa ukončení podpory starších řídicích panelů

• 7. dubna 2025: Oficiální podpora starší verze řídicích panelů skončí. Vyřeší se pouze kritické problémy se zabezpečením a výpadky služeb.
• 3. listopadu 2025: Databricks začne archivovat starší řídicí panely, ke kterým se během posledních šesti měsíců nepřistupovalo. Archivované řídicí panely už nebudou přístupné a archivní proces bude probíhat průběžně. Přístup k aktivně používaným řídicím panelům zůstane beze změny.

Databricks bude spolupracovat se zákazníky na vývoji plánů migrace pro aktivní starší řídicí panely po 3. listopadu 2025.

Pro usnadnění přechodu na řídicí panely AI/BI jsou nástroje pro upgrade k dispozici v uživatelském rozhraní i v rozhraní API. Pokyny k použití integrovaného nástroje pro migraci v uživatelském rozhraní najdete v tématu Klonování staršího řídicího panelu na řídicí panel AI/BI. Kurzy týkající se vytváření a správy řídicích panelů pomocí rozhraní REST API na webu Azure Databricks API ke správě řídicích panelů.

Změny přiřazení výpočetních úloh bez serveru

V současné době může vaše fakturovatelná systémová tabulka obsahovat záznamy fakturace pro bezserverové SKU s nulovými hodnotami pro run_as, job_id, job_run_ida notebook_id. Tyto záznamy představují náklady spojené se sdílenými prostředky, které nejsou přímo spojeny s žádnou konkrétní úlohou.

Databricks bude tyto sdílené náklady brzy přiřazovat ke konkrétním úlohám, které jim vznikly, aby zjednodušily vytváření sestav nákladů. V polích identifikátorů úloh se už nebudou zobrazovat záznamy fakturace s hodnotami null. Když zvýšíte využití bezserverového výpočetního prostředí a přidáte další úlohy, podíl těchto sdílených nákladů na faktuře se sníží, protože jsou sdíleny napříč více úlohami.

Další informace o monitorování nákladů na výpočetní prostředky bez serveru najdete v tématu Monitorování nákladů na výpočetní prostředky bez serveru.

Pole sourceIpAddress v protokolech auditu už nebude obsahovat číslo portu.

Kvůli chybě obsahují určité protokoly auditu autorizace a ověřování číslo portu kromě IP adresy v sourceIPAddress poli (například "sourceIPAddress":"10.2.91.100:0"). Číslo portu, které se protokoluje jako 0, neposkytuje žádnou skutečnou hodnotu a není konzistentní se zbývajícími protokoly auditu Databricks. Aby se zlepšila konzistence protokolů auditu, Databricks plánuje změnit formát IP adresy pro tyto události protokolu auditu. Tato změna se postupně zavede začátkem srpna 2024.

Pokud protokol auditu obsahuje hodnotu sourceIpAddress0.0.0.0, databricks ho může přestat protokolovat.

JDK8 a JDK11 nebudou podporovány.

Azure Databricks plánuje odebrat podporu sady JDK 8 s další hlavní verzí Databricks Runtime při vydání Sparku 4.0. Azure Databricks plánuje odebrat podporu sady JDK 11 s příští verzí LTS Databricks Runtime 14.x.

Automatická aktivace katalogu Unity pro nové pracovní prostory

Databricks začala automaticky povolovat katalog Unity pro nové pracovní prostory. Tím se odebere potřeba, aby správci účtu po vytvoření pracovního prostoru nakonfigurovali katalog Unity. Zavedení probíhá postupně napříč účty.

sqlite-jdbc upgrade

Databricks Runtime plánuje upgradovat verzi sqlite-jdbc z verze 3.8.11.2 na 3.42.0.0 ve všech verzích údržby Databricks Runtime. Rozhraní API verze 3.42.0.0 nejsou plně kompatibilní s verzí 3.8.11.2. Potvrďte metody a návratový typ použijte verzi 3.42.0.0.

Pokud v kódu používáte sqlite-jdbc, zkontrolujte sestavu kompatibility sqlite-jdbc.