Co se chystá?

Seznamte se s funkcemi a změnami chování v nadcházejících verzích Azure Databricks.

Správa statistik je ve výchozím nastavení povolená s prediktivní optimalizací

Od 21. ledna začne Databricks povolovat správu statistik pro všechny účty s povolenou prediktivní optimalizací. Správa statistik rozšiřuje stávající funkce prediktivní optimalizace přidáním sběru statistik při zápisu dat a automatického spouštění příkazů ANALYZE pro Unity Catalog spravovaných tables. Další informace o prediktivní optimalizaci najdete v tématu prediktivní optimalizace pro Unity Catalog spravované tables.

Změna chování při odebrání definic datových sad z toku zpracování dat Delta Live Tables

Připravovaná verze Delta Live Tables změní chování v případě, že se z potrubí odebere materializované zobrazení nebo streamovaný table. Při této změně nebude odebrané materializované zobrazení nebo stream table automaticky odstraněno při spuštění dalšího kanálu update. Místo toho budete moci odstranit materializované zobrazení pomocí příkazu DROP MATERIALIZED VIEW nebo odstranit streamovaný DROP TABLEpomocí příkazu table. Po upuštění objektu kanál update jeho automatickou obnovu nezajistí. Nový objekt se vytvoří, pokud se do zpracování znovu přidá materializované zobrazení nebo streamování table se stejnou definicí. Objekt však můžete obnovit pomocí příkazu UNDROP.

Update k Databricks Marketplace a uživatelskému rozhraní partnerského připojení

Boční panel zjednodušujeme sloučením Partner Connect a Marketplace do jednoho odkazu Marketplace. Nový odkaz Marketplace bude na bočním panelu vyšší.

Poznámkové bloky IPYNB se stanou výchozím formátem poznámkového bloku pro Azure Databricks.

Databricks v současné době ve výchozím nastavení vytvoří všechny nové poznámkové bloky ve zdrojovém formátu Databricks, který zachycuje pouze kód. V lednu 2025 bude nový výchozí formát poznámkového bloku IPYNB (.ipynb), který také zachycuje prostředí poznámkového bloku, definice vizualizací a widgety poznámkových bloků. Toto nové výchozí nastavení lze změnit v panelu uživatelského nastavení pracovního prostoru Nastavení. Další podrobnosti o formátech poznámkových bloků najdete v tématu Formáty poznámkového bloku.

Soubory pracovního prostoru budou zapnuty pro všechny pracovní prostory Azure Databricks 1. února 2025.

Databricks povolí soubory pracovního prostoru pro všechny pracovní prostory Azure Databricks 1. února 2025. Tato změna umožňuje uživatelům pracovního prostoru používat nové funkce souborů. Po 1. únoru 2025 nebudete moct deaktivovat soubory pracovního prostoru pomocí vlastnosti enableWorkspaceFilesystem s rozhraním REST API služby Azure Databricks pro povolení a zakázání funkcí pracovního prostoru. Další podrobnosti o souborech pracovního prostoru najdete v tématu Co jsou soubory pracovního prostoru?.

Tables je ve výchozím nastavení sdílen s historií v Delta sdílení

Databricks plánuje změnit výchozí nastavení pro tables sdílené prostřednictvím Delta Sharing tak, aby ve výchozím nastavení zahrnovaly historii. Dříve bylo sdílení historie ve výchozím nastavení zakázané. Sdílení table historie zlepšuje výkon čtení a poskytuje automatickou podporu pokročilých optimalizací Delta.

Prediktivní optimalizace povolená ve výchozím nastavení pro všechny nové účty Azure Databricks

11. listopadu databricks povolí prediktivní optimalizaci jako výchozí pro všechny nové účty Azure Databricks. Dříve byla ve výchozím nastavení zakázaná a správce účtu ji mohl povolit. Když je povolená prediktivní optimalizace, Azure Databricks automaticky spouští operace údržby pro Unity Catalog spravované tables. Další informace o prediktivní optimalizaci najdete v tématu prediktivní optimalizace pro Unity Catalog spravované tables.

Nižší náklady a větší kontrola nad výkonem a náklady na výpočetní prostředky bez serveru pro úlohy pracovních postupů

Kromě aktuálně podporovaných automatických optimalizací výkonu vám vylepšení bezserverových výpočetních funkcí pro optimalizaci pracovních postupů poskytnou větší kontrolu nad tím, jestli jsou úlohy optimalizované pro výkon nebo náklady. Další informace najdete v tématu Úspora nákladů na výpočetní prostředky bez serveru pro poznámkové bloky, úlohy a kanály.

Změny podpory starší verze řídicího panelu

Databricks doporučuje používat řídicí panely AI/BI (dříve řídicí panely Lakeview). Dřívější verze řídicích panelů, dříve označované jako řídicí panely SQL Databricks, se teď označují jako starší řídicí panely. Databricks nedoporučuje vytvářet nové starší řídicí panely. Řídicí panely AI/BI nabízejí ve srovnání se starší verzí vylepšené funkce, včetně vytváření s asistencí umělé inteligence, konceptů a publikovaných režimů a křížového filtrování.

Časová osa ukončení podpory starších řídicích panelů

• 7. dubna 2025: Oficiální podpora starší verze řídicích panelů skončí. Vyřeší se pouze kritické problémy se zabezpečením a výpadky služeb.
• 3. listopadu 2025: Databricks začne archivovat starší řídicí panely, ke kterým se během posledních šesti měsíců nepřistupovalo. Archivované řídicí panely už nebudou přístupné a archivní proces bude probíhat průběžně. Přístup k aktivně používaným řídicím panelům zůstane beze změny.

Databricks bude spolupracovat se zákazníky na vývoji plánů migrace pro aktivní starší řídicí panely po 3. listopadu 2025.

Pro usnadnění přechodu na řídicí panely AI/BI jsou nástroje pro upgrade k dispozici v uživatelském rozhraní i v rozhraní API. Pokyny k použití integrovaného nástroje pro migraci v uživatelském rozhraní najdete v tématu Klonování staršího řídicího panelu na řídicí panel AI/BI. Kurzy týkající se vytváření a správy řídicích panelů pomocí rozhraní REST API na webu Azure Databricks API ke správě řídicích panelů.

Změny přiřazení výpočetních úloh bez serveru

V současné době může váš systém využití účtovaného table obsahovat fakturační záznamy bezserverových SKU s hodnotou null values pro run_as, job_id, job_run_ida notebook_id. Tyto záznamy představují náklady spojené se sdílenými prostředky, které nejsou přímo spojeny s žádnou konkrétní úlohou.

Databricks bude tyto sdílené náklady brzy přiřazovat ke konkrétním úlohám, které jim vznikly, aby zjednodušily vytváření sestav nákladů. V polích values úloh se už nebudou zobrazovat fakturační záznamy s hodnotou null identifier. Když zvýšíte využití bezserverového výpočetního prostředí a přidáte další úlohy, podíl těchto sdílených nákladů na faktuře se sníží, protože jsou sdíleny napříč více úlohami.

Další informace o monitorování nákladů na výpočetní prostředky bez serveru najdete v tématu Monitorování nákladů na výpočetní prostředky bez serveru.

Pole sourceIpAddress v protokolech auditu už nebude obsahovat číslo portu.

Kvůli chybě obsahují určité protokoly auditu autorizace a ověřování číslo portu kromě IP adresy v sourceIPAddress poli (například "sourceIPAddress":"10.2.91.100:0"). Číslo portu, které se protokoluje jako 0, neposkytuje žádnou skutečnou hodnotu a není konzistentní se zbývajícími protokoly auditu Databricks. Aby se zlepšila konzistence protokolů auditu, Databricks plánuje změnit formát IP adresy pro tyto události protokolu auditu. Tato změna se postupně zavede začátkem srpna 2024.

Pokud protokol auditu obsahuje hodnotu sourceIpAddress0.0.0.0, databricks ho může přestat protokolovat.

Starší integrace Gitu je EOL 31. ledna

Po 31. lednu 2024 Databricks removeintegrace starších poznámkových bloků s Git. Tato funkce je starší než dva roky a oznámení o vyřazení se zobrazuje v uživatelském rozhraní produktu od listopadu 2023.

Podrobnosti o migraci do složek Gitu Databricks (dříve Repos) ze starší integrace Gitu najdete v tématu Přechod na úložiště Databricks z integrace Starší verze Gitu. Pokud se toto odebrání týká vás a potřebujete rozšíření, obraťte se na tým účtu Databricks.

JDK8 a JDK11 nebudou podporovány.

Azure Databricks plánuje remove podporu sady JDK 8 s další hlavní verzí Databricks Runtime, když spark 4.0 vydá. Azure Databricks plánuje podporu remove JDK 11 s příští verzí LTS Databricks Runtime 14.x.

Automatické povolení Unity Catalog pro nové pracovní prostory

Databricks začala automaticky povolovat Unity Catalog pro nové pracovní prostory. Tím odpadá potřeba, aby správci účtu nakonfigurovali Unity Catalog po vytvoření pracovního prostoru. Zavedení probíhá postupně napříč účty.

sqlite-jdbc upgrade

Databricks Runtime plánuje upgradovat verzi sqlite-jdbc z verze 3.8.11.2 na 3.42.0.0 ve všech verzích údržby Databricks Runtime. Rozhraní API verze 3.42.0.0 nejsou plně kompatibilní s verzí 3.8.11.2. Potvrďte metody a návratový typ použijte verzi 3.42.0.0.

Pokud v kódu používáte sqlite-jdbc, zkontrolujte sestavu kompatibility sqlite-jdbc.