Sdílet prostřednictvím

Srpen 2024

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v srpnu 2024.

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.

Monitorování využití objektů Unity Catalog s využitím kvót pomocí nových rozhraní API kvót prostředků

30. srpna 2024

Nová rozhraní API pro kvóty prostředků vám umožňují sledovat využití objektů Unity Catalog s možností zabezpečení ve vztahu ke kvótám prostředků. Brzy také budete moct dostávat e-mailová oznámení, když se blížíte limitům kvót. Podívejte se na Monitorujte využití kvót prostředků v prostředí Unity Catalog a na referenční dokumentaci API pro kvóty prostředků .

MPT 7B – Pokyny a MPT 30B – Pokyny k vyřazení modelu

30. srpna 2024

Modely MPT 7B Instruct a MPT 30B Instruct jsou teď vyřazené. Doporučené náhradní modely najdete v části Vyřazené modely .

AskSupport nahrazený asistentem Azure Databricks

29. srpna 2024

AskSupport, kanál podpory založený na Databricks Slack, byl nahrazen nástrojem Databricks Assistant, který je dostupný v pracovním prostoru Databricks. Pomocí nástroje Databricks Assistant můžete hledat technickou dokumentaci, vytvářet tickety a get kontextuální podporu.

Pokud chcete používat pomocníka AI, musí být v konzole účtu povolený pomocník AI.

Importovatelný řídicí panel správy nákladů přidaný do konzoly účtu (Public Preview)

28. srpna 2024

Správci účtů teď můžou importovat přizpůsobitelný řídicí panel správy nákladů z konzoly účtu do libovolného pracovního prostoru Unity Catalog ve svém účtu. Existují dvě verze řídicího panelu: jedna, která monitoruje využití na úrovni účtu, a druhou pro použití s jedním pracovním prostorem.

Systém Lakeflow tables se rozšiřuje o další columns

23. srpna 2024

tables v system.lakeflowschema se rozšiřuje o další columns. Provedli jsme následující změny:

  • jobs je rozšířena o descriptioncolumn.
  • job_run_timeline je rozšířena o run_type, run_name, compute_ids, termination_code a job_parameterscolumns.
  • job_task_run_timeline je rozšířena o job_run_id, parent_run_id a termination_codecolumns.

Změna schema není zásadní a nepřeruší vaše stávající pracovní postupy. Nové columns nebudou znovu vyplněny pro již generované řádky. Další informace naleznete v odkazu Systém úloh table.

Zvýraznění chyb formátování kódu Pythonu

23. srpna 2024

Kód Pythonu v poznámkových blocích a editorech souborů může zvýraznit chyby formátování a upozornění, jako je neočekávané odsazení, dlouhá délka řádku a další. Viz zvýraznění formátování Pythonu.

Rozdílové sdílení: Další funkce Delta Lake teď podporované konektory Pythonu a Power BI

21. srpna 2024

Konektor Delta Sharing Python 1.1.0+ a Power BI v2.132.908.0+ teď podporují:

  • názvový režim mapování Column
  • Vektory odstranění
  • Jednotný formát

Tyto funkce Delta Lake už byly podporovány v Databricks Runtime 14.1 nebo novější a opensourcový konektor Delta Sharing Apache Spark 3.1 nebo novější.

Viz matice podpory funkcí Delta Lake.

Rozdílové sdílení přidává podporu pro TimestampNTZ

21. srpna 2024

Rozdílové sdílení přidává podporu pro TimestampNTZ ve službě Databricks Runtime 14.1 a vyšší a opensourcový konektor Apache Spark Pro sdílení Apache Sparku 3.3 a novější.

Viz matice podpory funkcí Delta Lake.

Úloha Úloh For each Azure Databricks je obecná dostupnost.

21. srpna 2024

Úkol For each je teď obecně dostupný. Úlohu For each můžete použít ke spuštění jiné úlohy ve smyčce, přičemž každé iteraci úlohy předáte různé set z parameters. Úkol For each může iterovat nad libovolným ze standardních úkolů úlohy, jako je poznámkový blok, JAR, skript Pythonu nebo úloha SQL. Viz Spuštění parametrizované úlohy Azure Databricks ve smyčce.

Oprávnění Azure RBAC pro správce pracovního prostoru

20. srpna 2024

Dříve se k grant uživateli role správce pracovního prostoru Azure Databricks z Azure vyžadovala předdefinovaná role přispěvatele nebo vlastníka Azure RBAC (řízení přístupu na základě role na základě role). Teď můžete vytvořit vlastní roli Azure RBAC, která má oprávnění Microsoft.Databricks/workspaces/assignWorkspaceAdmin/action k grant uživateli roli správce pracovního prostoru Azure Databricks. Tito uživatelé můžou spravovat svou službu Azure Databricks a nakonfigurovat protokolování diagnostiky. Další informace najdete v tématu Požadovaná oprávnění správce Azure.

Databricks Runtime 15.4 LTS je obecná dostupnost

19. srpna 2024

Databricks Runtime 15.4 LTS a Databricks Runtime 15.4 LTS ML jsou nyní obecně dostupné.

Viz Databricks Runtime 15.4 LTS a Databricks Runtime 15.4 LTS pro Machine Learning.

Automatické dokončování přizpůsobených poznámkových bloků

19. srpna 2024

Automatické dokončování poznámkového bloku teď určuje prioritu návrhů na základě jednotlivých metadat a použití Catalog Unity a poskytuje vlastní hodnocení návrhů pro každého uživatele. Viz Přizpůsobení automatického dokončování

18. srpna 2024

Uživatelé teď můžou vytvářet symlinky ve webovém terminálu a buňkách poznámkového bloku. Pokud najedete myší na symlink, zobrazí se popis s jeho podkladovou cestou a možností kopírování cesty. Všechny cíle musí být v adresáři /Workspace.

Konfigurace výchozího režimu přístupu pracovního prostoru pro výpočetní úlohy

16. srpna 2024

Správci pracovního prostoru teď můžou nakonfigurovat výchozí režim přístupu pro úlohy výpočetních prostředků ve svém pracovním prostoru. Tento výchozí režim přístupu se použije u výpočetních prostředků bez definovaného režimu přístupu. Další informace najdete v tématu Výchozí režim přístupu pro výpočetní úlohy.

Nové příkazy lomítka pro Databricks Assistant

14. srpna 2024

Nástroj Databricks Assistant přidal následující příkazy lomítka jako klávesové zkratky pro běžné úlohy:

  • /findTables: Vyhledá relevantní tables na základě metadat Catalog Unity.
  • /findQueries: Vyhledá relevantní dotazy na základě metadat Catalog Unity.
  • /prettify: Formátuje kód pro čitelnost.
  • /rename: Navrhne aktualizované názvy buněk poznámkového bloku a dalších prvků v závislosti na kontextu.
  • /settings: Upraví nastavení poznámkového bloku přímo z Pomocníka.

Další informace naleznete v tématu Použití příkazů lomítko pro výzvy.

Vyhledávání pracovních prostorů teď podporuje volumes

14. srpna 2024

Volumes jsou teď zahrnuté ve výsledcích hledání. Viz Hledání objektů pracovního prostoru.

Modely Meta Llama 3.1 405B podporované v jemném ladění základního modelu

14. srpna 2024

Modely Meta Llama 3.1 405B jsou nyní podporovány v vyladění základního modelu. Viz Podporované modely.

Ovladač Databricks JDBC 2.6.40

13. srpna 2024

Ovladač Databricks JDBC verze 2.6.40 je nyní k dispozici ze stažení ovladače JDBC. Tato verze odebere redundantní WARNING zprávy protokolu, aby se zvýšila použitelnost a zabezpečení protokolování.

Tato verze zahrnuje následující vylepšení a nové funkce:

  • Podpora koncového bodu zjišťování OIDC Ovladač teď může set koncový bod zjišťování OIDC, který načte token a načte koncový bod autorizace.
  • Aktualizace podpory šipky Ovladač teď používá Apache Arrow verze 14.0.2. Starší verze ovladače používaly Apache Arrow verze 9.0.0.
  • ProxyIgnoreList podpora. Ovladač nyní podporuje vlastnost ProxyIgnoreList, když je UseProxyset1.
  • Refresh podpora tokenů. Ovladač teď podporuje volitelný token refresh. Uloží přístupový token a znovu ho použije pro nové connections, pokud je platný. Pokud ovladač nemůže obnovit přístupový token pomocí tokenu refresh, znovu se přihlásí.
  • Aktualizace podpory ověřování Ovladač teď podporuje ověřování pomocí prohlížeče (U2M) a klienta credentials (M2M) v Google Cloudu.
  • Přidání sjednocených výchozích možností OAuth
  • Teď můžete nakonfigurovat port přesměrování OAuth. Aby bylo možné to provést, set vlastnost OAuth2RedirectUrlPort k vašemu portu.

Úplné informace o konfiguraci najdete v průvodci ovladačem Databricks JDBC nainstalovaným s balíčkem pro stažení ovladače.

Tokeny pat pro Databricks se odvolaly, pokud se po 90 dnech nepoužívané

13. srpna 2024

Databricks teď automaticky odvolá všechny tokeny pat(PAT), které se nepoužívaly během 90 nebo více dnů. Další podrobnosti najdete v Monitor a revoke osobní přístupové tokeny.

Rozhraní API clusterů teď podporuje částečné aktualizace konfigurace.

13. srpna 2024

Nové volání rozhraní API umožňuje částečně update konfiguraci clusteru, přičemž vyžaduje zadání pouze těch atributů, které chcete update. Viz Update konfigurace clusteru (částečné) v referenčních informacích k rozhraní REST API.

Zalomení řádků v buňkách poznámkového bloku

12. srpna 2024

Teď můžete povolit nebo zakázat obtékání řádků v buňkách poznámkového bloku, což umožňuje zalamování textu na více řádků nebo zůstat na jednom řádku s vodorovným posouváním. Viz Obtékání čáry.

12. srpna 2024

Teď můžete zadat podmnožinu columns v table, která se má použít v indexu vektorového vyhledávání. Primární klíč column a column pro vložení se vždy synchronizují. Viz Postup vytvoření a dotazování indexu vektorového vyhledávání.

Soubory už nemůžou mít stejné názvy ve složkách pracovních prostorů.

9. srpna 2024

Databricks vám teď brání ve vytváření nebo přejmenování prostředků ve složkách pracovního prostoru, když název prostředku přesně odpovídá názvu jiného souboru, který bude odpovídat příponě souboru daného prostředku. Soubor pojmenovaný test.py už například nemůžete vytvořit, pokud už existuje poznámkový blok se základním názvem test s příponou .py ve stejné složce pracovního prostoru.

Další podrobnosti najdete v tématu Pojmenování prostředků ve složkách pracovního prostoru.

Teď je k dispozici vynucení zásad výpočetních prostředků.

8. srpna 2024

Vynucování dodržování zásad umožňuje správcům pracovního prostoru update výpočetních prostředků svého pracovního prostoru, aby dodržovali nejnovější verzi zásad. Tuto funkci můžete použít v uživatelském rozhraní nebo prostřednictvím rozhraní API zásad clusteru.

Viz Vynucení dodržování zásad nebo rozhraní API zásad clusteru.

Rozhraní API základního modelu s průběžnou platbou za token je teď obecně dostupná.

7. srpna 2024

Rozhraní API základního modelu s platbami za token je nyní obecně dostupná. Viz rozhraní API základního modelu s platbami za tokeny.

Zabezpečená a soukromá spolupráce na datových projektech pomocí čistých místností Databricks (Public Preview)

6. srpna 2024

Databricks Clean Rooms využívá rozdílové sdílení a bezserverové výpočetní prostředky k zajištění zabezpečeného prostředí a ochrany osobních údajů, where více stran může sdílet citlivá podniková data a spolupracovat bez přímého přístupu k datům ostatních.

Díky nástroji Clean Rooms můžou uživatelé z jiných účtů Databricks spolupracovat na generate jedinečné přehledy o sdílených projektech, jako jsou reklamní kampaně, rozhodnutí o investici nebo výzkum a vývoj, aniž by museli přesouvat nebo vystavovat citlivá data. Spouštění složitých úloh v dočasném prostředí pomocí libovolného jazyka podporovaného poznámkovými bloky Databricks, včetně Pythonu, který poskytuje nativní podporu pro úlohy strojového učení.

Pokud ho chcete vyzkoušet, obraťte se na zástupce Azure Databricks.

Podívejte se, co je Azure Databricks Clean Rooms?

Rozhraní HIPAA je teď kompatibilní se standardem HIPAA.

6. srpna 2024

Rozhraní HIPAA ve všech oblastech teď splňuje předpisy HIPAA.

Formát columns v poznámkovém bloku a výsledky dotazu tables

6. srpna 2024

Přizpůsobte si výsledky tables tak, aby byly čitelnější, pomocí možností columnformátování, jako jsou Měna, Procento, kontrola desetinných míst, URLa další. Viz Formát columns.

Filtry řádků a masky column jsou nyní obecně dostupné s vylepšeními.

6. srpna 2024

Možnost použít filtry řádků a masky column pro tables je teď obecně dostupná v Databricks Runtime 12.2 a novějších. Filtry řádků a maskylumů brání přístupu k citlivým datům určenými uživateli. Tyto filtry a masky se implementují jako uživatelem definované funkce SQL (UDF). Obecná dostupnost přináší podporu pro následující funkce, které nebyly ve verzi Public Preview k dispozici:

  • Konstantní výrazy v politice parameters (řetězce, číselné hodnoty, intervaly, booleanové hodnoty, prázdné hodnoty).

  • Materializované views a streamované tables (Veřejná ukázka)

  • Příkazy MERGE

  • Table vzorkování.

Samostatné vydání podpory pro jemně zrnitou kontrolu přístupu na výpočetní pro jednoho uživatele také rozšiřuje výpočetní možnosti pro práci na tables s použitými filtry řádků a column maskami.

Vizte Filtrování citlivých table dat pomocí řádkových filtrů a column masek.

Obecně dostupná je federace Lakehouse (GA)

1. srpna 2024

V Databricks Runtime 15.2 a novějších a databricks SQL verze 2024.30 a novějších jsou konektory Lakehouse Federation pro následující typy databází obecně dostupné (GA):

  • MySQL
  • PostgreSQL
  • Amazon Redshift
  • Snowflake
  • Microsoft SQL Server
  • Azure Synapse (SQL Data Warehouse)
  • Databricks

Tato verze také přináší následující vylepšení:

  • Podpora ověřování jednotného přihlašování (SSO) v konektorech Snowflake a Microsoft SQL Server

  • Podpora konektoru SQL Serveru azure Private Link z bezserverových výpočetních prostředí Viz krok 3: Vytvoření pravidel privátního koncového bodu.

  • Podpora dalších odsdílení (řetězcové, matematické a různé funkce)

  • Vylepšili jsme míru úspěšnosti posunu mezi různými obrazci dotazů.

  • Další možnosti ladění nabízených změn:

    • Výstup EXPLAIN FORMATTED zobrazí text dotazu pushed-down.
    • V uživatelském rozhraní profilu dotazu se zobrazí text dotazu pushed-down, identifikátory federovaného uzlu a doby provádění dotazů JDBC (v podrobném režimu). Viz Zobrazení federovaných dotazů generovaných systémem.