Sdílet prostřednictvím

září 2020

  • Článek

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v září 2020.

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat až do týdne po počátečním datu vydání.

Databricks Runtime 7.3, 7.3 ML a 7.3 Genomics jsou teď ve verzi GA

24. září 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 pro Machine Learning a Databricks Runtime 7.3 pro Genomics jsou nyní obecně dostupné. Přináší mnoho funkcí a vylepšení, mezi které patří:

  • Optimalizace výkonu Delta Lake výrazně snižují režii
  • Klonování metrik
  • Vylepšení Delta Lake MERGE INTO
  • Určení počáteční pozice strukturovaného streamování Delta Lake
  • Vylepšení automatického zavaděče
  • Adaptivní zpracování dotazů
  • Kontrola délky konektoru Azure Synapse Analytics column
  • Vylepšené chování dbutils.credentials.showRoles
  • Zjednodušený převod datového rámce Pandas na Spark
  • Novinka maxResultSize v toPandas() hovoru
  • Debuggability of pandas and PySpark UDFs
  • (Pouze ML) Aktivace Conda u pracovníků
  • (Pouze Genomics) Podpora čtení souborů BGEN s nekomprimovanými nebo komprimovanými genomy zstd
  • Upgrady knihoven

Další informace najdete v tématu Databricks Runtime 7.3 LTS (EoS) a Databricks Runtime 7.3 LTS for Machine Learning (EoS).

Clustery s jedním uzlem (Public Preview)

23. září 2020: Verze 3.29

Cluster s jedním uzlem je cluster skládající se z ovladače Sparku a žádných pracovních procesů Sparku. Clustery v režimu Standard naproti tomu k spouštění úloh Sparku vyžadují alespoň jeden pracovní proces Sparku. Clustery režimu s jedním uzlem jsou užitečné v následujících situacích:

  • Spouštění úloh strojového učení s jedním uzlem, které potřebují Spark k načtení a ukládání dat
  • Zjednodušená průzkumná analýza dat (EDA)

Podrobnosti najdete v tématu Výpočetní prostředky s jedním uzlem nebo více uzly.

Omezování rychlosti rozhraní REST API pro DBFS

23. září 2020: Verze 3.29

Kvůli zajištění vysoké kvality služby při vysokém zatížení teď Azure Databricks vynucuje omezení rychlosti rozhraní API pro volání rozhraní DBFS API . Omezení jsou set pro každý pracovní prostor, aby se zajistilo spravedlivé využití a vysoká dostupnost. Automatické opakování je k dispozici pomocí Rozhraní příkazového řádku Databricks verze 0.12.0 a vyšší. Doporučujeme všem zákazníkům přejít na nejnovější verzi Rozhraní příkazového řádku Databricks.

Nové ikony pro postranní panel

23. září 2020

Aktualizovali jsme boční panel v uživatelském rozhraní pracovního prostoru Azure Databricks. Žádný velký problém, ale myslíme si, že nové ikony vypadají pěkně pěkně.

Sidebar

Zvýšení běžících úloh limit

23. září 2020: Verze 3.29

Počet souběžně spuštěných úloh limit byl zvýšen z 150 na 1 000 na pracovní prostor. Ve stavu čekání už nebude spuštěno více než 150. Místo fronty pro spuštěné požadavky nad souběžnými spuštěními se vrátí odpověď, když požádáte o spuštění, 429 Too Many Requests které nelze spustit okamžitě. Tento nárůst limit byl zaveden postupně a je nyní dostupný ve všech pracovních prostorech ve všech regionech.

Seznamy řízení přístupu (ACL) pro artefakty v MLflow

23. září 2020: Verze 3.29

Oprávnění experimentu MLflow se teď vynucují u artefaktů ve sledování MLflow a umožňují snadno řídit přístup k vašim modelům, datovým sadám a dalším souborům. Ve výchozím nastavení se při vytváření nového experimentu ukládají jeho artefakty spuštění do umístění spravovaného MLflow. Čtyři úrovně oprávnění experimentu MLflow (ŽÁDNÁ OPRÁVNĚNÍ, CAN READ, CAN EDIT a CAN MANAGE) se automaticky vztahují na spouštění artefaktů uložených v umístěních spravovaných MLflow následujícím způsobem:

  • Oprávnění CAN EDIT nebo CAN MANAGE jsou nutná k protokolování spouštění artefaktů do experimentu.
  • Oprávnění CAN READ jsou nutná k list a stahování artefaktů z experimentu.

Další informace najdete v tématu seznamy ACL experimentu MLflow.

Vylepšení použitelnosti MLflow

23. září 2020: Verze 3.29

Tato verze zahrnuje následující vylepšení použitelnosti MLflow:

  • Na stránkách experimentů a registrovaný ch modelů MLflow teď najdete tipy, které pomáhají novým uživatelům začít.
  • Verze modelu table nyní zobrazuje text popisu modelu. Nový column zobrazuje prvních 32 znaků nebo první řádek (podle toho, co je kratší) popisu.

Nový konektor Azure Databricks Power BI (Public Preview)

22. září 2020

Power BI Desktop verze 2.85.681.0 obsahuje nový konektor Power BI Azure Databricks, který umožňuje integraci mezi Azure Databricks a Power BI mnohem bezproblémovější a spolehlivější. Nový konektor má následující vylepšení:

  • Jednoduchá konfigurace připojení: Nový konektor Azure Databricks Power BI je integrovaný do Power BI a nakonfigurujete ho pomocí jednoduchého dialogového okna s několika kliknutími.
  • Ověřování založené na credentialsMicrosoft Entra ID – už není potřeba, aby správci nakonfigurovali tokeny PAT.
  • Rychlejší importování a optimalizovaná volání metadat díky novému ovladači ODBC Služby Azure Databricks, který přináší významná vylepšení výkonu.
  • Přístup k datům Azure Databricks prostřednictvím Power BI respektuje azure Databricks table řízení přístupu a oprávnění účtu úložiště Azure přidružené k vaší identitě ID Microsoft Entra.

Další informace najdete v tématu Připojení Power BI k Azure Databricks.

Použití klíčů spravovaných zákazníkem pro kořen DBFS (Public Preview)

15. září 2020

Teď můžete k šifrování účtu úložiště DBFS použít vlastní šifrovací klíč ve službě Azure Key Vault. Viz klíče spravované zákazníkem pro kořen DBFS.

Nové ovladače JDBC a ODBC zajišťující rychlejší BI s nižší latencí

15. září 2020

Vydali jsme nové verze ovladačů Databricks JDBC a ODBC (ke stažení) s následujícími vylepšeními:

  • Výkon: Snížené připojení a krátká latence dotazů, vylepšená rychlost přenosu výsledků na základě serializace Apache Arrow a vylepšeného výkonu načítání metadat.
  • Uživatelské prostředí: Ověřování pomocí přístupových tokenů Microsoft Entra ID OAuth2, vylepšené chybové zprávy a automatické opakování při připojování ke clusteru vypnutí, robustnější zpracování opakovaných pokusů o občasné chyby sítě.
  • Podpora connections pomocí proxy serveru HTTP.

Další informace o připojení k nástrojům BI pomocí JDBC a ODBC naleznete v tématu Databricks ODBC a JDBC Ovladače.

Obsluha modelů MLflow (verze Public Preview)

9. září 2020: Verze 3.28

Obsluha modelů MLflow je nyní dostupná ve verzi Public Preview. Obsluha modelů MLflow umožňuje nasadit model MLflow zaregistrovaný v Registru modelů jako koncový bod rozhraní REST API hostovaný a spravovaný službou Azure Databricks. Když povolíte poskytování modelu pro registrovaný model, Azure Databricks vytvoří cluster a nasadí všechny nechivované verze tohoto modelu.

Všechny verze modelu můžete dotazovat požadavky rozhraní REST API pomocí standardního ověřování Azure Databricks. Přístupová práva modelu se dědí z registru modelů – každý, kdo má práva ke čtení registrovaného modelu, se může dotazovat na kteroukoli z nasazených verzí modelu. I když je tato služba ve verzi Preview, doporučujeme ji použít pro nízké propustnosti a nekritické aplikace.

Další informace najdete v tématu Starší verze obsluhy modelů MLflow v Azure Databricks.

Vylepšení uživatelského rozhraní clusterů

9. září 2020: Verze 3.28

Stránka Clusters teď obsahuje samostatné karty pro clustery pro všechny účely a clustery úloh. list na každé kartě je teď stránkováno. Kromě toho jsme opravili zpoždění, ke kterému někdy došlo mezi vytvořením clusteru a zobrazením v uživatelském rozhraní.

Ovládání viditelnosti pro úlohy, clustery, poznámkové bloky a další objekty pracovních prostorů

9. září 2020: Verze 3.28

Ve výchozím nastavení může každý uživatel zobrazit všechny úlohy, clustery, poznámkové bloky a složky v pracovním prostoru zobrazeném v uživatelském rozhraní Azure Databricks a může je list pomocí rozhraní Databricks API, i když je pro tyto objekty povolené řízení přístupu a uživatel nemá k těmto objektům žádná oprávnění.

Teď může jakýkoli správce Azure Databricks povolit ovládací prvky viditelnosti pro poznámkové bloky a složky (objekty pracovního prostoru), clustery a úlohy, aby uživatelé mohli zobrazit jenom ty objekty, ke kterým jim byl udělen přístup prostřednictvím pracovního prostoru, clusteru nebo řízení přístupu k úlohám.

Viz Seznamy řízení přístupu už nejde zakázat.

Možnost vytvářet tokeny už není ve výchozím nastavení povolená

9. září 2020: Verze 3.28

U pracovních prostorů vytvořených po vydání platformy Azure Databricks verze 3.28 už uživatelé nebudou mít možnost generate tokeny patu ve výchozím nastavení. Správci musí explicitně grant tato oprávnění, ať už celé skupině users, nebo jednotlivým uživatelům či skupinám. Pracovní prostory vytvořené před vydáním verze 3.28 budou udržovat oprávnění, která už byla zavedená.

Viz Monitor a revoke osobní přístupové tokeny.

Registr modelů MLflow podporuje sdílení modelů napříč pracovními prostory

9. září 2020

Azure Databricks teď podporuje přístup k registru modelů z více pracovních prostorů. Teď můžete registrovat modely, sledovat běhy modelů a načítat modely napříč pracovními prostory. Více týmů teď může sdílet přístup k modelům a organizace můžou používat více pracovních prostorů ke zpracování různých fází vývoje. Podrobnosti najdete v tématu Sdílení modelů napříč pracovními prostory.

Tato funkce vyžaduje klienta Pythonu MLflow verze 1.11.0 nebo vyšší.

Databricks Runtime 7.3 (Beta)

3. září 2020

Databricks Runtime 7.3, Databricks Runtime 7.3 pro Machine Learning a Databricks Runtime 7.3 pro Genomics jsou nyní k dispozici jako beta verze.

Informace najdete v tématu Databricks Runtime 7.3 LTS (EoS) a Databricks Runtime 7.3 LTS for Machine Learning (EoS).

Změna názvu typu úlohy Azure Databricks

1. září 2020

Změnily se názvy typů úloh používaných vašimi clustery:

  • Datoví technici -> Výpočty úloh
  • Datoví technici světlo -> Úlohy Light Compute
  • Analýza dat –> Výpočetní prostředky pro celý účel

Tyto nové názvy se zobrazí na fakturách a na portálu EA v kombinaci s vaším cenovým plánem (například Premium – Úlohy Compute – DBU). Podrobnosti najdete v měřičích Azure Databricks.

Uživatelské rozhraní se také změnilo v platformě verze 3.27 (cílem je fázované vydání mezi 25. zářím 3):

Na stránceclusterů se změnily nadpisy :

  • Interaktivní clustery –> Clustery pro všechny účely
  • Automatizované clustery –> Clustery úloh

Při konfiguraci clusteru pro úlohu se změnily možnosti typu clusteru:

  • Nový automatizovaný cluster –> nový cluster úloh
  • Existující interaktivní cluster –> existující cluster pro všechny účely