leden 2019

Tyto funkce a vylepšení platformy Azure Databricks byly vydány v lednu 2019.

Poznámka:

Verze jsou připraveny. Váš účet Azure Databricks se nemusí aktualizovat až do týdne po počátečním datu vydání.

Nadcházející změna: Python 3 se stane výchozím nastavením při vytváření clusterů.

29. ledna 2019

Při vydání platformy Databricks verze 2.91 v polovině února se výchozí verze Pythonu pro nové clustery přepne z Pythonu 2 na Python 3. Stávající clustery samozřejmě nezmění své verze Pythonu. Pokud jste ale ve zvyku při vytváření nových clusterů používat výchozí nastavení Pythonu 2, budete muset začít věnovat pozornost výběru verze Pythonu.

Vydání Databricks Runtime 5.2 pro strojové učení (Beta)

24. ledna 2019

Databricks Runtime 5.2 ML je postaven na Databricks Runtime 5.2 (EoS). Obsahuje mnoho oblíbených knihoven strojového učení, včetně TensorFlow, PyTorch, Keras a XGBoost a poskytuje distribuované trénování TensorFlow pomocí Horovodu. Kromě aktualizací knihovny od databricks Runtime ML 5.1 obsahuje Databricks Runtime 5.2 ML následující nové funkce:

• GraphFrames teď podporuje rozhraní Pregel API (Python) s optimalizací výkonu Databricks.
• HorovodRunner přidává:
  • V clusteru GPU se procesy trénování mapují na GPU místo pracovních uzlů, aby se zjednodušila podpora typů instancí s více GPU. Tato integrovaná podpora umožňuje distribuovat do všech GPU na počítači s více GPU bez vlastního kódu.
  • HorovodRunner.run() nyní vrátí vrácenou hodnotu z prvního trénovacího procesu.

Prohlédni si kompletní poznámky k verzi databricks Runtime 5.2 ML. d.

Vydání Databricks Runtime 5.2

24. ledna 2019

Databricks Runtime 5.2 je teď k dispozici. Databricks Runtime 5.2 zahrnuje Apache Spark 2.4.0, nové funkce a upgrady Delta Lake a strukturované streamování a upgradované knihovny Python, R, Java a Scala. Podrobnosti najdete v tématu Databricks Runtime 5.2 (EoS).

Zobrazení JSON konfigurace clusteru

15. ledna 2019

Stránka konfigurace clusteru teď podporuje zobrazení JSON:

Zobrazení JSON je jen pro čtení. Můžete ale zkopírovat JSON a použít ho k vytvoření a aktualizaci clusterů pomocí rozhraní API clusterů.

Uživatelské rozhraní clusteru

15. ledna 2019: Verze 2.89

Stránka pro vytvoření clusteru byla vyčištěna a znovu uspořádaná, aby se usnadnilo použití, včetně nového přepínače Upřesnit možnosti.

Nasazení služby Azure Databricks ve vlastní virtuální síti Azure (injektáž virtuální sítě)

10. ledna 2019

Důležité

Tato funkce je ve verzi Public Preview.

Výchozí nasazení Azure Databricks je plně spravovaná služba v Azure: všechny prostředky výpočetní roviny, včetně virtuální sítě , ke které budou přidružené všechny clustery, se nasazují do uzamčené skupiny prostředků. Pokud ale potřebujete přizpůsobení sítě, můžete teď nasadit Azure Databricks ve vlastní virtuální síti (někdy označované jako injektáž virtuální sítě), abyste mohli:

• Připojení Azure Databricks k jiným službám Azure (například Azure Storage) bezpečnějším způsobem pomocí koncových bodů služby
• Připojte se k místním zdrojům dat pro použití s Azure Databricks a využijte uživatelsky definované trasy.
• Připojte Azure Databricks k síťovému virtuálnímu zařízení a zkontrolujte veškerý odchozí provoz a proveďte akce podle pravidel povolení a zamítnutí.
• Nakonfigurujte Azure Databricks tak, aby používala vlastní DNS.
• Nakonfigurujte pravidla skupiny zabezpečení sítě (NSG) pro určení omezení odchozího provozu.
• Nasaďte clustery Azure Databricks ve stávající virtuální síti.

Nasazení Azure Databricks do vlastní virtuální sítě také umožňuje využít flexibilní rozsahy CIDR (kdekoli mezi /16-/24 pro virtuální síť a mezi /18-/26 pro podsítě).

Konfigurace pomocí uživatelského rozhraní webu Azure Portal je rychlá a snadná: Při vytváření pracovního prostoru stačí vybrat Nasadit pracovní prostor Azure Databricks ve virtuální síti, vybrat virtuální síť a zadat rozsahy CIDR pro dvě podsítě. Azure Databricks aktualizuje virtuální síť o dvě nové podsítě a skupiny zabezpečení sítě pomocí rozsahů CIDR poskytovaných vámi, umožňuje přístup k příchozímu a odchozímu provozu podsítě a nasadí pracovní prostor do aktualizované virtuální sítě.

Pokud raději nakonfigurujete virtuální síť pro injektáž virtuální sítě sami – například chcete použít existující podsítě, použít existující skupiny zabezpečení sítě nebo vytvořit vlastní pravidla zabezpečení – místo uživatelského rozhraní portálu můžete použít šablony ARM dodané s Azure-Databricks.

Poznámka:

Tato funkce byla dříve dostupná pouze registrací. Zůstává ve verzi Preview , ale nyní je plně samoobslužná.

Podrobnosti najdete v tématu Nasazení Azure Databricks ve virtuální síti Azure (injektáž virtuální sítě) a připojení pracovního prostoru Azure Databricks k místní síti.

Uživatelské rozhraní knihovny

2. ledna 2019: Verze 2.88

Vylepšení uživatelského rozhraní knihovny, která byla původně vydána v listopadu 2018 a byla brzy znovu vydána. Tyto aktualizace usnadňují nahrávání, instalaci a správu knihoven pro clustery Azure Databricks.

Uživatelské rozhraní Azure Databricks teď podporuje knihovny pracovních prostorů i knihovny nainstalované v clusteru. V pracovním prostoru existuje knihovna pracovních prostorů a lze ji nainstalovat do jednoho nebo více clusterů. Knihovna nainstalovaná na clusteru je knihovna, která existuje pouze v kontextu clusteru, na který je nainstalovaná. Kromě toho:

• Teď můžete vytvořit knihovnu ze souboru nahraného do úložiště objektů.
• Knihovny teď můžete nainstalovat a odinstalovat ze stránky s podrobnostmi knihovny a na kartě Knihovny clusteru.
• Knihovny nainstalované pomocí rozhraní API se teď zobrazují na kartě Knihovny clusteru.

Podrobnosti najdete v tématu Knihovny.

Události clusteru

2. ledna 2019: Verze 2.88

Byly přidány nové události clusteru, které odrážejí stav ovladače Sparku. Podrobnosti najdete v tématu Rozhraní API clusterů.

Správa verzí poznámkových bloků pomocí Azure DevOps Services

2. ledna 2019: Verze 2.88

Azure Databricks teď umožňuje snadno používat Azure DevOps Services (dříve VSTS) ke správě verzí poznámkových bloků. Ověřování je automatické, nastavení je jednoduché a revize poznámkového bloku spravujete stejně jako v rámci integrace GitHubu.

Podrobnosti najdete v tématu Správa verzí Gitu pro poznámkové bloky (starší verze).