Listopad 2023
Tyto funkce a vylepšení platformy Azure Databricks byly vydány v listopadu 2023.
Poznámka:
Verze jsou připraveny. Váš pracovní prostor Azure Databricks se nemusí aktualizovat až do týdne nebo více po počátečním datu vydání.
Rozhraní AI Vector Search ve verzi Public Preview
30. listopadu 2023
Mosaic AI Vector Search je bezserverový vyhledávač podobnosti, který umožňuje ukládat vektorové znázornění vašich dat, včetně metadat, ve vektorové databázi. V rámci této funkce můžete vytvořit automatické aktualizace indexů vektorového vyhledávání z dat v Unity Catalog a dotazovat se na ně pomocí jednoduchého rozhraní API, které v rámci pracovních postupů RAG vrátí nejvíce podobných vektorů. Podívejte se na hledání vektorů AI v systému Mosaic.
Seznamy ovládacích prvků přístupu už nejde zakázat.
29. listopadu 2023
Ve všech pracovních prostorech plánu Premium jsou povolená následující nastavení a už není možné je zakázat na stránce nastavení pracovního prostoru ani v rozhraní API pro konfiguraci pracovního prostoru:
- Řízení přístupu k pracovnímu prostoru: Umožňuje uživatelům konfigurovat oprávnění k objektům pracovního prostoru.
- Řízení přístupu ke clusterům, fondům a úlohám: Umožňuje uživatelům konfigurovat oprávnění ke clusterům, fondům a úlohám.
- Řízení viditelnosti clusteru: Brání tomu, aby se clustery zobrazovaly uživatelům, kteří nemají žádná oprávnění.
- Řízení viditelnosti úloh: Zabrání tomu, aby se úlohy zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.
- Nastavení řízení viditelnosti pracovního prostoru: Zabrání tomu, aby se poznámkové bloky a složky zobrazovaly uživatelům, kteří k nim nemají žádná oprávnění.
Nastavení řízení přístupu jsou ve výchozím nastavení povolená pro nové pracovní prostory od března 2018 a nastavení řízení viditelnosti jsou standardně povolená od prosince 2020.
Další informace najdete v tématu Seznamy řízení přístupu.
Nové chování a akce v Průzkumníku Catalog pro volumes
22. listopadu 2023
Nyní můžete vytvořit nový svazek v cílovém schema, pokud v uživatelském rozhraní pro nahrávání na svazek žádný neexistuje. Viz Nahrát soubory do svazku Unity Catalog.
Akce, jako je Odstranit soubor a Stáhnout soubor, byly přidány do Catalog Explorer pro soubory v volumes.
Databricks Runtime 14.2 je obecná dostupnost
22. listopadu 2023
Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní obecně dostupné.
Viz Databricks Runtime 14.2 (EoS) a Databricks Runtime 14.2 pro Machine Learning (EoS)
Konektor SQL Databricks pro Python verze 3.0.0
17. listopadu 2023
Nyní můžete spustit pip install databricks-sql-connector==3.0.0
.
Tato verze:
- Odebere podporu pythonu 3.7.
- Přidává podporu nativních parametrizovaných dotazů SQL. Vyžaduje DBR 14.2 a vyšší. Další informace najdete v tématu Použití nativních Parameters v úložišti Databricks-sql-python Na GitHubu.
- Zahrnuje náš zcela přepsaný dialekt SQLAlchemy:
- Přidává podporu pro SQLAlchemy >= 2.0 a zahodí podporu sqlAlchemy 1.x.
- Úplné kompletní pokrytí testů všech podporovaných funkcí
- Podrobné poznámky k využití, které jsou k dispozici tady
- Přidává podporu pro:
- Nové typy:
TIME
,TIMESTAMP
,TIMESTAMP_NTZ
,TINYINT
-
Numeric
měřítko a přesnost typů, napříkladNumeric(10,2)
- Čtení a psaní a psaní
PrimaryKeyConstraint
ForeignKeyConstraint
- Čtení a psaní složených klíčů
- Čtení a psaní z views
- Zápis
Identity
do tables (automatické inkrementace primárních klíčů) -
LIMIT
aOFFSET
pro stránkování výsledků - Ukládání do mezipaměti volání metadat
- Nové typy:
- Ve výchozím nastavení povolí cloudový načítání. Chcete-li zakázat, použijte set
use_cloud_fetch=False
při sestavovánídatabricks.sql.client
. - Přidání integračních testů pro dotazy azure Databricks Unity Catalogvolumes příjmu dat
- Opětovné pokusy:
- Přidání
_retry_max_redirects
konfigurace -
Set
_enable_v3_retries=True
a upozornit, pokud to uživatelé přepíší.
- Přidání
- Zabezpečení: Zvýšení minimální verze pyarrow na verzi 14.0.1 (CVE-2023-47248)
Knihovny v souborech pracovního prostoru podporované ve sdílených clusterech bez izolace
15. listopadu 2023
Teď můžete nainstalovat knihovny uložené jako soubory pracovního prostoru pro výpočty nakonfigurované bez izolace režimu sdíleného přístupu v Databricks Runtime 14.1 a vyšší.
Vyřazení knihoven pracovních prostorů
15. listopadu 2023
Knihovny pracovních prostorů jsou teď zastaralé a vytváření nových knihoven pracovních prostorů je zakázané. Stávající knihovny pracovních prostorů nadále fungují. Upozorňujeme, že ukládání knihoven jako souborů pracovního prostoru se liší od knihoven pracovních prostorů a je stále plně podporované. Knihovny uložené jako soubory pracovního prostoru můžete nainstalovat přímo do výpočetních úloh nebo úloh. Viz knihovny.
Podpora typů důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná.
15. listopadu 2023
Podpora Azure Databricks pro typy důvěrných výpočetních virtuálních počítačů Azure je teď obecně dostupná. Důvěrné výpočetní prostředí Azure pomáhá chránit užitá data, což brání poskytovateli cloudu v having přístupu k citlivým datům. Prohlédni si důvěrné výpočetní virtuální počítače Azure.
Hledání výpisů z Webu Databricks Marketplace pomocí globálního vyhledávání pracovních prostorů
13. listopadu 2023
Datové sady, modely AI a akcelerátory řešení Databricks teď najdete na Webu Databricks Marketplace pomocí globálního panelu hledání v uživatelském rozhraní pracovního prostoru Azure Databricks. Podívejte se , co je Databricks Marketplace? a vyhledejte objekty pracovního prostoru.
Využívání datových produktů na Marketplace Databricks pomocí externích platforem
10. listopadu 2023
Uživatelé bez Catalogpracovního prostoru Azure Databricks s podporou Unity teď mají přístup k datovým produktům na Webu Databricks Marketplace. K přístupu k datům z Marketplace můžete použít otevřené konektory sdílení Delta na různých běžných platformách, včetně Microsoft Power BI, Microsoft Excel, knihovny pandas, Apache Spark a pracovních prostorů Databricks, které nejsou na Unity Catalog. Na externích platformách jsou dostupné jenom tabulkové datové sady (například ne poznámkové bloky nebo modely Databricks). Podívejte se na datové produkty Accessu na Webu Databricks Marketplace s využitím externích platforem.
Podpora bezserverových skladů SQL přidaných pro několik oblastí Azure
9. listopadu 2023
Následující oblasti Azure teď podporují bezserverové sklady SQL:
- Brazílie – jih (brazíliesouth)
- Indie – střed (centralindia)
- Japonsko – východ (japaneast)
- USA – středosever (northcentralus)
- Velká Británie – jih (Uksouth)
Podívejte se na oblasti Azure Databricks a povolte bezserverové služby SQL Warehouse.
Automatické povolení Unity Catalog pro nové pracovní prostory
9. listopadu 2023
Databricks začal automaticky aktivovat Unity Catalog pro nové pracovní prostory. Tím se po vytvoření pracovního prostoru odebere potřeba, aby správci účtu nakonfigurovali Catalog Unity. Zavedení bude probíhat postupně napříč účty. Viz také Unity Automatické povolení Catalog.
Databricks Runtime 14.2 (beta verze)
8. listopadu 2023
Databricks Runtime 14.2 a Databricks Runtime 14.2 ML jsou nyní k dispozici jako beta verze.
Viz Databricks Runtime 14.2 (EoS) a Databricks Runtime 14.2 pro Machine Learning (EoS)
Databricks Marketplace zahrnuje akcelerátory řešení Databricks.
7. listopadu 2023
Databricks Marketplace teď poskytuje přístup k akcelerátorům řešení Databricks, účelově sestaveným průvodcům, které poskytují plně funkční poznámkové bloky, pokyny k osvědčeným postupům a ukázková data, abyste get rychle set s mnoha oblíbenými případy použití v Azure Databricks. Viz přístup k akcelerátorům řešení Databricks Get.
Lakehouse Federation přidává podporu pro Google BigQuery
3. listopadu 2023
Teď můžete nakonfigurovat Federaci Lakehouse tak, aby spouštěla federované dotazy s typem konektoru BigQuery
. Nový konektor BigQuery je podporovaný pro a bezserverové služby SQL Warehouse a Databricks Runtime 13.3 LTS a vyšší. Viz Spuštění federovaných dotazů v Google BigQuery.