Sdílet prostřednictvím

Poznámka k vydání verze Ga katalogu Unity

  • Článek

Důležité

Tato dokumentace byla vyřazena a nemusí být aktualizována. Produkty, služby nebo technologie uvedené v tomto obsahu se už nepodporují. Viz téma Co je katalog Unity?.

25. srpna 2022

Katalog Unity je teď obecně dostupný v Azure Databricks.

Tento článek popisuje katalog Unity od data vydání verze GA. Zaměřuje se především na funkce a aktualizace přidané do katalogu Unity od verze Public Preview. Aktuální informace o katalogu Unity najdete v tématu Co je Katalog Unity?. Poznámky k verzi, které popisují aktualizace katalogu Unity od ga, najdete v poznámkách k verzi platformy Azure Databricks a ve verzích a kompatibilitě k verzi modulu Databricks Runtime.

Omezení metastoru a kvóty prostředků

Od 25. srpna 2022

  • Váš účet Azure Databricks může mít pro každou oblast pouze jeden metastor.
  • Metastor může mít až 1 000 katalogů.
  • Katalog může mít až 10 000 schémat.
  • Schéma může mít až 10 000 tabulek.

Aktuální kvóty katalogu Unity najdete v tématu Kvóty prostředků.

Podporované formáty úložiště v ga

Od 25. srpna 2022:

  • Všechny spravované tabulky katalogu Unity ukládají data pomocí Delta Lake.
  • Externí tabulky katalogu Unity a externí umístění podporují Delta Lake, JSON, CSV, Avro, Parquet, ORC a textová data.

Aktuální podporované formáty tabulek v Katalogu Unity najdete v tématu Podpora formátu souborů.

Správa prostředků katalogu Unity z konzoly účtu

Pomocí uživatelského rozhraní konzoly účtu Azure Databricks můžete:

  • Správa životního cyklu metastoru (vytvoření, aktualizace, odstranění a zobrazení metastorů spravovaných katalogem Unity)
  • Přiřazení a odebrání metastorů pro pracovní prostory

Podporované typy clusterů a verze Databricks Runtime

Unity Catalog vyžaduje clustery, na kterých běží Databricks Runtime 11.1 nebo novější. Katalog Unity se ve výchozím nastavení podporuje ve všech výpočetních verzích SQL Warehouse .

Starší verze Databricks Runtime podporovaly verze Preview katalogu Unity. Clustery spuštěné v dřívějších verzích databricks Runtime neposkytují podporu pro všechny funkce a funkce ga katalogu Unity.

Katalog Unity vyžaduje při vytváření nového clusteru jeden z následujících režimů přístupu:

  • Společný
    • Jazyky: SQL nebo Python
    • Zabezpečený cluster, který může sdílet více uživatelů. Uživatelé clusteru jsou plně izolovaní, aby si navzájem neviděli data a přihlašovací údaje.
  • Jeden uživatel
    • Jazyky: SQL, Scala, Python, R
    • Zabezpečený cluster, který může používat výhradně zadaný jeden uživatel.

Další informace o režimech přístupu ke clusteru najdete v tématu Režimy přístupu.

Informace o aktualizovaných funkcích katalogu Unity v novějších verzích Databricks Runtime najdete v poznámkách k verzi pro tyto verze.

Systémové tabulky

information_schema je plně podporován pro datové prostředky katalogu Unity. Každý metastor obsahuje katalog označovaný jako system ten, který zahrnuje metastor s vymezeným information_schemaoborem . Viz Schéma informací. K zodpovězení otázek můžete použít information_schema následující:

Počet tabulek na katalog

SELECT table_catalog, count(table_name)
FROM system.information_schema.tables
GROUP BY 1
ORDER by 2 DESC

"Ukaž mi všechny tabulky, které byly změněny za posledních 24 hodin"

SELECT table_name, table_owner, created_by, last_altered, last_altered_by, table_catalog
FROM system.information_schema.tables
WHERE  datediff(now(), last_altered) < 1

Podpora strukturovaného streamování

Úlohy strukturovaného streamování se teď podporují v katalogu Unity. Podrobnosti a omezení najdete v tématu Omezení.

Viz také Použití katalogu Unity se strukturovaným streamováním.

Funkce SQL

Uživatelem definované funkce SQL jsou nyní plně podporovány v katalogu Unity. Informace o tom, jak vytvářet a používat funkce definované uživatelem SQL, najdete v tématu CREATE FUNCTION (SQL a Python).

Syntaxe SQL pro externí umístění v katalogu Unity

Standardní definice dat a příkazy jazyka definice dat jsou nyní podporovány ve Spark SQL pro externí umístění, včetně následujících:

CREATE | DROP | ALTER | DESCRIBE | SHOW EXTERNAL LOCATION

Můžete také spravovat a zobrazovat oprávnění pomocí GRANTREVOKESHOW a pro externí umístění pomocí SQL. Viz Externí umístění.

Příklad syntaxe:

CREATE EXTERNAL LOCATION <your-location-name>
  URL `<your-location-path>'
  WITH (CREDENTIAL <your-credential-name>);

GRANT READ FILES, WRITE FILES, CREATE EXTERNAL TABLE ON EXTERNAL LOCATION `<your-location-name>`
  TO `finance`;

Omezení katalogu Unity ve verzi GA

Od 25. srpna 2022 měl katalog Unity následující omezení. Aktuální omezení najdete v tématu Omezení.

  • Scala, R a úlohy využívající modul runtime Machine Learning se podporují jenom v clusterech, které používají režim přístupu jednoho uživatele. Úlohy v těchto jazycích nepodporují použití dynamických zobrazení pro zabezpečení na úrovni řádků nebo sloupců.
  • Při použití katalogu Unity jako zdroje nebo cíle klonu se nepodporují klony s mělkými klony.
  • Kontejnery nejsou podporovány pro tabulky katalogu Unity. Pokud spustíte příkazy, které se pokusí vytvořit tabulku v katalogu Unity, vyvolá výjimku.
  • Zápis do stejné cesty nebo tabulky Delta Lake z pracovních prostorů ve více oblastech může vést k nespolehlivému výkonu, pokud některé clustery přistupují ke katalogu Unity a jiné ne.
  • Režim přepsání operací zápisu do objektu DataFrame do katalogu Unity je podporován pouze pro tabulky Delta, ne pro jiné formáty souborů. Uživatel musí mít CREATE oprávnění pro nadřazené schéma a musí být vlastníkem existujícího objektu.
  • Streamování aktuálně má následující omezení:
    • Nepodporuje se v clusterech pomocí režimu sdíleného přístupu. Pro úlohy streamování musíte použít režim přístupu jednoho uživatele.
    • Asynchronní vytváření kontrolních bodů se zatím nepodporuje.
    • V Databricks Runtime verze 11.2 a novějších dotazech na streamování, které trvají déle než 30 dní v clusterech pro všechny účely nebo úlohy, vyvolá výjimku. U dlouhotrvajících streamovacích dotazů nakonfigurujte automatické opakování úloh nebo použijte Databricks Runtime 11.3 a vyšší.
  • Odkazování na tabulky katalogu Unity z kanálů Delta Live Tables se v současné době nepodporuje.
  • Skupiny vytvořené v pracovním prostoru nelze použít v příkazech GRANT v rámci katalogu Unity. Tím zajistíte konzistentní zobrazení skupin, které můžou překlenovat mezi pracovními prostory. Pokud chcete používat skupiny v instrukcích GRANT, vytvořte své skupiny v konzole účtu a aktualizujte veškeré automatizované procesy pro správu objektů zabezpečení nebo skupin (například konektory SCIM, Okta a Microsoft Entra ID a Terraform) tak, aby odkazovaly na koncové body účtu namísto koncových bodů pracovního prostoru.

Oblasti dostupnosti katalogu Unity ve verzi GA

Od 25. srpna 2022 byl katalog Unity k dispozici v následujících oblastech. Seznam aktuálně podporovaných oblastí najdete v tématu Oblasti Azure Databricks.

  • canadacentral
  • centralus
  • francecentral
  • germanywestcentral
  • japaneast
  • norwayeast
  • southafricanorth
  • swedencentral
  • switzerlandnorth
  • switzerlandwest
  • uaenorth
  • westcentralus
  • westus3
  • australiaeast
  • brazilsouth
  • centralindia
  • eastus
  • eastus2
  • koreacentral
  • northcentralus
  • northeurope
  • southeastasia
  • ukwest
  • westeurope
  • westus