Omezení režimu výpočetního přístupu pro katalog Unity

Poznámka:

Režimy přístupu byly přejmenovány. Režim sdíleného přístupu je nyní Standard. Režim přístupu pro jednoho uživatele je nyní Vyhrazený a lze jej přiřadit jednotlivému uživateli nebo skupině. Přístup ke skupině je ve verzi Public Preview.

Databricks doporučuje pro většinu úloh používat standardní režim přístupu (dříve režim sdíleného přístupu). Tento článek popisuje omezení a požadavky pro každý režim přístupu pomocí katalogu Unity. Podrobnosti o režimech přístupu najdete v tématu Režimy přístupu.

Databricks doporučuje používat zásady výpočetních prostředků ke zjednodušení možností konfigurace pro většinu uživatelů. Viz Vytvoření a správa zásad výpočetních prostředků.

Poznámka:

Sdílený přístup bez izolace a bezpečnostní předávání přihlašovacích údajů jsou starší režimy přístupu, které nepodporují Unity Catalog.

Důležité

Inicializační skripty a knihovny mají různé podpory napříč režimy přístupu a verzemi Databricks Runtime. Viz Kde lze inicializační skripty nainstalovat? a knihovny s výpočetním zaměřením.

omezení režimu vyhrazeného přístupu v katalogu Unity

Režim vyhrazeného přístupu v katalogu Unity má následující omezení. Toto jsou kromě obecných omezení pro všechny režimy přístupu ke katalogu Unity. Viz Obecná omezení pro katalog Unity.

Jemně odstupňovaná omezení řízení přístupu pro režim vyhrazeného přístupu v katalogu Unity

V Databricks Runtime 15.3 a níže není podporované podrobné řízení přístupu u výpočetních prostředků jednoho uživatele. Konkrétně:

• Nelze získat přístup k tabulce, která má filtr řádků nebo masku sloupce.
• Nelze získat přístup k dynamickým zobrazením.
• Abyste mohli číst z libovolného zobrazení, musíte mít SELECT ve všech tabulkách a zobrazeních, na která toto zobrazení odkazuje.

Pokud chcete dotazovat dynamická zobrazení, zobrazení, na kterých nemáte SELECT v podkladových tabulkách a zobrazeních, a tabulky s filtry řádků nebo maskami sloupců použijte jednu z následujících možností:

• Sklad SQL.
• Proveďte výpočet se standardním režimem přístupu.
• Počítejte s vyhrazeným přístupovým režimem v Databricks Runtime 15.4 LTS nebo vyšším.

Databricks Runtime 15.4 LTS a vyšší podporují podrobné řízení přístupu na výpočetních prostředcích jednoho uživatele. Pokud chcete využít filtrování dat poskytované v Databricks Runtime 15.4 LTS a novější, ověřte, že je váš pracovní prostor povolený pro bezserverové výpočetní prostředky.

Bezserverové výpočetní prostředí zpracovává filtrování dat, které umožňuje přístup k zobrazení bez nutnosti oprávnění k podkladovým tabulkám a zobrazením. Vzhledem k tomu, že výpočetní prostředky bez serveru zpracovávají filtrování dat, můžou se vám účtovat poplatky za výpočetní prostředky bez serveru, když k dotazování na zobrazení použijete výpočetní prostředky jednoho uživatele. Další informace najdete v tématu jemně odstupňované řízení přístupu u vyhrazených výpočetních prostředků (dříve výpočetních prostředků jednoho uživatele).

Omezení pro streamované tabulky a materializovaná zobrazení při vyhrazeném přístupovém režimu Unity Catalogu

V Databricks Runtime 15.3 a níže nemůžete použít výpočetní prostředky jednoho uživatele k dotazování tabulek vytvořených pomocí kanálu DLT, včetně streamovaných tabulek a materializovaných zobrazení, pokud jsou tyto tabulky vlastněné jinými uživateli. Uživatel, který vytvoří tabulku, je vlastníkem.

Pokud chcete dotazovat streamované tabulky a materializovaná zobrazení vytvořená knihovnou DLT a vlastněná jinými uživateli, použijte jednu z následujících možností:

• Sklad SQL.
• Výpočty se standardním režimem přístupu v Databricks Runtime 13.3 LTS nebo novějším.
• Provádějte výpočty s vyhrazeným přístupovým režimem na Databricks Runtime 15.4 LTS či vyšší.

Pro výpočetní prostředky bez serveru musí být povolený i váš pracovní prostor. Další informace najdete v tématu jemně odstupňované řízení přístupu u vyhrazených výpočetních prostředků (dříve výpočetních prostředků jednoho uživatele).

Omezení streamování pro vyhrazený přístup režimu v Unity Catalog

• Asynchronní vytváření kontrolních bodů není podporováno v Databricks Runtime 11.3 LTS a níže.
• StreamingQueryListener vyžaduje, aby Databricks Runtime 15.1 nebo novější používal přihlašovací údaje nebo pracoval s objekty spravovanými katalogem Unity na výpočetních prostředcích jednoho uživatele.

omezení standardního režimu přístupu v katalogu Unity

Standardní režim přístupu v katalogu Unity má následující omezení. Toto jsou kromě obecných omezení pro všechny režimy přístupu ke katalogu Unity. Viz Obecná omezení pro katalog Unity.

• Databricks Runtime ML a Knihovna strojového učení Sparku (MLlib) se nepodporují.
• Odesílání úkolů Spark-submit není podporováno. Místo toho použijte úlohu JAR.
• DbUtils a další klienti, kteří přímo čtou data z cloudového úložiště, se podporují jenom v případech, kdy pro přístup k umístění úložiště používáte externí umístění. Viz Vytvoření externího umístění pro připojení cloudového úložiště k Azure Databricks.
• V Databricks Runtime 13.3 a vyšší nesmí jednotlivé řádky překročit 128 MB.
• Kořen a připojení DBFS nepodporují FUSE.

• Vlastní kontejnery nejsou podporovány.

podpora jazyka pro standardní režim přístupu katalogu Unity

• R není podporován.
• Scala se podporuje v Databricks Runtime 13.3 a novějších.
  • Ve službě Databricks Runtime 15.4 LTS a vyšší jsou všechny knihovny Java nebo Scala (soubory JAR) obsažené s Modulem Databricks Runtime dostupné na výpočetních prostředcích v režimech přístupu ke katalogu Unity.
  • Pro Databricks Runtime 15.3 nebo novější na výpočetních prostředcích, které používají standardní režim přístupu, nastavte konfigurační spark.databricks.scala.kernel.fullClasspath.enabled Sparku na true.

omezení a požadavky rozhraní Spark API pro standardní režim přístupu katalogu Unity

• Rozhraní API RDD nejsou podporovány.
• Kontext Sparku (sc),spark.sparkContexta sqlContext nejsou podporovány pro Scala v jakékoli verzi Databricks Runtime a nejsou podporovány pro Python v Databricks Runtime 14.0 a novější.
  • Databricks doporučuje používat spark proměnnou k interakci SparkSession s instancí.
  • sc Následující funkce se také nepodporují: emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf.
• Následující operace rozhraní API datové sady Scala vyžadují Databricks Runtime 15.4 LTS nebo vyšší: map, , mapPartitionsforeachPartition, flatMapreduce a filter.
• Vlastnost konfigurace Sparkuspark.executor.extraJavaOptions není podporována.

omezení a požadavky UDF pro standardní režim přístupu katalogu Unity

Uživatelem definované funkce (UDF) mají u standardního režimu přístupu následující omezení:

• Uživatelské funkce Hive nejsou podporovány.
• applyInPandas a mapInPandas vyžadují Databricks Runtime 14.3 nebo vyšší.
• UDFs v PySpark nemají přístup ke složkám Git, souborům pracovního prostoru nebo svazkům pro importování modulů v Databricks Runtime ve verzi 14.2 a nižších.
• Skalární UDFs jazyka Scala vyžadují Databricks Runtime 14.2 nebo vyšší. Jiné uživatelem definované funkce Scala a uživatelem definované agregační funkce (UDAF) nejsou podporovány.
• Ve službě Databricks Runtime 14.2 a starších verzích není použití vlastní verze grpc, pyarrow nebo protobuf v PySpark UDF prostřednictvím knihoven s omezením na poznámkový blok nebo cluster podporováno, protože je vždy upřednostňována nainstalovaná verze. Informace o verzi nainstalovaných knihoven najdete v části Systémové prostředí konkrétních poznámek k verzi Databricks Runtime.

• Python skalární UDFs a Pandas UDFs vyžadují Databricks Runtime 13.3 LTS nebo vyšší.

• Jiné než skalární UDF Python a Pandas, včetně UDAF, UDTF a Pandas na Sparku, vyžadují Databricks Runtime 14.3 LTS nebo vyšší.

Viz uživatelsky definované funkce (UDF) v katalogu Unity.

Omezení a požadavky na streamování pro standardní režim přístupu katalogu Unity Catalog

Poznámka:

Některé z uvedených možností Kafka mají omezenou podporu při použití pro podporované konfigurace v Azure Databricks. Všechna uvedená omezení Kafka jsou platná pro dávkové zpracování i zpracování datových proudů. Viz Zpracování datových proudů s využitím Apache Kafka a Azure Databricks.

• Formáty statestore a state-metadata nelze použít k dotazování informací o stavu pro stavové dotazy streamování.
• transformWithState, transformWithStateInPandasa přidružená rozhraní API nejsou podporována.
• Pro Scala foreach vyžaduje Databricks Runtime 16.1 nebo novější. foreachBatcha flatMapGroupsWithState vyžadují Databricks Runtime 16.2 nebo vyšší.
• V Pythonu foreachBatch se ve službě Databricks Runtime 14.0 a novějších mění následující chování:
  • print() příkazy zapisují výstup do protokolů ovladačů.
  • K dílčímu dbutils.widgets modulu uvnitř funkce nelze získat přístup.
  • Všechny soubory, moduly nebo objekty odkazované ve funkci musí být serializovatelné a dostupné ve Sparku.
• Pro Scala vyžaduje from_avro Databricks Runtime 14.2 nebo vyšší.
• applyInPandasWithState vyžaduje Databricks Runtime 14.3 LTS nebo vyšší.
• Práce se zdroji soketů není podporována.
• sourceArchiveDir musí být ve stejném externím umístění jako zdroj, pokud používáte option("cleanSource", "archive") se zdrojem dat spravovaným katalogem Unity.
• U zdrojů a jímek Kafka se nepodporují následující možnosti:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• Následující možnosti Kafka jsou podporovány v Databricks Runtime 13.3 LTS a vyšší, ale nepodporuje se v Databricks Runtime 12.2 LTS. Pro tyto možnosti můžete zadat pouze externí umístění spravovaná katalogem Unity:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location
• Pro Scala StreamingQueryListener vyžaduje Databricks Runtime 16.1 a novější.
• Pro Python StreamingQueryListener vyžaduje Databricks Runtime 14.3 LTS nebo vyšší, aby používal přihlašovací údaje nebo pracoval s objekty spravovanými katalogem Unity na výpočetních prostředcích se standardním režimem přístupu.

Omezení přístupu k síti a systému souborů a požadavky na standardní režim přístupu katalogu Unity

• Na výpočetních uzlech musíte spouštět příkazy jako uživatel s nízkými oprávněními, kterému je zakázán přístup k citlivým částem systému souborů.
• V Databricks Runtime 11.3 LTS a níže můžete vytvořit pouze síťová připojení k portům 80 a 443.

• Nemůžete se připojit ke službě metadat instance ani k Azure WireServeru.

Obecná omezení pro katalog Unity

Následující omezení platí pro všechny režimy přístupu s podporou katalogu Unity.

Omezení streamování pro Katalog Unity

• Režim průběžného zpracování Apache Sparku se nepodporuje. Viz průběžné zpracování v průvodci programováním strukturovaného streamování Sparku.

Viz také omezení streamování pro režim vyhrazeného přístupu Katalogu Unity a omezení streamování a požadavky na standardní režim přístupu katalogu Unity.

Další informace o streamování pomocí katalogu Unity najdete v tématu Použití katalogu Unity se strukturovaným streamováním.