Omezení bezserverových výpočetních prostředků

Článek
01/21/2025

Tento článek vysvětluje aktuální omezení výpočetních prostředků bez serveru pro poznámkové bloky a úlohy. Začíná přehledem nejdůležitějších aspektů a poté poskytuje komplexní referenční seznam omezení list.

Přehled omezení

Před vytvořením nových úloh nebo migrací úloh na bezserverové výpočetní prostředky nejprve zvažte následující omezení:

Python a SQL jsou jedinými podporovanými jazyky.
Podporují se jenom rozhraní API pro připojení Sparku. Rozhraní API Spark RDD se nepodporují.
Knihovny JAR nejsou podporovány. Alternativní řešení najdete v tématu Osvědčené postupy pro výpočetní prostředky bez serveru.
Bezserverové výpočetní prostředky mají neomezený přístup pro všechny uživatele pracovního prostoru.
Značky poznámkových bloků se nepodporují.
Pro streamování je možné použít pouze přírůstkovou dávkovou logiku. Výchozí ani časové intervaly aktivačních událostí nejsou podporovány. Viz omezení streamování.

Omezení referenční list

Následující části list aktuální omezení bezserverového výpočetního prostředí.

Výpočetní prostředí bez serveru je založené na architektuře sdílených výpočetních prostředků. Nejdůležitější omezení zděděná ze sdíleného výpočetního prostředí jsou uvedená níže spolu s dalšími omezeními specifickými pro bezserverové prostředí. Úplný list omezení sdílených výpočetních prostředků najdete v tématu Omezení režimu přístupu výpočetních prostředků pro Unity Catalog.

Obecná omezení

Scala a R se nepodporují.
ANSI SQL je výchozí při psaní SQL. Odhlaste se z režimu ANSI nastavením na spark.sql.ansi.enabledfalse.
Rozhraní API Spark RDD se nepodporují.
Kontext Sparku (SC) spark.sparkContexta sqlContext nejsou podporované.
Služba Databricks Container Services se nepodporuje.
Webový terminál není podporovaný.
Dotaz nemůže běžet déle než 48 hodin.
K připojení k externím zdrojům dat musíte použít Catalog Unity. Pro přístup ke cloudovému úložišti použijte externí umístění .
Podpora zdrojů dat je omezená na AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT a XML.
Uživatelem definované funkce (UDF) nemají přístup k internetu. Z tohoto důvodu se příkaz CREATE FUNCTION (externí) nepodporuje. Databricks doporučuje k vytváření UDF používat CREATE FUNCTION (SQL a Python).
Jednotlivé řádky nesmí překročit maximální velikost 128 MB.
Uživatelské rozhraní Sparku není k dispozici. Místo toho použijte profil dotazu k zobrazení informací o dotazech Sparku. Viz profil dotazu.
Protokoly Sparku nejsou dostupné při používání bezserverových poznámkových bloků a úloh. Uživatelé mají přístup pouze k protokolům aplikací na straně klienta.
Přístup mezi pracovními prostory je povolený jenom v případě, že jsou pracovní prostory ve stejné oblasti a cílový pracovní prostor nemá nakonfigurovaný seznam ACL protokolu IP ani front-end PrivateLink.
Globální dočasné views se nepodporují. Databricks doporučuje používat dočasnou relaci views nebo vytvářet tableswhere, pokud je vyžadováno předávání dat mezi relacemi.

Omezení streamování

Výchozí ani časové intervaly aktivačních událostí nejsou podporovány. Podporuje se jen Trigger.AvailableNow. Viz Konfigurace intervalů triggeru strukturovaného streamování.
Platí také všechna omezení streamování v režimu sdíleného přístupu. Viz omezení a požadavky na streamování pro režim sdíleného přístupu Unity .

Omezení strojového učení

Databricks Runtime pro Machine Learning a Apache Spark MLlib se nepodporují.
Grafické procesory se nepodporují.

Omezení poznámkových bloků

Poznámkové bloky mají přístup k paměti 8 GB, kterou nelze nakonfigurovat.
Knihovny s oborem poznámkových bloků se neukládají do mezipaměti napříč vývojovými relacemi.
Sdílení TEMP tables a views při sdílení poznámkového bloku mezi uživateli není podporováno.
Automatické dokončování a Průzkumník proměnných pro datové rámce v poznámkových blocích se nepodporují.

Omezení pracovního postupu

Velikost ovladače pro bezserverové výpočetní prostředky pro úlohy je aktuálně pevná a nelze ji změnit.
Protokoly úloh nejsou izolované pro každé spuštění úlohy. Protokoly budou obsahovat výstup z více úloh.
Knihovny úloh nejsou podporovány pro úkoly poznámkového bloku. Místo toho používejte knihovny s vymezeným poznámkovým blokem. Další informace najdete v tématu Knihovny Pythonu v rámci poznámkových bloků

Omezení specifická pro výpočty

Následující funkce specifické pro výpočetní prostředky se nepodporují:

Zásady výpočetních prostředků
Inicializační skripty s oborem výpočetních prostředků
Knihovny s rozsahem výpočetních prostředků, včetně vlastních zdrojů dat a rozšíření Sparku. Místo toho používejte knihovny s vymezeným poznámkovým blokem.
Konfigurace přístupu k datům na úrovni výpočetních prostředků, včetně profilů instancí V důsledku toho nebude přístup k tables a souborům prostřednictvím HMS na cloudových cestách nebo připojení DBFS, které nemají vložené credentials, fungovat.
Fondy instancí
Protokoly výpočetních událostí
Většina konfigurací výpočetních prostředků Apache Sparku Pro více informací o list podporovaných konfigurací se podívejte na téma Podporované konfigurace Sparku parameters.
Proměnné prostředí. Místo toho společnost Databricks doporučuje používat widgety k vytvoření úloh a úkolů parameters.

Omezení ukládání do mezipaměti

Rozhraní API datového rámce a mezipaměti SQL se na bezserverových výpočetních prostředcích nepodporují. Pokud použijete některá z těchto rozhraní API nebo příkazů SQL, dojde k výjimce.

Omezení Hivu

tables Hive SerDe se nepodporují. Kromě toho se nepodporuje odpovídající příkaz LOAD DATA, který načte data do table Hive SerDe. Při použití příkazu dojde k výjimce.

Podpora zdrojů dat je omezená na AVRO, BINARYFILE, CSV, DELTA, JSON, KAFKA, ORC, PARQUET, ORC, TEXT a XML.
Proměnné Hive (například ${env:var}, ${configName}, ${system:var}a spark.sql.variable) nebo odkazy na proměnné konfigurace používající ${var} syntaxi nejsou podporovány. Při použití proměnných Hive dojde k výjimce.

Místo toho použijte DECLARE VARIABLE, SET VARIABLEa odkazy na proměnné relace SQL a značky parametrů ('?', nebo ':var') k deklaraci, úpravě a odkazování stavu relace. V mnoha případech můžete také použít klauzuli IDENTIFIER k parametrizaci názvů objektů.

Sdílet prostřednictvím