Delen via

Beperkingen voor de compute-toegangsmodus voor Unity Catalog

  • Artikel

Notitie

De naam van de toegangsmodi is gewijzigd. De modus Voor gedeelde toegang is nu Standard-. De toegangsmodus voor één gebruiker is nu Dedicated en kan worden toegewezen aan één gebruiker of groep. Groepstoegang bevindt zich in openbare preview.

Databricks raadt aan om de standaardtoegangsmodus (voorheen modus voor gedeelde toegang) te gebruiken voor de meeste workloads. In dit artikel worden beperkingen en vereisten beschreven voor elke toegangsmodus met Unity Catalog. Zie Access-modi voor meer informatie over toegangsmodi.

Databricks raadt het gebruik van rekenbeleid aan om configuratieopties voor de meeste gebruikers te vereenvoudigen. Zie Rekenbeleid maken en beheren.

Notitie

Gedeelde toegang zonder isolatie en credential passthrough zijn verouderde toegangsmodi die Unity Catalog niet ondersteunen.

Belangrijk

Init-scripts en -bibliotheken bieden verschillende ondersteuning voor toegangsmodi en Databricks Runtime-versies. Zie Waar kunnen init-scripts worden geïnstalleerd? en bibliotheken op rekenbereik.

beperkingen voor de toegewezen toegangsmodus voor Unity Catalog

De toegewezen toegangsmodus in Unity Catalog heeft de volgende beperkingen. Dit zijn naast de algemene beperkingen voor alle Unity Catalog-toegangsmodus. Zie Algemene beperkingen voor Unity Catalog.

Fijnafstembare beperkingen voor toegangscontrole voor de toegewijde toegangsmodus van Unity Catalog

In Databricks Runtime 15.3 en lager wordt gedetailleerd toegangsbeheer voor rekenkracht van één gebruiker niet ondersteund. Specifiek:

  • U hebt geen toegang tot een tabel met een rijfilter of kolommasker.
  • U hebt geen toegang tot dynamische weergaven.
  • Als u vanuit een weergave wilt lezen, moet u SELECT hebben voor alle tabellen en weergaven waarnaar wordt verwezen door de weergave.

Als u dynamische weergaven wilt opvragen, gebruikt u een van de volgende manieren om query's uit te voeren op dynamische weergaven, weergaven waarvoor u geen SELECT hebt op de onderliggende tabellen en weergaven, en tabellen met rijfilters of kolommaskers:

  • Een SQL Warehouse.
  • Berekenen met de standaardtoegangsmodus.
  • Compute met toegewezen toegangsmodus op Databricks Runtime 15.4 LTS of hoger.

Databricks Runtime 15.4 LTS en hoger bieden ondersteuning voor gedetailleerd toegangsbeheer voor rekenkracht van één gebruiker. Als u wilt profiteren van het filteren van gegevens in Databricks Runtime 15.4 LTS en hoger, controleert u of uw werkruimte is ingeschakeld voor serverloze berekeningen.

Serverloze berekening verwerkt gegevensfiltering, waardoor toegang tot een weergave mogelijk is zonder dat hiervoor machtigingen zijn vereist voor de onderliggende tabellen en weergaven. Omdat serverloze rekenkracht gegevensfilters verwerkt, worden er mogelijk serverloze rekenkosten in rekening gebracht wanneer u rekenkracht van één gebruiker gebruikt om query's uit te voeren op weergaven. Voor meer informatie, zie fijnmazige toegangscontrole op toegewezen rekenkracht (voorheen rekenkracht van één gebruiker).

Beperkingen voor streamingtabellen en gematerialiseerde weergaven voor toegewijde toegangsmodus van Unity Catalog

In Databricks Runtime 15.3 en lager kunt u geen rekenkracht van één gebruiker gebruiken om query's uit te voeren op tabellen die zijn gemaakt met behulp van een DLT-pijplijn, waaronder streamingtabellen en gerealiseerde weergaven, als deze tabellen eigendom zijn van andere gebruikers. De gebruiker die een tabel maakt, is de eigenaar.

Gebruik een van de volgende manieren om query's uit te voeren op streamingtabellen en gerealiseerde weergaven die zijn gemaakt door DLT en die eigendom zijn van andere gebruikers:

  • Een SQL Warehouse.
  • Compute met de standaardtoegangsmodus in Databricks Runtime 13.3 LTS of hoger.
  • Compute met toegewezen toegangsmodus op Databricks Runtime 15.4 LTS of hoger.

Uw werkruimte moet ook zijn ingeschakeld voor serverloze berekeningen. Voor meer informatie, zie fijnmazige toegangscontrole op toegewezen rekenkracht (voorheen rekenkracht van één gebruiker).

streamingbeperkingen voor de toegewezen toegangsmodus van Unity Catalog

  • Asynchrone controlepunten worden niet ondersteund in Databricks Runtime 11.3 LTS en hieronder.
  • StreamingQueryListener vereist Databricks Runtime 15.1 of hoger om referenties te gebruiken of te communiceren met objecten die worden beheerd door Unity Catalog op een besturingssysteem voor een enkele gebruiker.

beperkingen van de Standaardtoegangsmodus voor Unity Catalog

De standaardtoegangsmodus in Unity Catalog heeft de volgende beperkingen. Dit zijn naast de algemene beperkingen voor alle unity-catalogustoegangsmodi. Zie Algemene beperkingen voor Unity Catalog.

  • Databricks Runtime ML en Spark Machine Learning Library (MLlib) worden niet ondersteund.
  • Taaktaken voor Spark-submit worden niet ondersteund. Gebruik in plaats daarvan een JAR-taak.
  • DBUtils en andere clients die de gegevens rechtstreeks lezen uit cloudopslag, worden alleen ondersteund wanneer u een externe locatie gebruikt voor toegang tot de opslaglocatie. Zie Een externe locatie maken om cloudopslag te verbinden met Azure Databricks.
  • In Databricks Runtime 13.3 en hoger mogen afzonderlijke rijen niet groter zijn dan 128 MB.
  • DBFS-root en aankoppelingen bieden geen ondersteuning voor FUSE.
  • Aangepaste containers worden niet ondersteund.

Taalondersteuning voor de standaardtoegangsmodus van Unity Catalog

  • R wordt niet ondersteund.
  • Scala wordt ondersteund in Databricks Runtime 13.3 en hoger.
    • In Databricks Runtime 15.4 LTS en hoger zijn alle Java- of Scala-bibliotheken (JAR-bestanden) die zijn gebundeld met Databricks Runtime beschikbaar op berekening in de toegangsmodi van Unity Catalog.
    • Voor Databricks Runtime 15.3 of lager op een rekenomgeving waarvoor de standaardtoegangsmodus wordt gebruikt, stelt u de Spark-configuratie spark.databricks.scala.kernel.fullClasspath.enabled in op true.

Beperkingen en vereisten voor spark-API's voor de standaardtoegangsmodus van Unity Catalog

  • RDD-API's worden niet ondersteund.
  • Spark-context (sc),spark.sparkContexten sqlContext worden niet ondersteund voor Scala in een Databricks Runtime en worden niet ondersteund voor Python in Databricks Runtime 14.0 en hoger.
    • Databricks raadt aan de spark variabele te gebruiken om met het SparkSession exemplaar te communiceren.
    • De volgende sc functies worden ook niet ondersteund: emptyRDD, range, init_batched_serializer, parallelize, , pickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstop, setJobGroup, , . setLocalPropertygetConf
  • Voor de volgende Scala Dataset-API-bewerkingen is Databricks Runtime 15.4 LTS of hoger vereist: map, mapPartitions, foreachPartition, flatMapen reduce .filter
  • De Spark-configuratie eigenschap spark.executor.extraJavaOptions wordt niet ondersteund.

UDF-beperkingen en -vereisten voor de standaardtoegangsmodus van Unity Catalog

Door de gebruiker gedefinieerde functies (UDF's) hebben de volgende beperkingen met de standaardtoegangsmodus:

  • Hive UDFs worden niet ondersteund.
  • applyInPandas en mapInPandas vereisen Databricks Runtime 14.3 of hoger.
  • PySpark UDF's hebben geen toegang tot Git-mappen, werkruimtebestanden of volumes voor het importeren van modules in Databricks Runtime 14.2 en lager.
  • Scala scalar UDF's vereisen Databricks Runtime 14.2 of hoger. Andere Scala UDF's en UDAF's worden niet ondersteund.
  • In Databricks Runtime 14.2 en lager, wordt het gebruik van een aangepaste versie van grpc, pyarrow of protobuf in een PySpark UDF via notebook-scoped of cluster-scoped libraries niet ondersteund omdat de geïnstalleerde versie altijd de voorkeur heeft. Om de versie van geïnstalleerde bibliotheken te vinden, zie de sectie Systeemomgeving van de releaseopmerkingen van de specifieke Databricks Runtime-versie.
  • Python scalair UDFs en Pandas UDFs hebben Databricks Runtime 13.3 LTS of later nodig.
  • Niet-scalaire Python- en Pandas UDF's, waaronder UDAF's, UDTF's en Pandas in Spark, vereist Databricks Runtime 14.3 LTS of hoger.

Zie door de gebruiker gedefinieerde functies (UDF's) in Unity Catalog.

streamingbeperkingen en -vereisten voor de standaardtoegangsmodus van Unity Catalog

Notitie

Sommige van de vermelde Kafka-opties hebben beperkte ondersteuning wanneer ze worden gebruikt voor ondersteunde configuraties in Azure Databricks. Alle vermelde Kafka-beperkingen zijn geldig voor zowel batch- als streamverwerking. Zie Stream-verwerking met Apache Kafka en Azure Databricks.

  • U kunt de indelingen statestore en state-metadata niet gebruiken om statusinformatie op te vragen voor stateful streamingquery's.
  • transformWithState, transformWithStateInPandasen bijbehorende API's worden niet ondersteund.
  • Voor Scala vereist foreach Databricks Runtime 16.1 of hoger. foreachBatchen flatMapGroupsWithState vereisen Databricks Runtime 16.2 of hoger.
  • Voor Python foreachBatch worden de volgende gedragswijzigingen aangebracht in Databricks Runtime 14.0 en hoger:
    • print() commando's schrijven uitvoer naar de stuurprogrammalogboeken.
    • U hebt geen toegang tot de dbutils.widgets submodule in de functie.
    • Bestanden, modules of objecten waarnaar in de functie wordt verwezen, moeten serialiseren en beschikbaar zijn in Spark.
  • Voor Scala from_avro is Databricks Runtime 14.2 of hoger vereist.
  • applyInPandasWithState vereist Databricks Runtime 14.3 LTS of hoger.
  • Het werken met socket bronnen wordt niet ondersteund.
  • De sourceArchiveDir moet zich op dezelfde externe locatie bevinden als de bron wanneer u option("cleanSource", "archive") gebruikt met een gegevensbron die wordt beheerd door Unity Catalog.
  • Voor Kafka-bronnen en -sinks worden de volgende opties niet ondersteund:
    • kafka.sasl.client.callback.handler.class
    • kafka.sasl.login.callback.handler.class
    • kafka.sasl.login.class
    • kafka.partition.assignment.strategy
  • De volgende Kafka-opties worden ondersteund in Databricks Runtime 13.3 LTS en hoger, maar niet ondersteund in Databricks Runtime 12.2 LTS. U kunt alleen externe locaties opgeven die worden beheerd door Unity Catalog voor deze opties:
    • kafka.ssl.truststore.location
    • kafka.ssl.keystore.location
  • Voor Scala vereist StreamingQueryListener Databricks Runtime 16.1 en hoger.
  • Voor Python vereist StreamingQueryListener Databricks Runtime 14.3 LTS of hoger om referenties te gebruiken of om te werken met objecten die worden beheerd door Unity Catalog op een rekeneenheid met standaardtoegangsmodus.

Netwerk- en bestandssysteemtoegangsbeperkingen en -vereisten voor de standaardtoegangsmodus van Unity Catalog

  • U moet opdrachten uitvoeren op rekenknooppunten als een gebruiker met beperkte bevoegdheden die geen toegang heeft tot gevoelige onderdelen van het bestandssysteem.
  • In Databricks Runtime 11.3 LTS en hieronder kunt u alleen netwerkverbindingen maken met poorten 80 en 443.
  • U kunt geen verbinding maken met de instantiemetagegevensservice of Azure WireServer.

Algemene beperkingen voor Unity Catalog

De volgende beperkingen gelden voor alle toegangsmodi voor Unity Catalog.

streamingbeperkingen voor Unity Catalog

  • De modus continue verwerking van Apache Spark wordt niet ondersteund. Zie Continuous Processing in de Spark Structured Streaming Programming Guide.

Zie ook streamingbeperkingen voor de toegewezen toegangsmodus van Unity Catalog en Streaming-beperkingen en -vereisten voor de standaardtoegangsmodus van Unity Catalog.

Zie Unity Catalog gebruiken met Structured Streamingvoor meer informatie over streamen met Unity Catalog.