Delen via

Naslaginformatie over rekenbeleid

  • Artikel

Dit artikel is een verwijzing voor berekeningsbeleidsdefinities. De artikelen bevatten een verwijzing naar de beschikbare beleidskenmerken en beperkingstypen. Er zijn ook voorbeeldbeleidsregels waarnaar u kunt verwijzen voor veelvoorkomende gebruiksvoorbeelden.

Wat zijn beleidsdefinities?

Beleidsdefinities zijn afzonderlijke beleidsregels die worden uitgedrukt in JSON. Een definitie kan een regel toevoegen aan een van de kenmerken die worden beheerd met de Clusters-API. Deze definities stellen bijvoorbeeld een standaardtijd voor automatisch bepalen in, verbieden dat gebruikers pools gebruiken en het gebruik van Photon afdwingen:

{
   "autotermination_minutes" : {
    "type" : "unlimited",
    "defaultValue" : 4320,
    "isOptional" : true
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "runtime_engine": {
    "type": "fixed",
    "value": "PHOTON",
    "hidden": true
  }
}

Er kan slechts één beperking per kenmerk zijn. Het pad van een kenmerk weerspiegelt de naam van het API-kenmerk. Voor geneste kenmerken voegt het pad de geneste kenmerknamen samen met behulp van puntjes. Kenmerken die niet zijn gedefinieerd in een beleidsdefinitie, worden niet beperkt.

Ondersteunde kenmerken

Beleidsregels ondersteunen alle kenmerken die worden beheerd met de Clusters-API. Het type beperkingen dat u op kenmerken kunt plaatsen, kan per instelling variëren op basis van hun type en relatie tot de elementen van de gebruikersinterface. U kunt geen beleid gebruiken om rekenmachtigingen te definiëren.

U kunt ook beleidsregels gebruiken om het maximum aantal DBU's per uur en clustertype in te stellen. Zie virtuele kenmerkpaden.

De volgende tabel bevat de ondersteunde paden voor beleidskenmerken:

Kenmerkpad Type Description
autoscale.max_workers optioneel getal Als dit veld is verborgen, verwijdert u het veld maximumaantal werknemers uit de gebruikersinterface.
autoscale.min_workers optioneel getal Als u dit verborgen hebt, verwijdert u het veld minimumaantal werknemers uit de gebruikersinterface.
autotermination_minutes Nummer Een waarde van 0 vertegenwoordigt geen automatische beëindiging. Als dit verborgen is, verwijdert u het selectievakje voor automatische beëindiging en de waarde-invoer uit de gebruikersinterface.
azure_attributes.availability tekenreeks Hiermee bepaalt u hoe de berekening gebruikmaakt van on-demand of spot-exemplaren (ON_DEMAND_AZURE of SPOT_WITH_FALLBACK_AZURE).
azure_attributes.first_on_demand Nummer Hiermee bepaalt u het aantal knooppunten dat moet worden geplaatst op on-demand exemplaren.
azure_attributes.spot_bid_max_price Nummer Hiermee bepaalt u de maximumprijs voor Azure-spot-exemplaren.
cluster_log_conf.path tekenreeks De doel-URL van de logboekbestanden.
cluster_log_conf.type tekenreeks Het type logboekbestemming. DBFS is de enige acceptabele waarde.
cluster_name tekenreeks De clusternaam.
custom_tags.* tekenreeks Besturingselement voor specifieke tagwaarden door de tagnaam toe te voegen, bijvoorbeeld: custom_tags.<mytag>.
data_security_mode tekenreeks Hiermee stelt u de toegangsmodus van het cluster in. Unity Catalog vereist SINGLE_USER of USER_ISOLATION (modus voor gedeelde toegang in de gebruikersinterface). Een waarde die NONE betekent dat er geen beveiligingsfuncties zijn ingeschakeld.
docker_image.basic_auth.password tekenreeks Het wachtwoord voor de basisverificatie van de Databricks Container Services-installatiekopieën.
docker_image.basic_auth.username tekenreeks De gebruikersnaam voor de basisverificatie van de Databricks Container Services-installatiekopieën.
docker_image.url tekenreeks Hiermee bepaalt u de INSTALLATIEkopieën-URL van Databricks Container Services. Als dit verborgen is, verwijdert u de sectie Databricks Container Services uit de gebruikersinterface.
driver_node_type_id optionele tekenreeks Als dit verborgen is, verwijdert u de typeselectie van het stuurprogrammaknooppunt uit de gebruikersinterface.
enable_local_disk_encryption boolean Stel deze optie in om true schijven die lokaal zijn gekoppeld aan het cluster (zoals opgegeven via de API) in of false uit te schakelen.
init_scripts.*.workspace.destination init_scripts.*.volumes.destination init_scripts.*.abfss.destination init_scripts.*.file.destination tekenreeks * verwijst naar de index van het init-script in de kenmerkmatrix. Zie Beleid schrijven voor matrixkenmerken.
instance_pool_id tekenreeks Hiermee bepaalt u de pool die wordt gebruikt door werkknooppunten als driver_instance_pool_id deze ook is gedefinieerd of voor alle clusterknooppunten anders. Als u pools gebruikt voor werkknooppunten, moet u ook pools gebruiken voor het stuurprogrammaknooppunt. Als deze optie is verborgen, verwijdert u de selectie van de groep uit de gebruikersinterface.
driver_instance_pool_id tekenreeks Indien opgegeven configureert u een andere pool voor het stuurprogrammaknooppunt dan voor werkknooppunten. Als dit niet is opgegeven, neemt u deze over instance_pool_id. Als u pools gebruikt voor werkknooppunten, moet u ook pools gebruiken voor het stuurprogrammaknooppunt. Als deze optie is verborgen, verwijdert u de selectie van stuurprogrammagroepen uit de gebruikersinterface.
node_type_id tekenreeks Als dit verborgen is, verwijdert u de selectie van het werkknooppunttype uit de gebruikersinterface.
num_workers optioneel getal Als deze optie is verborgen, verwijdert u de werkrolnummerspecificatie uit de gebruikersinterface.
runtime_engine tekenreeks Bepaalt of het cluster Photon gebruikt of niet. Mogelijke waarden zijn PHOTON en STANDARD.
single_user_name tekenreeks De gebruikersnaam voor referentiepassthrough voor toegang tot één gebruiker.
spark_conf.* optionele tekenreeks Hiermee bepaalt u specifieke configuratiewaarden door de naam van de configuratiesleutel toe te voegen, bijvoorbeeld: spark_conf.spark.executor.memory.
spark_env_vars.* optionele tekenreeks Hiermee bepaalt u specifieke waarden voor spark-omgevingsvariabele door de omgevingsvariabele toe te voegen, bijvoorbeeld: spark_env_vars.<environment variable name>.
spark_version tekenreeks De versienaam van de Spark-installatiekopieën zoals opgegeven via de API (de Databricks Runtime). U kunt ook speciale beleidswaarden gebruiken die de Databricks Runtime dynamisch selecteren. Zie Speciale beleidswaarden voor de selectie van Databricks Runtime.
workload_type.clients.jobs boolean Hiermee definieert u of de rekenresource kan worden gebruikt voor taken. Zie Voorkomen dat berekeningen worden gebruikt met taken.
workload_type.clients.notebooks boolean Hiermee definieert u of de rekenresource kan worden gebruikt met notebooks. Zie Voorkomen dat berekeningen worden gebruikt met taken.

Paden voor virtuele kenmerken

Deze tabel bevat twee extra synthetische kenmerken die worden ondersteund door beleidsregels:

Kenmerkpad Type Description
dbus_per_hour Nummer Berekend kenmerk dat de maximale DBU's vertegenwoordigt die een resource per uur kan gebruiken, inclusief het stuurprogrammaknooppunt. Deze metrische waarde is een directe manier om de kosten op het afzonderlijke rekenniveau te beheren. Gebruik met bereikbeperking.
cluster_type tekenreeks Vertegenwoordigt het type cluster dat kan worden gemaakt:

- all-purpose voor azure Databricks all-purpose compute
- job voor taakresources die door de jobplanner zijn gemaakt
- dlt voor berekening die is gemaakt voor Delta Live Tables-pijplijnen

Opgegeven typen berekeningen toestaan of blokkeren die op basis van het beleid worden gemaakt. Als de all-purpose waarde niet is toegestaan, wordt het beleid niet weergegeven in de rekeninterface voor alle doeleinden maken. Als de job waarde niet is toegestaan, wordt het beleid niet weergegeven in de rekeninterface voor het maken van taken.

Speciale beleidswaarden voor Databricks Runtime-selectie

Het spark_version kenmerk ondersteunt speciale waarden die dynamisch worden toegewezen aan een Databricks Runtime-versie op basis van de huidige set ondersteunde Databricks Runtime-versies.

De volgende waarden kunnen worden gebruikt in het spark_version kenmerk:

  • auto:latest: Wordt toegewezen aan de nieuwste GA Databricks Runtime-versie.
  • auto:latest-ml: Wordt toegewezen aan de nieuwste Ml-versie van Databricks Runtime.
  • auto:latest-lts: Wordt toegewezen aan de nieuwste databricks Runtime-versie (long-term support) van LTS.
  • auto:latest-lts-ml: Wordt toegewezen aan de nieuwste LTS Databricks Runtime ML-versie.
  • auto:prev-major: Wordt toegewezen aan de tweede meest recente GA Databricks Runtime-versie. Als bijvoorbeeld auto:latest 14.2 is, is dat auto:prev-major 13.3.
  • auto:prev-major-ml: wordt toegewezen aan de tweede meest recente GA Databricks Runtime ML-versie. Als bijvoorbeeld auto:latest 14.2 is, is dat auto:prev-major 13.3.
  • auto:prev-lts: Wordt toegewezen aan de op een na nieuwste LTS Databricks Runtime-versie. Als bijvoorbeeld auto:latest-lts 13.3 is, is dat auto:prev-lts 12.2.
  • auto:prev-lts-ml: Wordt toegewezen aan de op een na nieuwste LTS Databricks Runtime ML-versie. Als bijvoorbeeld auto:latest-lts 13.3 is, is dat auto:prev-lts 12.2.

Notitie

Als u deze waarden gebruikt, wordt de automatische berekening niet bijgewerkt wanneer er een nieuwe runtimeversie wordt uitgebracht. Een gebruiker moet de berekening voor de Databricks Runtime-versie expliciet bewerken om te wijzigen.

Ondersteunde beleidstypen

Deze sectie bevat een verwijzing voor elk van de beschikbare beleidstypen. Er zijn twee categorieën beleidstypen: vaste beleidsregels en beperkingsbeleid.

Vaste beleidsregels verhinderen gebruikersconfiguratie op een kenmerk. De twee typen vaste beleidsregels zijn:

Door beleidsregels te beperken, worden de opties van een gebruiker voor het configureren van een kenmerk beperkt. Door beleidsregels te beperken, kunt u ook standaardwaarden instellen en kenmerken optioneel maken. Zie Aanvullende beperkende beleidsvelden.

Uw opties voor het beperken van beleidsregels zijn:

Vast beleid

Vaste beleidsregels beperken het kenmerk tot de opgegeven waarde. Voor andere kenmerkwaarden dan numerieke en booleaanse waarden moet de waarde worden vertegenwoordigd door of converteerbaar naar een tekenreeks.

Met vast beleid kunt u het kenmerk ook verbergen in de gebruikersinterface door het hidden veld in te stellen op true.

interface FixedPolicy {
    type: "fixed";
    value: string | number | boolean;
    hidden?: boolean;
}

Met dit voorbeeldbeleid wordt de Databricks Runtime-versie opgelost en wordt het veld verborgen in de gebruikersinterface van de gebruiker:

{
  "spark_version": { "type": "fixed", "value": "auto:latest-lts", "hidden": true }
}

Verboden beleid

Een verboden beleid voorkomt dat gebruikers een kenmerk configureren. Verboden beleidsregels zijn alleen compatibel met optionele kenmerken.

interface ForbiddenPolicy {
    type: "forbidden";
}

Dit beleid verbiedt het koppelen van pools aan de rekenkracht voor werkknooppunten. Pools zijn ook verboden voor het stuurprogrammaknooppunt, omdat driver_instance_pool_id het beleid wordt overgenomen.

{
  "instance_pool_id": { "type": "forbidden" }
}

Beleid voor acceptatielijst

Een allowlist-beleid specificeert een lijst met waarden die de gebruiker kan kiezen bij het configureren van een kenmerk.

interface AllowlistPolicy {
  type: "allowlist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

Met dit voorbeeld van een acceptatielijst kan de gebruiker kiezen tussen twee Databricks Runtime-versies:

{
  "spark_version":  { "type": "allowlist", "values": [ "13.3.x-scala2.12", "12.2.x-scala2.12" ] }
}

Beleid voor blokkeren

Het bloklijstbeleid bevat niet-toegestane waarden. Omdat de waarden exacte overeenkomsten moeten zijn, werkt dit beleid mogelijk niet zoals verwacht wanneer het kenmerk leniënt is in de weergave van de waarde (bijvoorbeeld het toestaan van voorloop- en volgspaties).

interface BlocklistPolicy {
  type: "blocklist";
  values: (string | number | boolean)[];
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

In dit voorbeeld wordt voorkomen dat de gebruiker deze selecteert 7.3.x-scala2.12 als Databricks Runtime.

{
  "spark_version":  { "type": "blocklist", "values": [ "7.3.x-scala2.12" ] }
}

Regex-beleid

Een regex-beleid beperkt de beschikbare waarden tot de waarden die overeenkomen met de regex. Zorg ervoor dat uw regex is verankerd aan het begin en einde van de tekenreekswaarde voor veiligheid.

interface RegexPolicy {
  type: "regex";
  pattern: string;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

In dit voorbeeld worden de Databricks Runtime-versies beperkt waaruit een gebruiker kan kiezen:

{
  "spark_version":  { "type": "regex", "pattern": "13\\.[3456].*" }
}

Bereikbeleid

Een bereikbeleid beperkt de waarde tot een opgegeven bereik met behulp van de minValue en maxValue velden. De waarde moet een decimaal getal zijn. De numerieke limieten moeten worden vertegenwoordigd als een dubbele drijvende-kommawaarde. Als u een gebrek aan een specifieke limiet wilt aangeven, kunt u deze weglaten minValue of maxValue.

interface RangePolicy {
  type: "range";
  minValue?: number;
  maxValue?: number;
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

In dit voorbeeld wordt de maximale hoeveelheid werkrollen beperkt tot 10:

{
  "num_workers":  { "type": "range", "maxValue": 10 }
}

Onbeperkt beleid

Het onbeperkte beleid wordt gebruikt om kenmerken vereist te maken of om de standaardwaarde in de gebruikersinterface in te stellen.

interface UnlimitedPolicy {
  type: "unlimited";
  defaultValue?: string | number | boolean;
  isOptional?: boolean;
}

In dit voorbeeld wordt de COST_BUCKET tag toegevoegd aan de berekening:

{
  "custom_tags.COST_BUCKET":  { "type": "unlimited" }
}

Als u een standaardwaarde wilt instellen voor een Spark-configuratievariabele, maar u kunt deze ook weglaten (verwijderen):

{
  "spark_conf.spark.my.conf":  { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}

Aanvullende beperkende beleidsvelden

Voor het beperken van beleidstypen kunt u twee extra velden opgeven:

  • defaultValue - De waarde die automatisch wordt ingevuld in de rekeninterface voor maken.
  • isOptional - Een beperkend beleid voor een kenmerk maakt dit automatisch vereist. Als u het kenmerk optioneel wilt maken, stelt u het isOptional veld in op true.

Notitie

Standaardwaarden worden niet automatisch toegepast op berekeningen die zijn gemaakt met de Clusters-API. Als u standaardwaarden wilt toepassen met behulp van de API, voegt u de parameter apply_policy_default_values toe aan de berekeningsdefinitie en stelt u deze in op true.

Dit voorbeeldbeleid geeft de standaardwaarde id1 op voor de pool voor werkknooppunten, maar maakt dit optioneel. Wanneer u de berekening maakt, kunt u een andere pool selecteren of ervoor kiezen om er geen te gebruiken. Als driver_instance_pool_id dit niet is gedefinieerd in het beleid of bij het maken van de berekening, wordt dezelfde pool gebruikt voor werkknooppunten en het stuurprogrammaknooppunt.

{
  "instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}

Beleid schrijven voor matrixkenmerken

U kunt op twee manieren beleidsregels voor matrixkenmerken opgeven:

  • Algemene beperkingen voor alle matrixelementen. Deze beperkingen gebruiken het * jokerteken in het beleidspad.
  • Specifieke beperkingen voor een matrixelement in een specifieke index. Deze beperking gebruikt een getal in het pad.

Voor het matrixkenmerk init_scriptsbeginnen de algemene paden bijvoorbeeld met init_scripts.* en de specifieke paden met init_scripts.<n>, waarbij <n> een geheel getalindex in de matrix is (beginnend met 0). U kunt algemene en specifieke beperkingen combineren, in welk geval de algemene beperking van toepassing is op elk matrixelement dat geen specifieke beperking heeft. In elk geval is slechts één beleidsbeperking van toepassing.

In de volgende secties ziet u voorbeelden van veelvoorkomende voorbeelden die gebruikmaken van matrixkenmerken.

Opnamespecifieke vermeldingen vereisen

U kunt geen specifieke waarden vereisen zonder de volgorde op te geven. Voorbeeld:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-2>"
  }
}

Een vaste waarde van de hele lijst vereisen

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<required-script-1>"
  },
  "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Het gebruik helemaal weigeren

{
   "init_scripts.*.volumes.destination": {
    "type": "forbidden"
  }
}

Vermeldingen toestaan die een specifieke beperking volgen

{
    "init_scripts.*.volumes.destination": {
    "type": "regex",
    "pattern": ".*<required-content>.*"
  }
}

Een specifieke set init-scripts herstellen

In het geval van init_scripts paden kan de matrix een van meerdere structuren bevatten waarvoor mogelijk alle mogelijke varianten moeten worden verwerkt, afhankelijk van de use-case. Als u bijvoorbeeld een specifieke set init-scripts wilt vereisen en een variant van de andere versie niet wilt gebruiken, kunt u het volgende patroon gebruiken:

{
  "init_scripts.0.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.1.volumes.destination": {
    "type": "fixed",
    "value": "<volume-paths>"
  },
  "init_scripts.*.workspace.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.abfss.destination": {
    "type": "forbidden"
  },
  "init_scripts.*.file.destination": {
    "type": "forbidden"
  }
}

Beleidsvoorbeelden

Deze sectie bevat beleidsvoorbeelden die u kunt gebruiken als verwijzingen voor het maken van uw eigen beleid. U kunt ook de door Azure Databricks geleverde beleidsfamilies gebruiken als sjablonen voor veelvoorkomende gebruiksscenario's voor beleid.

Algemeen rekenbeleid

Een rekenbeleid voor algemeen gebruik dat is bedoeld om gebruikers te begeleiden en bepaalde functionaliteit te beperken, waarbij tags zijn vereist, het maximum aantal exemplaren wordt beperkt en time-outs worden afgedwongen.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_version": {
    "type": "regex",
    "pattern": "12\\.[0-9]+\\.x-scala.*"
  },
  "node_type_id": {
    "type": "allowlist",
    "values": [
      "Standard_L4s",
      "Standard_L8s",
      "Standard_L16s"
    ],
    "defaultValue": "Standard_L16s_v2"
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L16s_v2",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "range",
    "maxValue": 25,
    "defaultValue": 5
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 30,
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Limieten definiëren voor pijplijnreken van Delta Live Tables

Notitie

Wanneer u beleidsregels gebruikt voor het configureren van delta livetabellen, raadt Databricks aan om één beleid toe te passen op zowel de als de default maintenance berekening.

Als u een beleid voor een pijplijnreken wilt configureren, maakt u een beleid met het cluster_type veld ingesteld op dlt. In het volgende voorbeeld wordt een minimaal beleid gemaakt voor een Berekening van Delta Live Tables:

{
  "cluster_type": {
    "type": "fixed",
    "value": "dlt"
  },
  "num_workers": {
    "type": "unlimited",
    "defaultValue": 3,
    "isOptional": true
  },
  "node_type_id": {
    "type": "unlimited",
    "isOptional": true
  },
  "spark_version": {
    "type": "unlimited",
    "hidden": true
  }
}

Eenvoudig middelgroot beleid

Hiermee kunnen gebruikers een middelgrote rekenkracht maken met minimale configuratie. Het enige vereiste veld tijdens het maken is de rekennaam; de rest is vast en verborgen.

{
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "spark_conf.spark.databricks.cluster.profile": {
    "type": "forbidden",
    "hidden": true
  },
  "autoscale.min_workers": {
    "type": "fixed",
    "value": 1,
    "hidden": true
  },
  "autoscale.max_workers": {
    "type": "fixed",
    "value": 10,
    "hidden": true
  },
  "autotermination_minutes": {
    "type": "fixed",
    "value": 60,
    "hidden": true
  },
  "node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "driver_node_type_id": {
    "type": "fixed",
    "value": "Standard_L8s_v2",
    "hidden": true
  },
  "spark_version": {
    "type": "fixed",
    "value": "auto:latest-ml",
    "hidden": true
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Beleid voor alleen taken

Hiermee kunnen gebruikers taak berekenen om taken uit te voeren. Gebruikers kunnen niet alle doeleinden berekenen met behulp van dit beleid.

{
  "cluster_type": {
    "type": "fixed",
    "value": "job"
  },
  "dbus_per_hour": {
    "type": "range",
    "maxValue": 100
  },
  "instance_pool_id": {
    "type": "forbidden",
    "hidden": true
  },
  "num_workers": {
    "type": "range",
    "minValue": 1
  },
  "node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "driver_node_type_id": {
    "type": "regex",
    "pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
  },
  "spark_version": {
    "type": "unlimited",
    "defaultValue": "auto:latest-lts"
  },
  "custom_tags.team": {
    "type": "fixed",
    "value": "product"
  }
}

Extern metastore-beleid

Hiermee kunnen gebruikers rekenkracht maken met een door de beheerder gedefinieerde metastore die al is gekoppeld. Dit is handig om gebruikers in staat te stellen hun eigen rekenkracht te maken zonder dat er extra configuratie nodig is.

{
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
      "type": "fixed",
      "value": "jdbc:sqlserver://<jdbc-url>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
      "type": "fixed",
      "value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
  },
  "spark_conf.spark.databricks.delta.preview.enabled": {
      "type": "fixed",
      "value": "true"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
      "type": "fixed",
      "value": "<metastore-user>"
  },
  "spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
      "type": "fixed",
      "value": "<metastore-password>"
  }
}

Voorkomen dat berekeningen worden gebruikt met taken

Dit beleid voorkomt dat gebruikers de berekening gebruiken om taken uit te voeren. Gebruikers kunnen de berekening alleen gebruiken met notebooks.

{
  "workload_type.clients.notebooks": {
    "type": "fixed",
    "value": true
  },
  "workload_type.clients.jobs": {
    "type": "fixed",
    "value": false
  }
}

Beleid voor automatisch schalen verwijderen

Met dit beleid wordt automatisch schalen uitgeschakeld en kan de gebruiker het aantal werkrollen binnen een bepaald bereik instellen.

{
  "num_workers": {
  "type": "range",
  "maxValue": 25,
  "minValue": 1,
  "defaultValue": 5
  }
}

Aangepaste tag afdwingen

Als u een regel voor rekentags wilt toevoegen aan een beleid, gebruikt u het custom_tags.<tag-name> kenmerk.

Elke gebruiker die dit beleid gebruikt, moet bijvoorbeeld een COST_CENTER tag invullen met 9999, 9921 of 9531 om het rekenproces te starten:

   {"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}