Rekenbeleid-referentie
Dit artikel is een verwijzing voor berekeningsbeleidsdefinities. De artikelen bevatten een verwijzing naar de beschikbare beleidskenmerken en beperkingstypen. Er zijn ook voorbeeldbeleidsregels waarnaar u kunt verwijzen voor veelvoorkomende gebruiksvoorbeelden.
Wat zijn beleidsdefinities?
Beleidsdefinities zijn afzonderlijke beleidsregels die worden uitgedrukt in JSON. Een definitie kan een regel toevoegen aan een van de kenmerken die worden beheerd met de Clusters-API. Deze definities stellen bijvoorbeeld een standaardtijd voor automatisch bepalen in, verbieden dat gebruikers pools gebruiken en het gebruik van Photon afdwingen:
{
"autotermination_minutes" : {
"type" : "unlimited",
"defaultValue" : 4320,
"isOptional" : true
},
"instance_pool_id": {
"type": "forbidden",
"hidden": true
},
"runtime_engine": {
"type": "fixed",
"value": "PHOTON",
"hidden": true
}
}
Er kan slechts één beperking per kenmerk zijn. Het pad van een kenmerk weerspiegelt de naam van het API-kenmerk. Voor geneste kenmerken voegt het pad de geneste kenmerknamen samen met behulp van puntjes. Kenmerken die niet zijn gedefinieerd in een beleidsdefinitie, worden niet beperkt.
ondersteunde kenmerken
Beleidsregels ondersteunen alle beheerde kenmerken met de Clusters API. Het type beperkingen dat u op kenmerken kunt plaatsen, kan per instelling variëren op basis van hun type en relatie tot de elementen van de gebruikersinterface. U kunt geen beleid gebruiken om rekenmachtigingen te definiëren.
U kunt ook beleidsregels gebruiken om het maximum aantal DBU's per uur en clustertype in te stellen. Zie Virtuele kenmerkpaden.
De volgende tabel bevat de ondersteunde paden voor beleidskenmerken:
Kenmerkpad | Type | Beschrijving |
---|---|---|
autoscale.max_workers |
optioneel nummer | Als dit veld is verborgen, verwijdert u het veld maximumaantal werknemers uit de gebruikersinterface. |
autoscale.min_workers |
optioneel nummer | Als u dit verborgen hebt, verwijdert u het veld minimumaantal werknemers uit de gebruikersinterface. |
autotermination_minutes |
getal | Een waarde van 0 vertegenwoordigt geen automatische beëindiging. Als dit verborgen is, verwijdert u het selectievakje voor automatische beëindiging en de waarde-invoer uit de gebruikersinterface. |
azure_attributes.availability |
tekenreeks | Hiermee bepaalt u hoe de berekening gebruikmaakt van on-demand of spot-exemplaren (ON_DEMAND_AZURE of SPOT_WITH_FALLBACK_AZURE ). |
azure_attributes.first_on_demand |
getal | Hiermee bepaalt u het aantal knooppunten dat op on-demand instanties wordt geplaatst. |
azure_attributes.spot_bid_max_price |
getal | Hiermee bepaalt u de maximumprijs voor Azure-spot-exemplaren. |
cluster_log_conf.path |
tekenreeks | De doel-URL van de logboekbestanden. |
cluster_log_conf.type |
tekenreeks | Het type logboekbestemming.
DBFS is de enige acceptabele waarde. |
cluster_name |
tekenreeks | De clusternaam. |
custom_tags.* |
tekenreeks | Regel specifieke tagwaarden door de tagnaam toe te voegen, bijvoorbeeld: custom_tags.<mytag> . |
data_security_mode |
tekenreeks | Hiermee stelt u de toegangsmodus van het cluster in. Unity Catalog vereist SINGLE_USER of USER_ISOLATION (modus voor gedeelde toegang in de gebruikersinterface). Een waarde van NONE betekent dat er geen beveiligingsfuncties zijn ingeschakeld. |
docker_image.basic_auth.password |
tekenreeks | Het wachtwoord voor de basisverificatie van de Databricks Container Services-afbeelding. |
docker_image.basic_auth.username |
tekenreeks | De gebruikersnaam voor de basisverificatie van de Databricks Container Services-image. |
docker_image.url |
tekenreeks | Beheert de image-URL van Databricks Container Services. Als dit verborgen is, verwijdert u de sectie Databricks Container Services uit de gebruikersinterface. |
driver_node_type_id |
optionele tekenreeks | Als dit verborgen is, verwijdert u de typeselectie van het stuurprogrammaknooppunt uit de gebruikersinterface. |
enable_local_disk_encryption |
booleaans | Ingesteld op true om schijven die lokaal zijn gekoppeld aan het cluster te versleutelen (zoals opgegeven via de API) in of false uit te schakelen. |
init_scripts.*.workspace.destination
init_scripts.*.volumes.destination
init_scripts.*.abfss.destination
init_scripts.*.file.destination
|
tekenreeks |
* verwijst naar de index van het init-script in de kenmerkmatrix. Zie Beleid documenteren voor array-attributen. |
instance_pool_id |
tekenreeks | Hiermee bepaalt u de pool die door werkknooppunten wordt gebruikt als driver_instance_pool_id ook is gedefinieerd; anders geldt het voor alle clusternodes. Als u pools gebruikt voor werkknooppunten, moet u ook pools gebruiken voor het stuurprogrammaknooppunt. Wanneer verborgen, wordt de selectie van de pool uit de gebruikersinterface verwijderd. |
driver_instance_pool_id |
tekenreeks | Indien opgegeven configureert u een andere pool voor het stuurprogrammaknooppunt dan voor werkknooppunten. Als dit niet is opgegeven, wordt instance_pool_id overgenomen. Als u pools gebruikt voor werkknooppunten, moet u ook pools gebruiken voor het stuurprogrammaknooppunt. Wanneer verborgen, wordt de selectie van bestuurderspools uit de gebruikersinterface verwijderd. |
node_type_id |
tekenreeks | Als dit verborgen is, verwijdert u de selectie van het werkknooppunttype uit de gebruikersinterface. |
num_workers |
optioneel nummer | Wanneer verborgen, wordt de werknummerspecificatie uit de gebruikersinterface verwijderd. |
runtime_engine |
tekenreeks | Bepaalt of het cluster Photon gebruikt of niet. Mogelijke waarden zijn PHOTON of STANDARD . |
single_user_name |
tekenreeks | Hiermee bepaalt u welke gebruikers of groepen kunnen worden toegewezen aan de rekenresource. |
spark_conf.* |
optionele tekenreeks | Hiermee bepaalt u specifieke configuratiewaarden door de naam van de configuratiesleutel toe te voegen, bijvoorbeeld: spark_conf.spark.executor.memory . |
spark_env_vars.* |
optionele tekenreeks | Hiermee bepaalt u specifieke waarden voor spark-omgevingsvariabele door de omgevingsvariabele toe te voegen, bijvoorbeeld: spark_env_vars.<environment variable name> . |
spark_version |
tekenreeks | De versienaam van de Spark-afbeelding zoals gespecificeerd door de API (de Databricks Runtime). U kunt ook speciale beleidswaarden gebruiken die de Databricks Runtime dynamisch selecteren. Zie Speciale beleidswaarden voor de selectie van Databricks Runtime. |
workload_type.clients.jobs |
booleaans | Hiermee definieert u of de rekenresource kan worden gebruikt voor taken. Zie Voorkom dat rekenkracht wordt gebruikt voor taken. |
workload_type.clients.notebooks |
booleaans | Hiermee definieert u of de rekenresource kan worden gebruikt met notebooks. Zie Voorkom dat rekenkracht wordt gebruikt voor taken. |
virtuele kenmerkpaden
Deze tabel bevat twee extra synthetische kenmerken die worden ondersteund door beleidsregels:
Kenmerkpad | Type | Beschrijving |
---|---|---|
dbus_per_hour |
getal | Berekend kenmerk dat de maximale DBU's vertegenwoordigt die een resource per uur kan gebruiken, inclusief het stuurprogrammaknooppunt. Deze metrische waarde is een directe manier om de kosten op het afzonderlijke rekenniveau te beheren. Gebruik met bereikbeperking. |
cluster_type |
tekenreeks | Vertegenwoordigt het type cluster dat kan worden gemaakt: - all-purpose voor Azure Databricks all-purpose compute- job voor taakberekening die door de jobplanner is gemaakt- dlt voor berekeningen die zijn gemaakt voor Delta Live Tables-pijplijnenOpgegeven typen berekeningen toestaan of blokkeren die op basis van het beleid worden gemaakt. Als de all-purpose waarde niet is toegestaan, wordt het beleid niet weergegeven in de algemene interface voor het creëren van compute-taken. Als de job -waarde niet is toegestaan, wordt de richtlijn niet weergegeven in de compute-UI voor het maken van opdrachten. |
Speciale beleidswaarden voor Databricks Runtime-selectie
Het kenmerk spark_version
ondersteunt speciale waarden die dynamisch worden toegewezen aan een Databricks Runtime-versie op basis van de huidige set ondersteunde Databricks Runtime-versies.
De volgende waarden kunnen worden gebruikt in het kenmerk spark_version
:
-
auto:latest
: verwijst naar de nieuwste GA Databricks Runtime-versie. -
auto:latest-ml
: komt overeen met de nieuwste versie van Databricks Runtime ML. -
auto:latest-lts
: Kaart naar de nieuwste Long-Term Support (LTS) versie van Databricks Runtime. -
auto:latest-lts-ml
: Komt overeen met de nieuwste LTS Databricks Runtime ML-versie. -
auto:prev-major
: wijst naar de tweede nieuwste GA Databricks Runtime-versie. Alsauto:latest
bijvoorbeeld 14,2 is, isauto:prev-major
13,3. -
auto:prev-major-ml
: komt overeen met de op één na nieuwste GA-versie van Databricks Runtime ML. Alsauto:latest
bijvoorbeeld 14,2 is, isauto:prev-major
13,3. -
auto:prev-lts
: Verwijst naar de op een na nieuwste LTS-versie van Databricks Runtime. Alsauto:latest-lts
bijvoorbeeld 13,3 is, isauto:prev-lts
12,2. -
auto:prev-lts-ml
: Verwijst naar de één-na-nieuwste LTS Databricks Runtime ML-versie. Alsauto:latest-lts
bijvoorbeeld 13,3 is, isauto:prev-lts
12,2.
Notitie
Als u deze waarden gebruikt, wordt de automatische berekening niet bijgewerkt wanneer er een nieuwe runtimeversie wordt uitgebracht. Een gebruiker moet expliciet de compute-instellingen voor de Databricks Runtime-versie bewerken om deze te wijzigen.
Ondersteunde beleidstypen
Deze sectie bevat een verwijzing voor elk van de beschikbare beleidstypen. Er zijn twee categorieën beleidstypen: vaste beleidsregels en beperkingsbeleid.
Vaste beleidsregels verhinderen gebruikersconfiguratie op een kenmerk. De twee typen vaste beleidsregels zijn:
Door beleidsregels te beperken, worden de opties van een gebruiker voor het configureren van een kenmerk beperkt. Door beleidsregels te beperken, kunt u ook standaardwaarden instellen en kenmerken optioneel maken. Zie Aanvullende beleidsvelden voor beperkingen.
Uw opties voor het beperken van beleidsregels zijn:
vast beleid
Vaste beleidsregels beperken het kenmerk tot de opgegeven waarde. Voor andere kenmerkwaarden dan numerieke en booleaanse waarden moet de waarde worden vertegenwoordigd door of converteerbaar naar een tekenreeks.
Met vast beleid kunt u het kenmerk ook verbergen in de gebruikersinterface door het veld hidden
in te stellen op true
.
interface FixedPolicy {
type: "fixed";
value: string | number | boolean;
hidden?: boolean;
}
Met dit voorbeeldbeleid wordt de Databricks Runtime-versie vastgesteld en wordt het veld verborgen in de gebruikersinterface.
{
"spark_version": { "type": "fixed", "value": "auto:latest-lts", "hidden": true }
}
Verboden beleid
Een verboden beleid voorkomt dat gebruikers een kenmerk configureren. Verboden beleidsregels zijn alleen compatibel met optionele kenmerken.
interface ForbiddenPolicy {
type: "forbidden";
}
Dit beleid verbiedt het koppelen van pools aan de rekenkracht voor werkknooppunten. Pools zijn ook verboden voor het besturingsknooppunt, omdat driver_instance_pool_id
het beleid overneemt.
{
"instance_pool_id": { "type": "forbidden" }
}
beleid voor toegestane lijst
Een allowlist-beleid specificeert een lijst met waarden die de gebruiker kan kiezen bij het configureren van een kenmerk.
interface AllowlistPolicy {
type: "allowlist";
values: (string | number | boolean)[];
defaultValue?: string | number | boolean;
isOptional?: boolean;
}
Met dit voorbeeld van een acceptatielijst kan de gebruiker kiezen tussen twee Databricks Runtime-versies:
{
"spark_version": { "type": "allowlist", "values": [ "13.3.x-scala2.12", "12.2.x-scala2.12" ] }
}
beleid voor blokkeerlijst
Het bloklijstbeleid bevat niet-toegestane waarden. Omdat de waarden exacte overeenkomsten moeten zijn, werkt dit beleid mogelijk niet zoals verwacht wanneer het kenmerk leniënt is in de weergave van de waarde (bijvoorbeeld het toestaan van voorloop- en volgspaties).
interface BlocklistPolicy {
type: "blocklist";
values: (string | number | boolean)[];
defaultValue?: string | number | boolean;
isOptional?: boolean;
}
In dit voorbeeld wordt voorkomen dat de gebruiker 7.3.x-scala2.12
selecteert als Databricks Runtime.
{
"spark_version": { "type": "blocklist", "values": [ "7.3.x-scala2.12" ] }
}
Regex-beleid
Een regex-beleid beperkt de beschikbare waarden tot de waarden die overeenkomen met de regex. Zorg ervoor dat uw regex is verankerd aan het begin en einde van de tekenreekswaarde voor veiligheid.
interface RegexPolicy {
type: "regex";
pattern: string;
defaultValue?: string | number | boolean;
isOptional?: boolean;
}
In dit voorbeeld worden de Databricks Runtime-versies beperkt waaruit een gebruiker kan kiezen:
{
"spark_version": { "type": "regex", "pattern": "13\\.[3456].*" }
}
-bereikbeleid
Een bereikbeleid beperkt de waarde tot een opgegeven bereik met behulp van de velden minValue
en maxValue
. De waarde moet een decimaal getal zijn.
De numerieke limieten moeten worden vertegenwoordigd als een dubbele drijvende-kommawaarde. Als u een gebrek aan een specifieke limiet wilt aangeven, kunt u minValue
of maxValue
weglaten.
interface RangePolicy {
type: "range";
minValue?: number;
maxValue?: number;
defaultValue?: string | number | boolean;
isOptional?: boolean;
}
In dit voorbeeld wordt het maximale aantal werknemers beperkt tot 10.
{
"num_workers": { "type": "range", "maxValue": 10 }
}
Onbeperkt beleid
Het onbeperkte beleid wordt gebruikt om kenmerken vereist te maken of om de standaardwaarde in de gebruikersinterface in te stellen.
interface UnlimitedPolicy {
type: "unlimited";
defaultValue?: string | number | boolean;
isOptional?: boolean;
}
In dit voorbeeld wordt de COST_BUCKET
-tag toegevoegd aan de berekening:
{
"custom_tags.COST_BUCKET": { "type": "unlimited" }
}
Als u een standaardwaarde wilt instellen voor een Spark-configuratievariabele, maar u kunt deze ook weglaten (verwijderen):
{
"spark_conf.spark.my.conf": { "type": "unlimited", "isOptional": true, "defaultValue": "my_value" }
}
Aanvullende limiterende beleidsvelden
Voor het beperken van beleidstypen kunt u twee extra velden opgeven:
-
defaultValue
: de waarde die automatisch wordt ingevuld in de gebruikersinterface voor het creëren van berekeningen. -
isOptional
: een beperkend beleid voor een kenmerk maakt dit automatisch vereist. Als u het kenmerk optioneel wilt maken, stelt u het veldisOptional
in optrue
.
Notitie
Standaardwaarden worden niet automatisch toegepast op berekeningen die zijn gemaakt met de Clusters-API. Als u standaardwaarden wilt toepassen met behulp van de API, voegt u de parameter toe apply_policy_default_values
aan de berekeningsdefinitie en stelt u deze in op true
.
In dit voorbeeldbeleid wordt de standaardwaarde id1
voor de pool voor werkknooppunten opgegeven, maar wordt deze optioneel. Wanneer u de berekening maakt, kunt u een andere pool selecteren of ervoor kiezen om er geen te gebruiken. Als driver_instance_pool_id
niet is gedefinieerd in het beleid of bij het maken van de berekening, wordt dezelfde pool gebruikt voor werkknooppunten en het stuurprogrammaknooppunt.
{
"instance_pool_id": { "type": "unlimited", "isOptional": true, "defaultValue": "id1" }
}
Beleid schrijven voor matrixkenmerken
U kunt op twee manieren beleidsregels voor matrixkenmerken opgeven:
- Algemene beperkingen voor alle matrixelementen. Deze beperkingen maken gebruik van het jokerteken
*
in het beleidspad. - Specifieke beperkingen voor een matrixelement in een specifieke index. Deze beperkingen gebruiken een getal in het pad.
Voor het matrixkenmerk init_scripts
beginnen de algemene paden bijvoorbeeld met init_scripts.*
en de specifieke paden met init_scripts.<n>
, waarbij <n>
een geheel getalindex in de matrix is (beginnend met 0).
U kunt algemene en specifieke beperkingen combineren, in welk geval de algemene beperking van toepassing is op elk matrixelement dat geen specifieke beperking heeft. In elk geval is slechts één beleidsbeperking van toepassing.
In de volgende secties ziet u voorbeelden van veelvoorkomende voorbeelden die gebruikmaken van matrixkenmerken.
Inclusiespecifieke vermeldingen vereist
U kunt geen specifieke waarden vereisen zonder de volgorde op te geven. Bijvoorbeeld:
{
"init_scripts.0.volumes.destination": {
"type": "fixed",
"value": "<required-script-1>"
},
"init_scripts.1.volumes.destination": {
"type": "fixed",
"value": "<required-script-2>"
}
}
Een vaste waarde voor de hele lijst vereisen
{
"init_scripts.0.volumes.destination": {
"type": "fixed",
"value": "<required-script-1>"
},
"init_scripts.*.volumes.destination": {
"type": "forbidden"
}
}
Het gebruik helemaal weigeren
{
"init_scripts.*.volumes.destination": {
"type": "forbidden"
}
}
Vermeldingen toestaan die een specifieke beperking volgen
{
"init_scripts.*.volumes.destination": {
"type": "regex",
"pattern": ".*<required-content>.*"
}
}
Een specifieke set init-scripts herstellen
In het geval van init_scripts
paden kan de matrix een van meerdere structuren bevatten waarvoor mogelijk alle mogelijke varianten moeten worden verwerkt, afhankelijk van de use-case. Als u bijvoorbeeld een specifieke set init-scripts wilt vereisen en een variant van de andere versie niet wilt gebruiken, kunt u het volgende patroon gebruiken:
{
"init_scripts.0.volumes.destination": {
"type": "fixed",
"value": "<volume-paths>"
},
"init_scripts.1.volumes.destination": {
"type": "fixed",
"value": "<volume-paths>"
},
"init_scripts.*.workspace.destination": {
"type": "forbidden"
},
"init_scripts.*.abfss.destination": {
"type": "forbidden"
},
"init_scripts.*.file.destination": {
"type": "forbidden"
}
}
Beleidsvoorbeelden
Deze sectie bevat beleidsvoorbeelden die u kunt gebruiken als verwijzingen voor het maken van uw eigen beleid. U kunt ook de door Azure Databricks geleverde beleidsfamilies gebruiken als sjablonen voor veelvoorkomende gebruiksscenario's voor beleid.
- algemeen rekenbeleid
- Limieten definiëren voor de rekenkracht van Delta Live Tables-pijplijnen
- eenvoudig middelgroot beleid
- taakonafhankelijk beleid
- extern metastore-beleid
- Voorkomen dat rekenvermogen wordt gebruikt in taken
- Beleid voor automatisch schalen verwijderen
- Handhaving van aangepaste tags
Algemeen rekenbeleid
Een rekenbeleid voor algemeen gebruik dat is bedoeld om gebruikers te begeleiden en bepaalde functionaliteit te beperken, waarbij tags zijn vereist, het maximum aantal exemplaren wordt beperkt en time-outs worden afgedwongen.
{
"instance_pool_id": {
"type": "forbidden",
"hidden": true
},
"spark_version": {
"type": "regex",
"pattern": "12\\.[0-9]+\\.x-scala.*"
},
"node_type_id": {
"type": "allowlist",
"values": [
"Standard_L4s",
"Standard_L8s",
"Standard_L16s"
],
"defaultValue": "Standard_L16s_v2"
},
"driver_node_type_id": {
"type": "fixed",
"value": "Standard_L16s_v2",
"hidden": true
},
"autoscale.min_workers": {
"type": "fixed",
"value": 1,
"hidden": true
},
"autoscale.max_workers": {
"type": "range",
"maxValue": 25,
"defaultValue": 5
},
"autotermination_minutes": {
"type": "fixed",
"value": 30,
"hidden": true
},
"custom_tags.team": {
"type": "fixed",
"value": "product"
}
}
Limieten definiëren voor pijplijnreken van Delta Live Tables
Notitie
Wanneer u beleidsregels gebruikt voor het configureren van delta livetabellen, raadt Databricks aan om één beleid toe te passen op zowel de default
als maintenance
compute.
Als u een beleid voor een pijplijnreken wilt configureren, maakt u een beleid met het veld cluster_type
ingesteld op dlt
. In het volgende voorbeeld wordt een minimaal beleid gemaakt voor een Berekening van Delta Live Tables:
{
"cluster_type": {
"type": "fixed",
"value": "dlt"
},
"num_workers": {
"type": "unlimited",
"defaultValue": 3,
"isOptional": true
},
"node_type_id": {
"type": "unlimited",
"isOptional": true
},
"spark_version": {
"type": "unlimited",
"hidden": true
}
}
Eenvoudig middelgroot beleid
Hiermee kunnen gebruikers een middelgrote rekenkracht maken met minimale configuratie. Het enige vereiste veld tijdens het maken is de rekennaam; de rest is vast en verborgen.
{
"instance_pool_id": {
"type": "forbidden",
"hidden": true
},
"spark_conf.spark.databricks.cluster.profile": {
"type": "forbidden",
"hidden": true
},
"autoscale.min_workers": {
"type": "fixed",
"value": 1,
"hidden": true
},
"autoscale.max_workers": {
"type": "fixed",
"value": 10,
"hidden": true
},
"autotermination_minutes": {
"type": "fixed",
"value": 60,
"hidden": true
},
"node_type_id": {
"type": "fixed",
"value": "Standard_L8s_v2",
"hidden": true
},
"driver_node_type_id": {
"type": "fixed",
"value": "Standard_L8s_v2",
"hidden": true
},
"spark_version": {
"type": "fixed",
"value": "auto:latest-ml",
"hidden": true
},
"custom_tags.team": {
"type": "fixed",
"value": "product"
}
}
Beleid uitsluitend voor banen
Hiermee kunnen gebruikers taak berekenen om taken uit te voeren. Gebruikers kunnen niet alle doeleinden berekenen met behulp van dit beleid.
{
"cluster_type": {
"type": "fixed",
"value": "job"
},
"dbus_per_hour": {
"type": "range",
"maxValue": 100
},
"instance_pool_id": {
"type": "forbidden",
"hidden": true
},
"num_workers": {
"type": "range",
"minValue": 1
},
"node_type_id": {
"type": "regex",
"pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
},
"driver_node_type_id": {
"type": "regex",
"pattern": "Standard_[DLS]*[1-6]{1,2}_v[2,3]"
},
"spark_version": {
"type": "unlimited",
"defaultValue": "auto:latest-lts"
},
"custom_tags.team": {
"type": "fixed",
"value": "product"
}
}
Extern metastore-beleid
Hiermee kunnen gebruikers rekenkracht maken met een door de beheerder gedefinieerde metastore die al is gekoppeld. Dit is handig om gebruikers in staat te stellen hun eigen rekenkracht te maken zonder dat er extra configuratie nodig is.
{
"spark_conf.spark.hadoop.javax.jdo.option.ConnectionURL": {
"type": "fixed",
"value": "jdbc:sqlserver://<jdbc-url>"
},
"spark_conf.spark.hadoop.javax.jdo.option.ConnectionDriverName": {
"type": "fixed",
"value": "com.microsoft.sqlserver.jdbc.SQLServerDriver"
},
"spark_conf.spark.databricks.delta.preview.enabled": {
"type": "fixed",
"value": "true"
},
"spark_conf.spark.hadoop.javax.jdo.option.ConnectionUserName": {
"type": "fixed",
"value": "<metastore-user>"
},
"spark_conf.spark.hadoop.javax.jdo.option.ConnectionPassword": {
"type": "fixed",
"value": "<metastore-password>"
}
}
Voorkomen dat computermiddelen worden gebruikt voor taken
Dit beleid voorkomt dat gebruikers de berekening gebruiken om taken uit te voeren. Gebruikers kunnen de berekening alleen gebruiken met notebooks.
{
"workload_type.clients.notebooks": {
"type": "fixed",
"value": true
},
"workload_type.clients.jobs": {
"type": "fixed",
"value": false
}
}
Beleid voor automatisch schalen verwijderen
Met dit beleid wordt automatisch schalen uitgeschakeld en kan de gebruiker het aantal werkers binnen een bepaald bereik instellen.
{
"num_workers": {
"type": "range",
"maxValue": 25,
"minValue": 1,
"defaultValue": 5
}
}
aangepaste tag afdwingen
Als u een regel voor rekentags wilt toevoegen aan een beleid, gebruikt u het kenmerk custom_tags.<tag-name>
.
Elke gebruiker die dit beleid gebruikt, moet bijvoorbeeld een COST_CENTER
tag invullen met 9999, 9921 of 9531 om het rekenproces te starten:
{"custom_tags.COST_CENTER": {"type":"allowlist", "values":["9999", "9921", "9531" ]}}