Sdílet prostřednictvím


ml Balíček

Balíčky

automl

Obsahuje automatizované třídy strojového učení pro Azure Machine Learning SDKv2.

Mezi hlavní oblasti patří správa úloh AutoML.

constants

Tento balíček definuje konstanty používané v Azure Machine Learning SDKv2.

data_transfer
dsl
entities

Obsahuje entity a objekty sady SDK pro Azure Machine Learning SDKv2.

Mezi hlavní oblasti patří správa cílových výpočetních prostředků, vytváření a správa pracovních prostorů a úloh a odesílání modelů, spouštění a spouštění výstupů a protokolování atd.

identity

Obsahuje konfiguraci identity pro Azure Machine Learning SDKv2.

operations

Obsahuje podporované operace pro Azure Machine Learning SDKv2.

Operace jsou třídy obsahující logiku pro interakci s back-endovými službami, které obvykle volají automaticky generované operace.

parallel
sweep

Moduly

exceptions

Obsahuje modul výjimek ve službě Azure Machine Learning SDKv2.

To zahrnuje výčty a třídy pro výjimky.

Třídy

AmlTokenConfiguration

Konfigurace identity tokenu AzureML.

Input

Inicializuje vstupní objekt.

MLClient

Klientská třída pro interakci se službami Azure ML.

Pomocí tohoto klienta můžete spravovat prostředky Azure ML, jako jsou pracovní prostory, úlohy, modely atd.

ManagedIdentityConfiguration

Konfigurace přihlašovacích údajů spravované identity

MpiDistribution

Konfigurace distribuce MPI.

Output
PyTorchDistribution

Konfigurace distribuce PyTorch.

RayDistribution

Poznámka

Toto je experimentální třída, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Konfigurace distribuce paprsku.

TensorFlowDistribution

Konfigurace distribuce TensorFlow.

UserIdentityConfiguration

Konfigurace identity uživatele.

Funkce

command

Vytvoří objekt Command, který lze použít ve funkci dsl.pipeline nebo jako samostatnou úlohu příkazu.

command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command

Parametry

name
Optional[str]

Název úlohy nebo komponenty Command.

description
Optional[str]

Popis příkazu. Výchozí hodnota je Žádná.

tags
Optional[dict[str, str]]

Slovník značek. Značky je možné přidávat, odebírat a aktualizovat. Výchozí hodnota je Žádná.

properties
Optional[dict[str, str]]

Slovník vlastností úlohy. Výchozí hodnota je Žádná.

display_name
Optional[str]

Zobrazovaný název úlohy. Výchozí hodnota je náhodně vygenerovaný název.

command
Optional[str]

Příkaz, který se má spustit. Výchozí hodnota je Žádná.

experiment_name
Optional[str]

Název experimentu, pod kterým bude úloha vytvořena. Výchozí hodnota je aktuální název adresáře.

environment
Optional[Union[str, Environment]]

Prostředí, ve které se bude úloha spouštět.

environment_variables
Optional[dict[str, str]]

Slovník názvů a hodnot proměnných prostředí. Tyto proměnné prostředí se nastavují v procesu, ve kterém se spouští uživatelský skript. Výchozí hodnota je Žádná.

distribution
Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]

Konfigurace distribuovaných úloh. Výchozí hodnota je Žádná.

compute
Optional[str]

Cílový výpočetní objekt, na který bude úloha běžet. Ve výchozím nastavení se nastaví výchozí výpočetní prostředky.

inputs
Optional[dict[str, Union[Input, str, bool, int, float, <xref:Enum>]]]

Mapování vstupních názvů na vstupní zdroje dat používané v úloze Výchozí hodnota je Žádná.

outputs
Optional[dict[str, Union[str, Output]]]

Mapování výstupních názvů na výstupní zdroje dat použité v úloze Výchozí hodnota je Žádná.

instance_count
Optional[int]

Počet instancí nebo uzlů, které mají být použity cílovým výpočetním objektem. Výchozí hodnota je 1.

instance_type
Optional[str]

Typ virtuálního počítače, který má být použit cílovým výpočetním prostředím.

locations
Optional[list[str]]

Seznam umístění, ve kterých se bude úloha spouštět.

docker_args
Optional[str]

Další argumenty, které se mají předat do příkazu Spuštění Dockeru Tím by se přepsaly všechny parametry, které už systém nebo v této části nastavil. Tento parametr se podporuje jenom pro výpočetní typy Azure ML. Výchozí hodnota je Žádná.

shm_size
Optional[str]

Velikost bloku sdílené paměti kontejneru Dockeru To by mělo být ve formátu (number)(unit), kde číslo musí být větší než 0 a jednotkou může být b(bajty), k(kilobajty), m(megabajty) nebo g(gigabajty).

timeout
Optional[int]

Číslo v sekundách, po jehož uplynutí bude úloha zrušena.

code
Optional[Union[str, PathLike]]

Zdrojový kód pro spuštění úlohy. Může to být místní cesta nebo adresa URL "http:", "https:" nebo "azureml:", která ukazuje na vzdálené umístění.

identity
Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Identita, kterou bude úloha příkazu používat při spuštění na výpočetních prostředcích.

is_deterministic
bool

Určuje, jestli příkaz vrátí stejný výstup se stejným vstupem. Výchozí hodnota je Pravda. Pokud je hodnota True, pokud je komponenta příkazu deterministická a byla spuštěna dříve v aktuálním pracovním prostoru se stejným vstupem a nastavením, bude znovu používat výsledky z dříve odeslané úlohy, pokud se použije jako uzel nebo krok v kanálu. V tomto scénáři se nebudou používat žádné výpočetní prostředky.

services
Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]

Interaktivní služby pro uzel. Výchozí hodnota je Žádná. Jedná se o experimentální parametr, který se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

job_tier
Optional[str]

Úroveň úlohy. Akceptované hodnoty jsou "Spot", "Basic", "Standard" nebo "Premium".

priority
Optional[str]

Priorita úlohy ve výpočetním prostředí. Akceptované hodnoty jsou "nízká", "střední" a "vysoká". Výchozí hodnota je "střední".

Návraty

Objekt Command.

Návratový typ

Příklady

Vytvoření úlohy příkazu pomocí metody command() builder.


   from azure.ai.ml import Input, Output, command

   train_func = command(
       environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
       command='echo "hello world"',
       distribution={"type": "Pytorch", "process_count_per_instance": 2},
       inputs={
           "training_data": Input(type="uri_folder"),
           "max_epochs": 20,
           "learning_rate": 1.8,
           "learning_rate_schedule": "time-based",
       },
       outputs={"model_output": Output(type="uri_folder")},
   )

load_batch_deployment

Vytvořte objekt dávkového nasazení ze souboru yaml.

load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml objektu dávkového nasazení. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt dávkového nasazení

Návratový typ

load_batch_endpoint

Vytvořte objekt dávkového koncového bodu ze souboru yaml.

load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml objektu dávkového koncového bodu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str
výchozí hodnota: None

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt koncového bodu dávky.

Návratový typ

load_component

Načtěte komponentu z místního nebo vzdáleného do funkce komponenty.

load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
výchozí hodnota: None

Místní zdroj yaml komponenty. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Objekt komponenty

Návratový typ

Příklady

Načtení objektu component ze souboru YAML, přepsání jeho verze na "1.0.2" a jeho vzdálená registrace.


   from azure.ai.ml import load_component

   component = load_component(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
       params_override=[{"version": "1.0.2"}],
   )
   registered_component = ml_client.components.create_or_update(component)

load_compute

Vytvoření výpočetního objektu ze souboru yaml

load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml výpočetních prostředků. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
Optional[str]

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
Optional[List[Dict]]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Načtený výpočetní objekt.

Návratový typ

Příklady

Načtení objektu Compute ze souboru YAML a přepsání jeho popisu


   from azure.ai.ml import load_compute

   compute = load_compute(
       "../tests/test_configs/compute/compute-vm.yaml",
       params_override=[{"description": "loaded from compute-vm.yaml"}],
   )

load_data

Vytvořte datový objekt ze souboru yaml.

load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml datového objektu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořená data nebo Objekt DataImport.

Návratový typ

Výjimky

Vyvolána, pokud data nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

load_datastore

Vytvořte objekt úložiště dat ze souboru yaml.

load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml úložiště dat. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Načtený objekt úložiště dat.

Návratový typ

Výjimky

Vyvolána, pokud úložiště dat nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

load_environment

Vytvořte objekt prostředí ze souboru yaml.

load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml prostředí. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt prostředí.

Návratový typ

Výjimky

Vyvolána, pokud prostředí nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

load_job

Vytvoří objekt Job ze souboru YAML.

load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.

relative_origin
Optional[str]

Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
Optional[list[dict]]

Pole parametrů pro přepsání hodnot v souboru YAML

Návraty

Načtený objekt úlohy.

Návratový typ

Job

Výjimky

Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

Příklady

Načítá se úloha z konfiguračního souboru YAML.


   from azure.ai.ml import load_job

   job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")

load_model

Vytvoří objekt Modelu ze souboru YAML.

load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.

relative_origin
Optional[str]

Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
Optional[list[dict]]

Pole parametrů pro přepsání hodnot v souboru YAML

Návraty

Načtený objekt modelu.

Návratový typ

Výjimky

Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

Příklady

Načtení modelu z konfiguračního souboru YAML, přepsání parametrů názvu a verze


   from azure.ai.ml import load_model

   model = load_model(
       source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
       params_override=[{"name": "new_model_name"}, {"version": "1"}],
   )

load_model_package

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Vytvoří objekt ModelPackage ze souboru YAML.

load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.

relative_origin
Optional[str]

Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
Optional[list[dict]]

Pole parametrů pro přepsání hodnot v souboru YAML

Návraty

Načtený objekt ModelPackage.

Návratový typ

Výjimky

Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

Příklady

Načtení balíčku Modelu z konfiguračního souboru YAML


   from azure.ai.ml import load_model_package

   model_package = load_model_package(
       "./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
   )

load_online_deployment

Vytvořte objekt nasazení online ze souboru yaml.

load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml objektu nasazení online. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt nasazení online.

Návratový typ

Výjimky

Vyvolána, pokud nasazení online nejde úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

load_online_endpoint

Vytvoření objektu online koncového bodu ze souboru yaml

load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml objektu online koncového bodu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt online koncového bodu.

Návratový typ

Výjimky

Vyvolána, pokud online koncový bod nejde úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.

load_registry

Načtěte objekt registru ze souboru yaml.

load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml registru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Načtený objekt registru.

Návratový typ

load_workspace

Načtěte objekt pracovního prostoru ze souboru yaml.

load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml pracovního prostoru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Načtený objekt pracovního prostoru.

Návratový typ

load_workspace_connection

Vytvořte objekt připojení pracovního prostoru ze souboru yaml.

load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml objektu připojení pracovního prostoru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Vytvořený objekt připojení pracovního prostoru

Návratový typ

load_workspace_hub

Poznámka

Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Načtěte objekt WorkspaceHub ze souboru yaml.

load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub

Parametry

source
Union[<xref:PathLike>, str, TextIOWrapper]
Vyžadováno

Místní zdroj yaml WorkspaceHubu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.

relative_origin
str

Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.

params_override
List[Dict]

Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]

Návraty

Načtený objekt WorkspaceHub.

Návratový typ

spark

Vytvoří objekt Spark, který lze použít uvnitř funkce dsl.pipeline nebo použít jako samostatnou úlohu Sparku.

spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark

Parametry

experiment_name
Optional[str]

Název experimentu, ve které bude úloha vytvořena.

name
Optional[str]

Název úlohy.

display_name
Optional[str]

Zobrazovaný název úlohy.

description
Optional[str]

Popis úlohy. Výchozí hodnota je Žádná.

tags
Optional[dict[str, str]]

Slovník značek pro úlohu Značky je možné přidávat, odebírat a aktualizovat. Výchozí hodnota je Žádná.

code

Zdrojový kód pro spuštění úlohy. Může to být místní cesta nebo adresa URL "http:", "https:" nebo "azureml:", která ukazuje na vzdálené umístění.

entry
Optional[Union[dict[str, str], SparkJobEntry]]

Vstupní bod souboru nebo třídy.

py_files
Optional[list[str]]

Seznam souborů .zip, .egg nebo .py, které se mají umístit do pythonpath pro aplikace Python. Výchozí hodnota je Žádná.

jars
Optional[list[str]]

Seznam . Soubory JAR, které se mají zahrnout do cest tříd ovladače a exekutoru. Výchozí hodnota je Žádná.

files
Optional[list[str]]

Seznam souborů, které se mají umístit do pracovního adresáře každého exekutoru. Výchozí hodnota je Žádná.

archives
Optional[list[str]]

Seznam archivů, které se mají extrahovat do pracovního adresáře každého exekutoru. Výchozí hodnota je Žádná.

identity
Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]

Identita, kterou bude úloha Sparku používat při spuštění na výpočetních prostředcích.

driver_cores
Optional[int]

Počet jader, která se mají použít pro proces ovladače, pouze v režimu clusteru.

driver_memory
Optional[str]

Velikost paměti, která se má použít pro proces ovladače, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").

executor_cores
Optional[int]

Počet jader, která se mají použít na každém exekutoru.

executor_memory
Optional[str]

Velikost paměti, která se má použít na proces exekutoru, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").

executor_instances
Optional[int]

Počáteční počet exekutorů.

dynamic_allocation_enabled
Optional[bool]

Jestli se má použít dynamické přidělování prostředků, které škáluje počet exekutorů zaregistrovaných v této aplikaci nahoru nebo dolů na základě zatížení.

dynamic_allocation_min_executors
Optional[int]

Dolní mez počtu exekutorů, pokud je povolené dynamické přidělování.

dynamic_allocation_max_executors
Optional[int]

Horní mez počtu exekutorů, pokud je povolené dynamické přidělování.

conf
Optional[dict[str, str]]

Slovník s předem definovanými konfiguračními klíči a hodnotami Sparku. Výchozí hodnota je Žádná.

environment
Optional[Union[str, Environment]]

Prostředí Azure ML, ve které se má úloha spustit.

inputs
Optional[dict[str, Input]]

Mapování vstupních názvů na vstupní data použitá v úloze Výchozí hodnota je Žádná.

outputs
Optional[dict[str, Output]]

Mapování výstupních názvů na výstupní data použitá v úloze Výchozí hodnota je Žádná.

args
Optional[str]

Argumenty úlohy.

compute
Optional[str]

Výpočetní prostředek, na kterém úloha běží.

resources
Optional[Union[dict, SparkResourceConfiguration]]

Konfigurace výpočetních prostředků pro úlohu

Návraty

Objekt Spark.

Návratový typ

Příklady

Vytvoření kanálu Sparku pomocí dekorátoru kanálu DSL


   from azure.ai.ml import Input, Output, dsl, spark
   from azure.ai.ml.constants import AssetTypes, InputOutputModes

   # define the spark task
   first_step = spark(
       code="/src",
       entry={"file": "add_greeting_column.py"},
       py_files=["utils.zip"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       args="--file_input ${{inputs.file_input}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   second_step = spark(
       code="/src",
       entry={"file": "count_by_row.py"},
       jars=["scala_project.jar"],
       files=["my_files.txt"],
       driver_cores=2,
       driver_memory="1g",
       executor_cores=1,
       executor_memory="1g",
       executor_instances=1,
       inputs=dict(
           file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
       ),
       outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
       args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
       resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
   )

   # Define pipeline
   @dsl.pipeline(description="submit a pipeline with spark job")
   def spark_pipeline_from_builder(data):
       add_greeting_column = first_step(file_input=data)
       count_by_row = second_step(file_input=data)
       return {"output": count_by_row.outputs.output}

   pipeline = spark_pipeline_from_builder(
       data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
   )