ml Balíček
Balíčky
automl |
Obsahuje automatizované třídy strojového učení pro Azure Machine Learning SDKv2. Mezi hlavní oblasti patří správa úloh AutoML. |
constants |
Tento balíček definuje konstanty používané v Azure Machine Learning SDKv2. |
data_transfer | |
dsl | |
entities |
Obsahuje entity a objekty sady SDK pro Azure Machine Learning SDKv2. Mezi hlavní oblasti patří správa cílových výpočetních prostředků, vytváření a správa pracovních prostorů a úloh a odesílání modelů, spouštění a spouštění výstupů a protokolování atd. |
identity |
Obsahuje konfiguraci identity pro Azure Machine Learning SDKv2. |
operations |
Obsahuje podporované operace pro Azure Machine Learning SDKv2. Operace jsou třídy obsahující logiku pro interakci s back-endovými službami, které obvykle volají automaticky generované operace. |
parallel | |
sweep |
Moduly
exceptions |
Obsahuje modul výjimek ve službě Azure Machine Learning SDKv2. To zahrnuje výčty a třídy pro výjimky. |
Třídy
AmlTokenConfiguration |
Konfigurace identity tokenu AzureML. |
Input |
Inicializuje vstupní objekt. |
MLClient |
Klientská třída pro interakci se službami Azure ML. Pomocí tohoto klienta můžete spravovat prostředky Azure ML, jako jsou pracovní prostory, úlohy, modely atd. |
ManagedIdentityConfiguration |
Konfigurace přihlašovacích údajů spravované identity |
MpiDistribution |
Konfigurace distribuce MPI. |
Output | |
PyTorchDistribution |
Konfigurace distribuce PyTorch. |
RayDistribution |
Poznámka Toto je experimentální třída, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental. Konfigurace distribuce paprsku. |
TensorFlowDistribution |
Konfigurace distribuce TensorFlow. |
UserIdentityConfiguration |
Konfigurace identity uživatele. |
Funkce
command
Vytvoří objekt Command, který lze použít ve funkci dsl.pipeline nebo jako samostatnou úlohu příkazu.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Parametry
Slovník značek. Značky je možné přidávat, odebírat a aktualizovat. Výchozí hodnota je Žádná.
Název experimentu, pod kterým bude úloha vytvořena. Výchozí hodnota je aktuální název adresáře.
- environment
- Optional[Union[str, Environment]]
Prostředí, ve které se bude úloha spouštět.
Slovník názvů a hodnot proměnných prostředí. Tyto proměnné prostředí se nastavují v procesu, ve kterém se spouští uživatelský skript. Výchozí hodnota je Žádná.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Konfigurace distribuovaných úloh. Výchozí hodnota je Žádná.
Cílový výpočetní objekt, na který bude úloha běžet. Ve výchozím nastavení se nastaví výchozí výpočetní prostředky.
Mapování vstupních názvů na vstupní zdroje dat používané v úloze Výchozí hodnota je Žádná.
Mapování výstupních názvů na výstupní zdroje dat použité v úloze Výchozí hodnota je Žádná.
Počet instancí nebo uzlů, které mají být použity cílovým výpočetním objektem. Výchozí hodnota je 1.
Typ virtuálního počítače, který má být použit cílovým výpočetním prostředím.
Další argumenty, které se mají předat do příkazu Spuštění Dockeru Tím by se přepsaly všechny parametry, které už systém nebo v této části nastavil. Tento parametr se podporuje jenom pro výpočetní typy Azure ML. Výchozí hodnota je Žádná.
Velikost bloku sdílené paměti kontejneru Dockeru To by mělo být ve formátu (number)(unit), kde číslo musí být větší než 0 a jednotkou může být b(bajty), k(kilobajty), m(megabajty) nebo g(gigabajty).
Zdrojový kód pro spuštění úlohy. Může to být místní cesta nebo adresa URL "http:", "https:" nebo "azureml:", která ukazuje na vzdálené umístění.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Identita, kterou bude úloha příkazu používat při spuštění na výpočetních prostředcích.
- is_deterministic
- bool
Určuje, jestli příkaz vrátí stejný výstup se stejným vstupem. Výchozí hodnota je Pravda. Pokud je hodnota True, pokud je komponenta příkazu deterministická a byla spuštěna dříve v aktuálním pracovním prostoru se stejným vstupem a nastavením, bude znovu používat výsledky z dříve odeslané úlohy, pokud se použije jako uzel nebo krok v kanálu. V tomto scénáři se nebudou používat žádné výpočetní prostředky.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
Interaktivní služby pro uzel. Výchozí hodnota je Žádná. Jedná se o experimentální parametr, který se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Úroveň úlohy. Akceptované hodnoty jsou "Spot", "Basic", "Standard" nebo "Premium".
Priorita úlohy ve výpočetním prostředí. Akceptované hodnoty jsou "nízká", "střední" a "vysoká". Výchozí hodnota je "střední".
Návraty
Objekt Command.
Návratový typ
Příklady
Vytvoření úlohy příkazu pomocí metody command() builder.
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
Vytvořte objekt dávkového nasazení ze souboru yaml.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml objektu dávkového nasazení. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt dávkového nasazení
Návratový typ
load_batch_endpoint
Vytvořte objekt dávkového koncového bodu ze souboru yaml.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml objektu dávkového koncového bodu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt koncového bodu dávky.
Návratový typ
load_component
Načtěte komponentu z místního nebo vzdáleného do funkce komponenty.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml komponenty. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Objekt komponenty
Návratový typ
Příklady
Načtení objektu component ze souboru YAML, přepsání jeho verze na "1.0.2" a jeho vzdálená registrace.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Vytvoření výpočetního objektu ze souboru yaml
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml výpočetních prostředků. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Načtený výpočetní objekt.
Návratový typ
Příklady
Načtení objektu Compute ze souboru YAML a přepsání jeho popisu
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Vytvořte datový objekt ze souboru yaml.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml datového objektu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořená data nebo Objekt DataImport.
Návratový typ
Výjimky
Vyvolána, pokud data nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
load_datastore
Vytvořte objekt úložiště dat ze souboru yaml.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml úložiště dat. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Načtený objekt úložiště dat.
Návratový typ
Výjimky
Vyvolána, pokud úložiště dat nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
load_environment
Vytvořte objekt prostředí ze souboru yaml.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml prostředí. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt prostředí.
Návratový typ
Výjimky
Vyvolána, pokud prostředí nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
load_job
Vytvoří objekt Job ze souboru YAML.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.
Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Návraty
Načtený objekt úlohy.
Návratový typ
Výjimky
Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
Příklady
Načítá se úloha z konfiguračního souboru YAML.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
Vytvoří objekt Modelu ze souboru YAML.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.
Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Návraty
Načtený objekt modelu.
Návratový typ
Výjimky
Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
Příklady
Načtení modelu z konfiguračního souboru YAML, přepsání parametrů názvu a verze
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Vytvoří objekt ModelPackage ze souboru YAML.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Cesta k místnímu souboru YAML nebo již otevřenému objektu souboru obsahujícího konfiguraci úlohy. Pokud je zdrojem cesta, otevře se a přečte. Pokud je zdrojem otevřený soubor, bude soubor čten přímo.
Kořenový adresář PRO YAML. Tento adresář se použije jako původ pro odvodit relativní umístění souborů, na které se odkazuje v parsovaném YAML. Výchozí hodnota je stejný adresář jako zdroj, pokud je zdrojem vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Návraty
Načtený objekt ModelPackage.
Návratový typ
Výjimky
Vyvolána, pokud úlohu nelze úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
Příklady
Načtení balíčku Modelu z konfiguračního souboru YAML
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Vytvořte objekt nasazení online ze souboru yaml.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml objektu nasazení online. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt nasazení online.
Návratový typ
Výjimky
Vyvolána, pokud nasazení online nejde úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
load_online_endpoint
Vytvoření objektu online koncového bodu ze souboru yaml
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml objektu online koncového bodu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt online koncového bodu.
Návratový typ
Výjimky
Vyvolána, pokud online koncový bod nejde úspěšně ověřit. Podrobnosti budou uvedeny v chybové zprávě.
load_registry
Načtěte objekt registru ze souboru yaml.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml registru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Načtený objekt registru.
Návratový typ
load_workspace
Načtěte objekt pracovního prostoru ze souboru yaml.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml pracovního prostoru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Načtený objekt pracovního prostoru.
Návratový typ
load_workspace_connection
Vytvořte objekt připojení pracovního prostoru ze souboru yaml.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml objektu připojení pracovního prostoru. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Vytvořený objekt připojení pracovního prostoru
Návratový typ
load_workspace_hub
Poznámka
Jedná se o experimentální metodu, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.
Načtěte objekt WorkspaceHub ze souboru yaml.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Parametry
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Místní zdroj yaml WorkspaceHubu. Musí to být buď cesta k místnímu souboru, nebo již otevřený soubor. Pokud je zdrojem cesta, bude otevřená a přečtená. Pokud soubor neexistuje, vyvolá se výjimka. Pokud je zdrojem otevřený soubor, bude soubor čten přímo, a pokud soubor není čitelný, vyvolá se výjimka.
- relative_origin
- str
Původ, který se má použít při odvodit relativní umístění souborů odkazovaných v parsovaném yaml. Výchozí hodnota je adresář zadaného zdroje, pokud se jedná o vstup cesty k souboru nebo souboru. Výchozí hodnota je ./, pokud je zdrojem vstup streamu bez hodnoty názvu.
Pole, která se mají přepsat nad souborem yaml. Formát je [{"pole1": "hodnota1"}, {"pole2": "hodnota2"}]
Návraty
Načtený objekt WorkspaceHub.
Návratový typ
spark
Vytvoří objekt Spark, který lze použít uvnitř funkce dsl.pipeline nebo použít jako samostatnou úlohu Sparku.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Parametry
Slovník značek pro úlohu Značky je možné přidávat, odebírat a aktualizovat. Výchozí hodnota je Žádná.
- code
Zdrojový kód pro spuštění úlohy. Může to být místní cesta nebo adresa URL "http:", "https:" nebo "azureml:", která ukazuje na vzdálené umístění.
Seznam souborů .zip, .egg nebo .py, které se mají umístit do pythonpath pro aplikace Python. Výchozí hodnota je Žádná.
Seznam . Soubory JAR, které se mají zahrnout do cest tříd ovladače a exekutoru. Výchozí hodnota je Žádná.
Seznam souborů, které se mají umístit do pracovního adresáře každého exekutoru. Výchozí hodnota je Žádná.
Seznam archivů, které se mají extrahovat do pracovního adresáře každého exekutoru. Výchozí hodnota je Žádná.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Identita, kterou bude úloha Sparku používat při spuštění na výpočetních prostředcích.
Počet jader, která se mají použít pro proces ovladače, pouze v režimu clusteru.
Velikost paměti, která se má použít pro proces ovladače, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").
Velikost paměti, která se má použít na proces exekutoru, formátovaná jako řetězce s příponou jednotky velikosti ("k", "m", "g" nebo "t") (např. "512m", "2g").
Jestli se má použít dynamické přidělování prostředků, které škáluje počet exekutorů zaregistrovaných v této aplikaci nahoru nebo dolů na základě zatížení.
Dolní mez počtu exekutorů, pokud je povolené dynamické přidělování.
Horní mez počtu exekutorů, pokud je povolené dynamické přidělování.
Slovník s předem definovanými konfiguračními klíči a hodnotami Sparku. Výchozí hodnota je Žádná.
- environment
- Optional[Union[str, Environment]]
Prostředí Azure ML, ve které se má úloha spustit.
Mapování vstupních názvů na vstupní data použitá v úloze Výchozí hodnota je Žádná.
Mapování výstupních názvů na výstupní data použitá v úloze Výchozí hodnota je Žádná.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
Konfigurace výpočetních prostředků pro úlohu
Návraty
Objekt Spark.
Návratový typ
Příklady
Vytvoření kanálu Sparku pomocí dekorátoru kanálu DSL
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python