ml Paket
Pakete
automl |
Enthält automatisierte Machine Learning-Klassen für Azure Machine Learning SDKv2. Zu den Hauptbereichen gehören die Verwaltung von AutoML-Aufgaben. |
constants |
Dieses Paket definiert Konstanten, die in Azure Machine Learning SDKv2 verwendet werden. |
data_transfer | |
dsl | |
entities |
Enthält Entitäten und SDK-Objekte für Azure Machine Learning SDKv2. Zu den Hauptbereichen gehören das Verwalten von Computezielen, das Erstellen/Verwalten von Arbeitsbereichen und Aufträgen sowie das Übermitteln/Zugreifen auf Modelle, Ausführungen und Ausführen von Ausgaben/Protokollierung usw. |
identity |
Enthält Die Identitätskonfiguration für Azure Machine Learning SDKv2. |
operations |
Enthält unterstützte Vorgänge für Azure Machine Learning SDKv2. Vorgänge sind Klassen, die Logik für die Interaktion mit Back-End-Diensten enthalten, in der Regel automatisch generierter Vorgangsaufrufe. |
parallel | |
sweep |
Module
exceptions |
Enthält das Ausnahmemodul in Azure Machine Learning SDKv2. Dies schließt Enumerationen und Klassen für Ausnahmen ein. |
Klassen
AmlTokenConfiguration |
Konfiguration der AzureML-Tokenidentität. |
Input |
Initialisieren Sie ein Input-Objekt. |
MLClient |
Eine Clientklasse für die Interaktion mit Azure ML-Diensten. Verwenden Sie diesen Client, um Azure ML-Ressourcen wie Arbeitsbereiche, Aufträge, Modelle usw. zu verwalten. |
ManagedIdentityConfiguration |
Konfiguration von Anmeldeinformationen für verwaltete Identitäten. |
MpiDistribution |
MPI-Verteilungskonfiguration. |
Output | |
PyTorchDistribution |
PyTorch-Verteilungskonfiguration. |
RayDistribution |
Hinweis Dies ist eine experimentelle Klasse, die jederzeit geändert werden kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen. Strahlverteilungskonfiguration. |
TensorFlowDistribution |
TensorFlow-Verteilungskonfiguration. |
UserIdentityConfiguration |
Konfiguration der Benutzeridentität. |
Functions
command
Erstellt ein Command-Objekt, das innerhalb einer dsl.pipeline-Funktion oder als eigenständiger Command-Auftrag verwendet werden kann.
command(*, name: str | None = None, description: str | None = None, tags: Dict | None = None, properties: Dict | None = None, display_name: str | None = None, command: str | None = None, experiment_name: str | None = None, environment: str | Environment | None = None, environment_variables: Dict | None = None, distribution: Dict | MpiDistribution | TensorFlowDistribution | PyTorchDistribution | RayDistribution | None = None, compute: str | None = None, inputs: Dict | None = None, outputs: Dict | None = None, instance_count: int | None = None, instance_type: str | None = None, locations: List[str] | None = None, docker_args: str | None = None, shm_size: str | None = None, timeout: int | None = None, code: PathLike | str | None = None, identity: ManagedIdentityConfiguration | AmlTokenConfiguration | UserIdentityConfiguration | None = None, is_deterministic: bool = True, services: Dict[str, JobService | JupyterLabJobService | SshJobService | TensorBoardJobService | VsCodeJobService] | None = None, job_tier: str | None = None, priority: str | None = None, **kwargs) -> Command
Parameter
Tagwörterbuch. Tags können hinzugefügt, entfernt und aktualisiert werden. Der Standardwert ist „None“.
Das Auftragseigenschaftenverzeichnis. Der Standardwert ist „None“.
Der Anzeigename des Auftrags. Standardmäßig wird ein zufällig generierter Name verwendet.
Der Name des Experiments, unter dem der Auftrag erstellt wird. Standardmäßig wird der aktuelle Verzeichnisname verwendet.
- environment
- Optional[Union[str, Environment]]
Die Umgebung, in der der Auftrag ausgeführt wird.
Ein Wörterbuch mit Namen und Werten von Umgebungsvariablen. Diese Umgebungsvariablen werden für den Prozess festgelegt, in dem das Benutzerskript ausgeführt wird. Der Standardwert ist „None“.
- distribution
- Optional[Union[dict, PyTorchDistribution, MpiDistribution, TensorFlowDistribution, RayDistribution]]
Die Konfiguration für verteilte Aufträge. Der Standardwert ist „None“.
Das Computeziel, auf dem der Auftrag ausgeführt wird. Standardmäßig wird Die Compute-Standardeinstellung verwendet.
Eine Zuordnung von Eingabenamen zu Eingabedatenquellen, die im Auftrag verwendet werden. Der Standardwert ist „None“.
Eine Zuordnung von Ausgabenamen zu ausgabedatenquellen, die im Auftrag verwendet werden. Der Standardwert ist „None“.
Die Anzahl der Instanzen oder Knoten, die vom Computeziel verwendet werden sollen. Der Standardwert lautet 1.
Der Typ des virtuellen Computers, der vom Computeziel verwendet werden soll.
Zusätzliche Argumente, die an den run-Befehl von Docker übergeben werden sollen. Dadurch würden alle Parameter außer Kraft gesetzt, die bereits vom System oder in diesem Abschnitt festgelegt wurden. Dieser Parameter wird nur für Azure ML-Computetypen unterstützt. Der Standardwert ist „None“.
Größe des freigegebenen Speicherblocks des Docker-Containers. Dies sollte im Format (Zahl)(Einheit) vorliegen, wobei die Zahl größer als 0 sein muss und die Einheit eine von b(Bytes), k(Kilobytes), m(Megabytes) oder g(Gigabytes) sein kann.
Der Quellcode zum Ausführen des Auftrags. Dies kann ein lokaler Pfad oder eine URL mit "http:", "https:" oder "azureml:" sein, die auf einen Remotespeicherort verweist.
- identity
- Optional[Union[ ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Die Identität, die der Befehlsauftrag während der Ausführung auf compute verwendet.
- is_deterministic
- bool
Gibt an, ob der Befehl bei derselben Eingabe die gleiche Ausgabe zurückgibt. Der Standardwert ist „True“. Wenn bei True eine Befehlskomponente deterministisch ist und zuvor im aktuellen Arbeitsbereich mit den gleichen Eingaben und Einstellungen ausgeführt wurde, werden Ergebnisse aus einem zuvor übermittelten Auftrag wiederverwendet, wenn sie als Knoten oder Schritt in einer Pipeline verwendet wird. In diesem Szenario werden keine Computeressourcen verwendet.
- services
- Optional[dict[str, Union[JobService, JupyterLabJobService, SshJobService, TensorBoardJobService, VsCodeJobService]]]
Die interaktiven Dienste für den Knoten. Der Standardwert ist „None“. Dies ist ein experimenteller Parameter, der sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.
Die Auftragsebene. Akzeptierte Werte sind "Spot", "Basic", "Standard" oder "Premium".
Die Priorität des Auftrags auf der Compute-Instanz. Akzeptierte Werte sind "niedrig", "mittel" und "hoch". Der Standardwert ist "medium".
Gibt zurück
Ein Command-Objekt.
Rückgabetyp
Beispiele
Erstellen eines Befehlsauftrags mithilfe der methode command() builder.
from azure.ai.ml import Input, Output, command
train_func = command(
environment="AzureML-sklearn-1.0-ubuntu20.04-py38-cpu:33",
command='echo "hello world"',
distribution={"type": "Pytorch", "process_count_per_instance": 2},
inputs={
"training_data": Input(type="uri_folder"),
"max_epochs": 20,
"learning_rate": 1.8,
"learning_rate_schedule": "time-based",
},
outputs={"model_output": Output(type="uri_folder")},
)
load_batch_deployment
Erstellen Sie ein Batchbereitstellungsobjekt aus der YAML-Datei.
load_batch_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> BatchDeployment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle eines Batchbereitstellungsobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Erstelltes Batchbereitstellungsobjekt.
Rückgabetyp
load_batch_endpoint
Erstellen Sie ein Batchendpunktobjekt aus der YAML-Datei.
load_batch_endpoint(source: str | PathLike | IO, relative_origin: str | None = None, **kwargs) -> BatchEndpoint
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle eines Batchendpunktobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Erstelltes Batchendpunktobjekt.
Rückgabetyp
load_component
Laden Sie die Komponente von einer lokalen oder remote in eine Komponentenfunktion.
load_component(source: str | PathLike | IO | None = None, *, relative_origin: str | None = None, **kwargs) -> CommandComponent | ParallelComponent | PipelineComponent
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle einer Komponente. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Ein Component-Objekt
Rückgabetyp
Beispiele
Laden eines Component-Objekts aus einer YAML-Datei, Überschreiben seiner Version auf "1.0.2" und Remoteregistrierung.
from azure.ai.ml import load_component
component = load_component(
source="./sdk/ml/azure-ai-ml/tests/test_configs/components/helloworld_component.yml",
params_override=[{"version": "1.0.2"}],
)
registered_component = ml_client.components.create_or_update(component)
load_compute
Erstellen Sie ein Computeobjekt aus einer YAML-Datei.
load_compute(source: str | PathLike | IO, *, relative_origin: str | None = None, params_override: List[Dict[str, str]] | None = None, **kwargs) -> Compute
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle einer Compute-Instanz. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Geladenes Computeobjekt.
Rückgabetyp
Beispiele
Laden eines Compute-Objekts aus einer YAML-Datei und Überschreiben seiner Beschreibung.
from azure.ai.ml import load_compute
compute = load_compute(
"../tests/test_configs/compute/compute-vm.yaml",
params_override=[{"description": "loaded from compute-vm.yaml"}],
)
load_data
Erstellen Sie ein Datenobjekt aus der YAML-Datei.
load_data(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Data
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle eines Datenobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Konstruiertes Data- oder DataImport-Objekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn Daten nicht erfolgreich überprüft werden können. Details werden in der Fehlermeldung angegeben.
load_datastore
Erstellen Sie ein Datenspeicherobjekt aus einer YAML-Datei.
load_datastore(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Datastore
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle eines Datenspeichers. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Geladenes Datenspeicherobjekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn datastore nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
load_environment
Erstellen Sie ein Umgebungsobjekt aus der YAML-Datei.
load_environment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Environment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale YAML-Quelle einer Umgebung. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird er geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten YAML verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die auf der Yaml-Datei überschrieben werden sollen. Format: [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Konstruiertes Umgebungsobjekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn die Umgebung nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
load_job
Erstellt ein Job-Objekt aus einer YAML-Datei.
load_job(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Job
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ein Pfad zu einer lokalen YAML-Datei oder einem bereits geöffneten Dateiobjekt, das eine Auftragskonfiguration enthält. Wenn die Quelle ein Pfad ist, wird sie geöffnet und gelesen. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen.
Das Stammverzeichnis für die YAML. Dieses Verzeichnis wird als Ursprung zum Ableiten der relativen Speicherorte von Dateien verwendet, auf die im analysierten YAML verwiesen wird. Standardmäßig wird dasselbe Verzeichnis wie die Quelle verwendet, wenn quelle eine Datei- oder Dateipfadeingabe ist. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Parameterfelder zum Überschreiben von Werten in der YAML-Datei.
Gibt zurück
Ein geladenes Job-Objekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn Auftrag nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
Beispiele
Laden eines Auftrags aus einer YAML-Konfigurationsdatei.
from azure.ai.ml import load_job
job = load_job(source="./sdk/ml/azure-ai-ml/tests/test_configs/command_job/command_job_test_local_env.yml")
load_model
Erstellt ein Model-Objekt aus einer YAML-Datei.
load_model(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Model
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ein Pfad zu einer lokalen YAML-Datei oder einem bereits geöffneten Dateiobjekt, das eine Auftragskonfiguration enthält. Wenn die Quelle ein Pfad ist, wird sie geöffnet und gelesen. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen.
Das Stammverzeichnis für die YAML. Dieses Verzeichnis wird als Ursprung zum Ableiten der relativen Speicherorte von Dateien verwendet, auf die im analysierten YAML verwiesen wird. Standardmäßig wird dasselbe Verzeichnis wie die Quelle verwendet, wenn quelle eine Datei- oder Dateipfadeingabe ist. Der Standardwert ist "./", wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Parameterfelder zum Überschreiben von Werten in der YAML-Datei.
Gibt zurück
Ein geladenes Model-Objekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn Auftrag nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
Beispiele
Laden eines Modells aus einer YAML-Konfigurationsdatei, wobei der Name und die Versionsparameter überschrieben werden.
from azure.ai.ml import load_model
model = load_model(
source="./sdk/ml/azure-ai-ml/tests/test_configs/model/model_with_stage.yml",
params_override=[{"name": "new_model_name"}, {"version": "1"}],
)
load_model_package
Hinweis
Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.
Erstellt ein ModelPackage-Objekt aus einer YAML-Datei.
load_model_package(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> ModelPackage
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Ein Pfad zu einer lokalen YAML-Datei oder einem bereits geöffneten Dateiobjekt, das eine Auftragskonfiguration enthält. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen.
Das Stammverzeichnis für das YAML. Dieses Verzeichnis wird als Ursprung verwendet, um die relativen Speicherorte von Dateien abzuleiten, auf die im analysierten YAML verwiesen wird. Standardmäßig wird dasselbe Verzeichnis wie die Quelle verwendet, wenn es sich bei der Quelle um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Parameterfelder zum Überschreiben von Werten in der YAML-Datei.
Gibt zurück
Ein geladenes ModelPackage-Objekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn Auftrag nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
Beispiele
Laden eines ModelPackage aus einer YAML-Konfigurationsdatei.
from azure.ai.ml import load_model_package
model_package = load_model_package(
"./sdk/ml/azure-ai-ml/tests/test_configs/model_package/model_package_simple.yml"
)
load_online_deployment
Erstellen Sie ein Onlinebereitstellungsobjekt aus der Yaml-Datei.
load_online_deployment(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineDeployment
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle eines Onlinebereitstellungsobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Erstelltes Onlinebereitstellungsobjekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn die Onlinebereitstellung nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
load_online_endpoint
Erstellen Sie ein Onlineendpunktobjekt aus der Yaml-Datei.
load_online_endpoint(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> OnlineEndpoint
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle eines Onlineendpunktobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Erstelltes Onlineendpunktobjekt.
Rückgabetyp
Ausnahmen
Wird ausgelöst, wenn der Onlineendpunkt nicht erfolgreich überprüft werden kann. Details werden in der Fehlermeldung angegeben.
load_registry
Laden Sie ein Registrierungsobjekt aus einer yaml-Datei.
load_registry(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Registry
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle einer Registrierung. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Geladenes Registrierungsobjekt.
Rückgabetyp
load_workspace
Laden Sie ein Arbeitsbereichsobjekt aus einer yaml-Datei.
load_workspace(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> Workspace
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle eines Arbeitsbereichs. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Geladenes Arbeitsbereichsobjekt.
Rückgabetyp
load_workspace_connection
Erstellen Sie ein Arbeitsbereichsverbindungsobjekt aus der yaml-Datei.
load_workspace_connection(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceConnection
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle eines Arbeitsbereichsverbindungsobjekts. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Erstelltes Arbeitsbereichsverbindungsobjekt.
Rückgabetyp
load_workspace_hub
Hinweis
Dies ist eine experimentelle Methode, die sich jederzeit ändern kann. Unter https://aka.ms/azuremlexperimental finden Sie weitere Informationen.
Laden Sie ein WorkspaceHub-Objekt aus einer yaml-Datei.
load_workspace_hub(source: str | PathLike | IO, *, relative_origin: str | None = None, **kwargs) -> WorkspaceHub
Parameter
- source
- Union[<xref:PathLike>, str, TextIOWrapper]
Die lokale Yaml-Quelle eines WorkspaceHubs. Muss entweder ein Pfad zu einer lokalen Datei oder eine bereits geöffnete Datei sein. Wenn es sich bei der Quelle um einen Pfad handelt, wird sie geöffnet und gelesen. Eine Ausnahme wird ausgelöst, wenn die Datei nicht vorhanden ist. Wenn es sich bei der Quelle um eine geöffnete Datei handelt, wird die Datei direkt gelesen, und eine Ausnahme wird ausgelöst, wenn die Datei nicht lesbar ist.
- relative_origin
- str
Der Ursprung, der beim Ableiten der relativen Speicherorte von Dateien verwendet werden soll, auf die im analysierten yaml verwiesen wird. Wird standardmäßig auf das Verzeichnis der eingegebenen Quelle festgelegt, wenn es sich um eine Datei- oder Dateipfadeingabe handelt. Standardmäßig wird "./" verwendet, wenn es sich bei der Quelle um eine Streameingabe ohne Namenswert handelt.
Felder, die über die yaml-Datei überschrieben werden sollen. Format ist [{"field1": "value1"}, {"field2": "value2"}]
Gibt zurück
Das WorkspaceHub-Objekt wurde geladen.
Rückgabetyp
spark
Erstellt ein Spark-Objekt, das in einer dsl.pipeline-Funktion oder als eigenständiger Spark-Auftrag verwendet werden kann.
spark(*, experiment_name: str | None = None, name: str | None = None, display_name: str | None = None, description: str | None = None, tags: Dict | None = None, code: PathLike | str | None = None, entry: Dict[str, str] | SparkJobEntry | None = None, py_files: List[str] | None = None, jars: List[str] | None = None, files: List[str] | None = None, archives: List[str] | None = None, identity: Dict[str, str] | ManagedIdentity | AmlToken | UserIdentity | None = None, driver_cores: int | None = None, driver_memory: str | None = None, executor_cores: int | None = None, executor_memory: str | None = None, executor_instances: int | None = None, dynamic_allocation_enabled: bool | None = None, dynamic_allocation_min_executors: int | None = None, dynamic_allocation_max_executors: int | None = None, conf: Dict[str, str] | None = None, environment: str | Environment | None = None, inputs: Dict | None = None, outputs: Dict | None = None, args: str | None = None, compute: str | None = None, resources: Dict | SparkResourceConfiguration | None = None, **kwargs) -> Spark
Parameter
Das Wörterbuch der Tags für den Auftrag. Tags können hinzugefügt, entfernt und aktualisiert werden. Der Standardwert ist „None“.
- code
Der Quellcode zum Ausführen des Auftrags. Dies kann ein lokaler Pfad oder eine URL mit "http:", "https:" oder "azureml:" sein, die auf einen Remotespeicherort verweist.
Die Liste der .zip-, EGG- oder PY-Dateien, die in PYTHONPATH für Python-Apps platziert werden sollen. Der Standardwert ist „None“.
Die Liste von . JAR-Dateien, die in treiber- und executor-Klassenpfade eingeschlossen werden sollen. Der Standardwert ist „None“.
Die Liste der Dateien, die im Arbeitsverzeichnis jedes Executors abgelegt werden sollen. Der Standardwert ist „None“.
Die Liste der Archive, die in das Arbeitsverzeichnis jedes Executors extrahiert werden sollen. Der Standardwert ist „None“.
- identity
- Optional[Union[ dict[str, str], ManagedIdentityConfiguration, AmlTokenConfiguration, UserIdentityConfiguration]]
Die Identität, die der Spark-Auftrag während der Ausführung auf Compute verwendet.
Die Anzahl der Kerne, die nur im Clustermodus für den Treiberprozess verwendet werden sollen.
Die Menge des Arbeitsspeichers, der für den Treiberprozess verwendet werden soll, formatiert als Zeichenfolgen mit einem Größeneinheitssuffix ("k", "m", "g" oder "t") (z. B. "512m", "2g").
Die Menge an Arbeitsspeicher, der pro Executorprozess verwendet werden soll, formatiert als Zeichenfolgen mit einem Größeneinheitssuffix ("k", "m", "g" oder "t") (z. B. "512m", "2g").
Gibt an, ob die dynamische Ressourcenzuordnung verwendet werden soll, wodurch die Anzahl der bei dieser Anwendung registrierten Executors basierend auf der Workload hoch- und herunterskaliert wird.
Die Untergrenze für die Anzahl der Executors, wenn die dynamische Zuordnung aktiviert ist.
Die Obergrenze für die Anzahl der Executors, wenn die dynamische Zuordnung aktiviert ist.
Ein Wörterbuch mit vordefinierten Spark-Konfigurationsschlüsseln und -Werten. Der Standardwert ist „None“.
- environment
- Optional[Union[str, Environment]]
Die Azure ML-Umgebung, in der der Auftrag ausgeführt werden soll.
Eine Zuordnung von Eingabenamen zu Eingabedaten, die im Auftrag verwendet werden. Der Standardwert ist „None“.
Eine Zuordnung von Ausgabenamen zu Ausgabedaten, die im Auftrag verwendet werden. Der Standardwert ist „None“.
- resources
- Optional[Union[dict, SparkResourceConfiguration]]
Die Computeressourcenkonfiguration für den Auftrag.
Gibt zurück
Ein Spark-Objekt.
Rückgabetyp
Beispiele
Erstellen einer Spark-Pipeline mit dem DSL-Pipelinedekorator
from azure.ai.ml import Input, Output, dsl, spark
from azure.ai.ml.constants import AssetTypes, InputOutputModes
# define the spark task
first_step = spark(
code="/src",
entry={"file": "add_greeting_column.py"},
py_files=["utils.zip"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
args="--file_input ${{inputs.file_input}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
second_step = spark(
code="/src",
entry={"file": "count_by_row.py"},
jars=["scala_project.jar"],
files=["my_files.txt"],
driver_cores=2,
driver_memory="1g",
executor_cores=1,
executor_memory="1g",
executor_instances=1,
inputs=dict(
file_input=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT)
),
outputs=dict(output=Output(type="uri_folder", mode=InputOutputModes.DIRECT)),
args="--file_input ${{inputs.file_input}} --output ${{outputs.output}}",
resources={"instance_type": "standard_e4s_v3", "runtime_version": "3.2.0"},
)
# Define pipeline
@dsl.pipeline(description="submit a pipeline with spark job")
def spark_pipeline_from_builder(data):
add_greeting_column = first_step(file_input=data)
count_by_row = second_step(file_input=data)
return {"output": count_by_row.outputs.output}
pipeline = spark_pipeline_from_builder(
data=Input(path="/dataset/iris.csv", type=AssetTypes.URI_FILE, mode=InputOutputModes.DIRECT),
)
Azure SDK for Python