HDInsightCompute Klasse
Dient zum Verwalten eines HDInsight-Clustercomputeziels in Azure Machine Learning.
Azure HDInsight ist eine beliebte Plattform für Big Data-Analysen. Die Plattform stellt Apache Spark bereit, das zum Training Ihres Modells verwendet werden kann. Weitere Informationen finden Sie unter Was sind Computeziele in Azure Machine Learning?.
ComputeTarget-Konstruktor der Klasse.
Rufen Sie eine Clouddarstellung eines Compute-Objekts ab, das dem bereitgestellten Arbeitsbereich zugeordnet ist. Gibt einen instance einer untergeordneten Klasse zurück, die dem spezifischen Typ des abgerufenen Compute-Objekts entspricht.
- Vererbung
-
HDInsightCompute
Konstruktor
HDInsightCompute(workspace, name)
Parameter
Name | Beschreibung |
---|---|
workspace
Erforderlich
|
Das Arbeitsbereichsobjekt, das das abzurufende HDInsightCompute-Objekt enthält. |
name
Erforderlich
|
Der Name des abzurufenden HDInsightCompute-Objekts. |
workspace
Erforderlich
|
Das Workspace-Objekt, das das abzurufende Compute-Objekt enthält. |
name
Erforderlich
|
Der Name des abzurufenden Compute-Objekts. |
Hinweise
Das folgende Beispiel zeigt, wie Sie einen Spark für HDInsight-Cluster in Azure erstellen.
from azureml.core.compute import ComputeTarget, HDInsightCompute
from azureml.exceptions import ComputeTargetException
import os
try:
# If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase
# Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
# Instead, use resourceId of the HDInsight cluster.
# The resourceId of the HDInsight Cluster can be constructed using the following string format:
# /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
# You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
ssh_port=22,
username=os.environ.get('hdiusername', '<ssh_username>'),
password=os.environ.get('hdipassword', '<my_password>'))
hdi_compute = ComputeTarget.attach(workspace=ws,
name='myhdi',
attach_configuration=attach_config)
except ComputeTargetException as e:
print("Caught = {}".format(e.message))
hdi_compute.wait_for_completion(show_output=True)
Das vollständige Beispiel finden Sie unter https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb.
Methoden
attach |
VERALTET. Verwenden Sie stattdessen die Zuordnung einer vorhandenen HDI-Computeressource zu einem bereitgestellten Arbeitsbereich. |
attach_configuration |
Erstellen eines Konfigurationsobjekts zum Anfügen eines HDInsight-Computeziels. Das Anfügen eines HDInsight-Clusters mithilfe der öffentlichen Adresse des HDInsight-Clusters wird nicht mehr unterstützt. Verwenden Sie stattdessen die Ressourcen-ID des HDInsight-Clusters. Die Ressourcen-ID des HDInsight-Clusters kann in folgendem Format erstellt werden: „/subscriptions/<subscription-ID>/resourceGroups/<rssource_group>/providers/Microsoft.HDinsight/clusters/<cluster_name>“. Sie können auch subscription_id, resource_group und cluster_name verwenden, ohne die Ressourcen-ID zu erstellen. Weitere Details finden Sie unter: https://aka.ms/azureml-compute-hdi |
delete |
Löschen wird für HDInsightCompute-Objekte nicht unterstützt. Verwenden Sie stattdessen detach. |
deserialize |
Konvertieren eines JSON-Objekts in ein HDInsightCompute-Objekt. |
detach |
Trennt das HDInsightCompute-Objekt vom zugeordneten Arbeitsbereich. Zugrunde liegende Cloudobjekte werden nicht gelöscht, nur die Zuordnung wird entfernt. |
get_credentials |
Abrufen der Anmeldeinformationen für das HDInsightCompute-Ziel. |
refresh_state |
Führen Sie eine direkte Aktualisierung der Eigenschaften des Objekts durch. Mit dieser Methode werden die Eigenschaften basierend auf dem aktuellen Zustand des entsprechenden Cloud-Objekts aktualisiert. Sie wird in erster Linie zum manuellen Abrufen des Compute-Zustands verwendet. |
serialize |
Konvertieren dieses HDInsightCompute-Objekts in ein serialisiertes JSON-Wörterbuch. |
attach
VERALTET. Verwenden Sie stattdessen die attach_configuration
-Methode.
Zuordnung einer vorhandenen HDI-Computeressource zu einem bereitgestellten Arbeitsbereich.
static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parameter
Name | Beschreibung |
---|---|
workspace
Erforderlich
|
Das Arbeitsbereichsobjekt, dem die Computeressource zugeordnet werden soll. |
name
Erforderlich
|
Name, der der Computeressource innerhalb des bereitgestellten Arbeitsbereichs zugeordnet werden soll. Muss nicht mit dem Namen der anzufügenden Computeressource übereinstimmen. |
username
Erforderlich
|
Der für den Zugriff auf die Ressource erforderliche Benutzername. |
address
Erforderlich
|
Adresse der Ressource, die angefügt werden soll. |
ssh_port
|
Der für die Ressource verfügbar gemachte Port. Der Standardwert ist 22. Standardwert: 22
|
password
Erforderlich
|
Das für den Zugriff auf die Ressource erforderliche Kennwort. |
private_key_file
Erforderlich
|
Der Pfad zu einer Datei, die den privaten Schlüssel für die Ressource enthält. |
private_key_passphrase
Erforderlich
|
Der private Schlüsselbegriff, der für den Zugriff auf die Ressource erforderlich ist. |
Gibt zurück
Typ | Beschreibung |
---|---|
Eine HDInsightCompute-Objektdarstellung des Compute-Objekts. |
Ausnahmen
Typ | Beschreibung |
---|---|
attach_configuration
Erstellen eines Konfigurationsobjekts zum Anfügen eines HDInsight-Computeziels.
Das Anfügen eines HDInsight-Clusters mithilfe der öffentlichen Adresse des HDInsight-Clusters wird nicht mehr unterstützt. Verwenden Sie stattdessen die Ressourcen-ID des HDInsight-Clusters. Die Ressourcen-ID des HDInsight-Clusters kann in folgendem Format erstellt werden: „/subscriptions/<subscription-ID>/resourceGroups/<rssource_group>/providers/Microsoft.HDinsight/clusters/<cluster_name>“.
Sie können auch subscription_id, resource_group und cluster_name verwenden, ohne die Ressourcen-ID zu erstellen. Weitere Details finden Sie unter: https://aka.ms/azureml-compute-hdi
static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')
Parameter
Name | Beschreibung |
---|---|
username
Erforderlich
|
Der für den Zugriff auf die Ressource erforderliche Benutzername |
subscription_id
|
Die Azure-Abonnement-ID Standardwert: None
|
resource_group
|
Der Name der Ressourcengruppe, in der sich der HDI-Cluster befindet. Standardwert: None
|
cluster_name
|
Der Name des HDI-Clusters Standardwert: None
|
resource_id
|
Die Azure Resource Manager(ARM)-Ressourcen-ID für die Ressource, die angefügt werden soll. Standardwert: None
|
address
|
Die Adresse für die Ressource, die angefügt werden soll. Standardwert: None
|
ssh_port
|
Der für die Ressource verfügbar gemachte Port. Der Standardwert ist 22. Standardwert: 22
|
password
Erforderlich
|
Das für den Zugriff auf die Ressource erforderliche Kennwort. |
private_key_file
Erforderlich
|
Der Pfad zu einer Datei, die den privaten Schlüssel für die Ressource enthält. |
private_key_passphrase
Erforderlich
|
Der private Schlüsselbegriff, der für den Zugriff auf die Ressource erforderlich ist. |
Gibt zurück
Typ | Beschreibung |
---|---|
Ein Configuration-Objekt, das beim Anfügen eines Compute-Objekts verwendet werden soll. |
Ausnahmen
Typ | Beschreibung |
---|---|
delete
Löschen wird für HDInsightCompute-Objekte nicht unterstützt. Verwenden Sie stattdessen detach.
delete()
Ausnahmen
Typ | Beschreibung |
---|---|
deserialize
Konvertieren eines JSON-Objekts in ein HDInsightCompute-Objekt.
static deserialize(workspace, object_dict)
Parameter
Name | Beschreibung |
---|---|
workspace
Erforderlich
|
Das Arbeitsbereichsobjekt, dem das HDInsightCompute-Objekt zugeordnet ist. |
object_dict
Erforderlich
|
Ein JSON-Objekt, das in ein HDInsightCompute-Objekt konvertiert werden soll. |
Gibt zurück
Typ | Beschreibung |
---|---|
Die HDInsightCompute-Darstellung des bereitgestellten JSON-Objekts. |
Ausnahmen
Typ | Beschreibung |
---|---|
Hinweise
Wenn der bereitgestellte Arbeitsbereich nicht der Arbeitsbereich ist, dem das Compute-Objekt zugeordnet ist, wird eine ComputeTargetException ausgelöst.
detach
Trennt das HDInsightCompute-Objekt vom zugeordneten Arbeitsbereich.
Zugrunde liegende Cloudobjekte werden nicht gelöscht, nur die Zuordnung wird entfernt.
detach()
Ausnahmen
Typ | Beschreibung |
---|---|
get_credentials
Abrufen der Anmeldeinformationen für das HDInsightCompute-Ziel.
get_credentials()
Gibt zurück
Typ | Beschreibung |
---|---|
Die Anmeldeinformationen für das HDInsightCompute-Ziel |
Ausnahmen
Typ | Beschreibung |
---|---|
refresh_state
Führen Sie eine direkte Aktualisierung der Eigenschaften des Objekts durch.
Mit dieser Methode werden die Eigenschaften basierend auf dem aktuellen Zustand des entsprechenden Cloud-Objekts aktualisiert. Sie wird in erster Linie zum manuellen Abrufen des Compute-Zustands verwendet.
refresh_state()
Ausnahmen
Typ | Beschreibung |
---|---|
serialize
Konvertieren dieses HDInsightCompute-Objekts in ein serialisiertes JSON-Wörterbuch.
serialize()
Gibt zurück
Typ | Beschreibung |
---|---|
Die JSON-Darstellung dieses HDICompute-Objekts. |
Ausnahmen
Typ | Beschreibung |
---|---|