Поделиться через

HDInsightCompute Класс

  • Ссылка

Управляет целевым объектом вычислений кластера HDInsight в Машинном обучении Azure.

Azure HDInsight — это популярная платформа для анализа больших данных. Она предоставляет Apache Spark, который можно использовать для обучения модели. Дополнительные сведения см. в статье о целевых объектах вычислений в Машинном обучении Azure.

Конструктор ComputeTarget класса.

Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.

Наследование
ComputeTarget
HDInsightCompute

Конструктор

HDInsightCompute(workspace, name)

Параметры

Имя Описание
workspace
Обязательно
Workspace

Объект рабочей области, содержащий извлекаемый объект HDInsightCompute.
name
Обязательно
str

Имя извлекаемого объекта HDInsightCompute.
workspace
Обязательно
Workspace

Объект рабочей области, содержащий извлекаемый объект вычислений.
name
Обязательно
str

Имя извлекаемого объекта Compute.

Комментарии

В следующем примере показано, как создать кластер Spark для Azure HDInsight.


   from azureml.core.compute import ComputeTarget, HDInsightCompute
   from azureml.exceptions import ComputeTargetException
   import os

   try:
   # If you want to connect using SSH key instead of username/password you can provide parameters private_key_file and private_key_passphrase

   # Attaching a HDInsight cluster using the public address of the HDInsight cluster is no longer supported.
   # Instead, use resourceId of the HDInsight cluster.
   # The resourceId of the HDInsight Cluster can be constructed using the following string format:
   # /subscriptions/<subscription_id>/resourceGroups/<resource_group>/providers/Microsoft.HDInsight/clusters/<cluster_name>.
   # You can also use subscription_id, resource_group and cluster_name without constructing resourceId.
       attach_config = HDInsightCompute.attach_configuration(resource_id='<resource_id>',
                                                             ssh_port=22,
                                                             username=os.environ.get('hdiusername', '<ssh_username>'),
                                                             password=os.environ.get('hdipassword', '<my_password>'))

       hdi_compute = ComputeTarget.attach(workspace=ws,
                                          name='myhdi',
                                          attach_configuration=attach_config)

   except ComputeTargetException as e:
       print("Caught = {}".format(e.message))


   hdi_compute.wait_for_completion(show_output=True)

Полный пример можно найти в https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/training/train-in-spark/train-in-spark.ipynb

Методы

attach

НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration.

Связывание существующего ресурса HDI с указанной рабочей областью.
attach_configuration

Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight.

Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi
delete

Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach.
deserialize

Преобразование объекта JSON в объект HDInsightCompute.
detach

Окончательно удаляет объект HDInsightCompute из связанной рабочей области.

Базовые облачные объекты при этом сохраняются, удаляется только связь.
get_credentials

Извлечение учетных данных для целевого объекта HDInsightCompute.
refresh_state

Выполнение обновлений свойств объекта на месте.

Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.
serialize

Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON.

attach

НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration.

Связывание существующего ресурса HDI с указанной рабочей областью.

static attach(workspace, name, username, address, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Параметры

Имя Описание
workspace
Обязательно
Workspace

Объект рабочей области, с которым нужно связать вычислительный ресурс.
name
Обязательно
str

Имя, которое нужно связать с вычислительным ресурсом в указанной рабочей области. Не обязательно должно совпадать с именем подключаемого вычислительного ресурса.
username
Обязательно
str

Имя пользователя, необходимое для доступа к ресурсу.
address
Обязательно
str

Адрес подключаемого ресурса.
ssh_port
int

Предоставленный для ресурса порт. Значение по умолчанию — 22.

Default value: 22
password
Обязательно
str

Пароль, необходимый для доступа к ресурсу.
private_key_file
Обязательно
str

Путь к файлу, содержащему закрытый ключ для ресурса.
private_key_passphrase
Обязательно
str

Фраза закрытого ключа, необходимая для доступа к ресурсу.

Возвращаемое значение

Тип Описание
HDInsightCompute

Представление объекта вычислений HDInsightCompute.

Исключения

Тип Описание
ComputeTargetException

attach_configuration

Создание объекта конфигурации для подключения целевого объекта вычислений HDInsight.

Подключение кластера HDInsight с использованием общедоступного адреса кластера HDInsight больше не поддерживается. Вместо этого используйте идентификатор ресурса (resourceId) в кластере HDInsight. resourceId кластера HDInsight может быть создан в следующем формате строки: "/subscriptions/<subscription_id>/resourceGroups/<resource_group>/ providers/Microsoft.HDInsight/clusters/<cluster_name>".

Можно также использовать subscription_id, resource_group и vm_name без создания resourceId. Дополнительные сведения: https://aka.ms/azureml-compute-hdi

static attach_configuration(username, subscription_id=None, resource_group=None, cluster_name=None, resource_id=None, address=None, ssh_port='22', password='', private_key_file='', private_key_passphrase='')

Параметры

Имя Описание
username
Обязательно
str

Имя пользователя, необходимое для доступа к ресурсу.
subscription_id
str

Идентификатор подписки Azure.

Default value: None
resource_group
str

Имя группы ресурсов, в которой находится кластер HDI.

Default value: None
cluster_name
str

Имя кластера HDI

Default value: None
resource_id
str

Идентификатор ресурса Azure Resource Manager (ARM) для существующего ресурса.

Default value: None
address
str

Адрес подключаемого ресурса.

Default value: None
ssh_port
int

Предоставленный для ресурса порт. Значение по умолчанию — 22.

Default value: 22
password
Обязательно
str

Пароль, необходимый для доступа к ресурсу.
private_key_file
Обязательно
str

Путь к файлу, содержащему закрытый ключ для ресурса.
private_key_passphrase
Обязательно
str

Фраза закрытого ключа, необходимая для доступа к ресурсу.

Возвращаемое значение

Тип Описание
HDInsightAttachConfiguration

Объект конфигурации, который нужно использовать при подключении объекта вычислений.

Исключения

Тип Описание
ComputeTargetException

delete

Удаление не поддерживается для объекта HDInsightCompute. Взамен рекомендуется использовать detach.

delete()

Исключения

Тип Описание
ComputeTargetException

deserialize

Преобразование объекта JSON в объект HDInsightCompute.

static deserialize(workspace, object_dict)

Параметры

Имя Описание
workspace
Обязательно
Workspace

Объект рабочей области, с которым связан объект HDInsightCompute.
object_dict
Обязательно
dict

Объект JSON для преобразования в объект HDInsightCompute.

Возвращаемое значение

Тип Описание
HDInsightCompute

Представление HDInsightCompute указанного объекта JSON.

Исключения

Тип Описание
ComputeTargetException

Комментарии

Генерирует ComputeTargetException, если указана не та рабочая область, с которой связано вычисление.

detach

Окончательно удаляет объект HDInsightCompute из связанной рабочей области.

Базовые облачные объекты при этом сохраняются, удаляется только связь.

detach()

Исключения

Тип Описание
ComputeTargetException

get_credentials

Извлечение учетных данных для целевого объекта HDInsightCompute.

get_credentials()

Возвращаемое значение

Тип Описание
dict

Учетные данные для целевого объекта HDInsightCompute

Исключения

Тип Описание
ComputeTargetException

refresh_state

Выполнение обновлений свойств объекта на месте.

Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.

refresh_state()

Исключения

Тип Описание
ComputeTargetException

serialize

Преобразование этого объекта HDInsightCompute в сериализованный словарь JSON.

serialize()

Возвращаемое значение

Тип Описание
dict

Представление JSON этого объекта HDICompute.

Исключения

Тип Описание
ComputeTargetException