DatabricksCompute Класс

Ссылка

Управляет целевым объектом вычислений Databricks в Машинном обучении Microsoft Azure.

Azure Databricks — это среда, которая лежит в основе Apache Spark в облаке Azure. Ее можно использовать как целевой объект вычислений с помощью конвейера Машинного обучения Azure. Дополнительные сведения см. в статье о целевых объектах вычислений в Машинном обучении Azure.

Конструктор ComputeTarget класса.

Получение облачного представления вычислительного объекта, связанного с предоставленной рабочей областью. Возвращает экземпляр дочернего класса, соответствующий конкретному типу извлеченного объекта Compute.

Наследование: ComputeTarget

DatabricksCompute

Конструктор

DatabricksCompute(workspace, name)

Параметры

Имя	Описание
workspace Обязательно	Workspace Объект рабочей области, содержащий извлекаемый объект DatabricksCompute.
name Обязательно	str Имя извлекаемого объекта DatabricksCompute.
workspace Обязательно	Workspace Объект рабочей области, содержащий извлекаемый объект вычислений.
name Обязательно	str Имя извлекаемого объекта Compute.


   # Replace with your account info before running.

   db_compute_name=os.getenv("DATABRICKS_COMPUTE_NAME", "<my-databricks-compute-name>") # Databricks compute name
   db_resource_group=os.getenv("DATABRICKS_RESOURCE_GROUP", "<my-db-resource-group>") # Databricks resource group
   db_workspace_name=os.getenv("DATABRICKS_WORKSPACE_NAME", "<my-db-workspace-name>") # Databricks workspace name
   db_access_token=os.getenv("DATABRICKS_ACCESS_TOKEN", "<my-access-token>") # Databricks access token

   try:
       databricks_compute = DatabricksCompute(workspace=ws, name=db_compute_name)
       print('Compute target {} already exists'.format(db_compute_name))
   except ComputeTargetException:
       print('Compute not found, will use below parameters to attach new one')
       print('db_compute_name {}'.format(db_compute_name))
       print('db_resource_group {}'.format(db_resource_group))
       print('db_workspace_name {}'.format(db_workspace_name))
       print('db_access_token {}'.format(db_access_token))

       config = DatabricksCompute.attach_configuration(
           resource_group = db_resource_group,
           workspace_name = db_workspace_name,
           access_token= db_access_token)
       databricks_compute=ComputeTarget.attach(ws, db_compute_name, config)
       databricks_compute.wait_for_completion(True)

Полный пример можно найти по адресу: https://github.com/Azure/MachineLearningNotebooks/blob/master/how-to-use-azureml/machine-learning-pipelines/intro-to-pipelines/aml-pipelines-use-databricks-as-compute-target.ipynb

Методы

attach	НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод `attach_configuration`. Связывание существующего вычислительного ресурса Databricks с указанной рабочей областью.
attach_configuration	Создание объекта конфигурации для подключения целевого объекта вычислений Databricks.
delete	Удаление объекта DatabricksCompute не поддерживается. Взамен рекомендуется использовать detach.
deserialize	Преобразование объекта JSON в объект DatabricksCompute.
detach	Окончательное удаление объекта Databricks из связанной рабочей области. Базовые облачные объекты при этом сохраняются, удаляется только связь.
get_credentials	Получение учетных данных для целевого объекта Databricks.
refresh_state	Выполнение обновлений свойств объекта на месте. Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.
serialize	Преобразование объекта DatabricksCompute в сериализованный словарь JSON.

attach

НЕ РЕКОМЕНДУЕТСЯ. Вместо этого рекомендуется использовать метод attach_configuration.

Связывание существующего вычислительного ресурса Databricks с указанной рабочей областью.

static attach(workspace, name, resource_id, access_token)

Параметры

Имя	Описание
workspace Обязательно	Workspace Объект рабочей области, с которым нужно связать вычислительный ресурс.
name Обязательно	str Имя, которое нужно связать с вычислительным ресурсом в указанной рабочей области. Не обязательно должно совпадать с именем подключаемого вычислительного ресурса.
resource_id Обязательно	str Идентификатор ресурса Azure для подключаемого вычислительного ресурса.
access_token Обязательно	str Маркер доступа для подключенного ресурса.

Возвращаемое значение

Тип	Описание
DatabricksCompute	Представление объекта DatabricksCompute для объекта вычислений.

Исключения

Тип	Описание
ComputeTargetException

attach_configuration

Создание объекта конфигурации для подключения целевого объекта вычислений Databricks.

static attach_configuration(resource_group=None, workspace_name=None, resource_id=None, access_token='')

Параметры

Имя	Описание
resource_group	str Имя группы ресурсов, в которой находится объект Databricks. Default value: None
workspace_name	str Рабочая область Databricks. Default value: None
resource_id	str Идентификатор ресурса Azure для подключаемого вычислительного ресурса. Default value: None
access_token Обязательно	str Маркер доступа для подключаемого вычислительного ресурса.

Возвращаемое значение

Тип	Описание
DatabricksAttachConfiguration	Объект конфигурации, который нужно использовать при подключении объекта вычислений.

Исключения

Тип	Описание
ComputeTargetException

delete

Удаление объекта DatabricksCompute не поддерживается. Взамен рекомендуется использовать detach.

delete()

Исключения

Тип	Описание
ComputeTargetException

deserialize

Преобразование объекта JSON в объект DatabricksCompute.

static deserialize(workspace, object_dict)

Параметры

Имя	Описание
workspace Обязательно	Workspace Объект рабочей области, с которым связан объект DatabricksCompute.
object_dict Обязательно	dict Объект JSON для преобразования в объект DatabricksCompute.

Возвращаемое значение

Тип	Описание
DatabricksCompute	Представление DatabricksCompute указанного объекта JSON.

Исключения

Тип	Описание
ComputeTargetException

detach

Окончательное удаление объекта Databricks из связанной рабочей области.

Базовые облачные объекты при этом сохраняются, удаляется только связь.

detach()

Исключения

Тип	Описание
ComputeTargetException

get_credentials

Получение учетных данных для целевого объекта Databricks.

get_credentials()

Возвращаемое значение

Тип	Описание
dict	Учетные данные целевого объекта Databricks.

Исключения

Тип	Описание
ComputeTargetException

refresh_state

Выполнение обновлений свойств объекта на месте.

Этот метод обновляет свойства согласно текущему состоянию соответствующего облачного объекта. В основном используется для опроса состояния вычислений вручную.

refresh_state()

Исключения

Тип	Описание
ComputeTargetException

serialize

Преобразование объекта DatabricksCompute в сериализованный словарь JSON.

serialize()

Возвращаемое значение

Тип	Описание
dict	Представление JSON для этого объекта DatabricksCompute.

Исключения

Тип	Описание
ComputeTargetException

Поделиться через

DatabricksCompute Класс

Конструктор

Параметры

Комментарии

Методы

attach

Параметры

Возвращаемое значение

Исключения

attach_configuration

Параметры

Возвращаемое значение

Исключения

delete

Исключения

deserialize

Параметры

Возвращаемое значение

Исключения

Комментарии

detach

Исключения

get_credentials

Возвращаемое значение

Исключения

refresh_state

Исключения

serialize

Возвращаемое значение

Исключения

Обратная связь

Дополнительные ресурсы