AksEndpoint 类

参考

注意

这是一个试验性的类，随时可能更改。有关详细信息，请参阅 https://aka.ms/azuremlexperimental。

表示在 Azure Kubernetes 服务上运行的同一终结点后面的 Web 服务版本的集合。

虽然 AksWebservice 使用一个评分终结点来部署一个服务，但 AksEndpoint 类可让你在同一评分终结点后面部署多个 Web 服务版本。可以将每个 Web 服务版本配置为提供一定百分比的流量，以便以受控方式部署模型，例如用于 A/B 测试。 AksEndpoint 允许从类似于 AksWebservice 的模型对象进行部署。

初始化 Web 服务实例。

Webservice 构造函数检索与提供的工作区关联的 Webservice 对象的云表示形式。它将返回与检索到的 Webservice 对象的特定类型对应的子类的实例。

继承: AksWebservice

AksEndpoint

构造函数

AksEndpoint(workspace, name)

参数

名称	说明
workspace 必需	Workspace 包含要检索的 Webservice 对象的工作区对象。
name 必需	str 要检索的 Webservice 对象的名称。

变量

名称	说明
versions	dict[str, AksWebservice] 版本名称和版本对象对的字典。包含部署为此终结点的一部分的所有版本。

方法

create_version	使用提供的属性在终结点中添加新版本。
delete_version	删除终结点中的版本。
deploy_configuration	创建配置对象以部署到 AKS 计算目标。
serialize	将此 Web 服务对象转换为 JSON 序列化字典。
update	使用提供的属性更新终结点。在此终结点中，保留为 None 的值将保持不变
update_version	使用提供的属性更新终结点中的现有版本。在此版本中，保留为 None 的值将保持不变。

create_version

使用提供的属性在终结点中添加新版本。

create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

参数

名称	说明
version_name 必需	str 要在终结点中添加的版本的名称。
autoscale_enabled	bool 是否在终结点中为此版本启用自动缩放。如果 `num_replicas` 为 None，则默认值为 True。默认值: None
autoscale_min_replicas	int 在终结点中自动缩放此版本时使用的最小容器数。默认值为 1 默认值: None
autoscale_max_replicas	int 在终结点中自动缩放此版本时使用的最大容器数。默认值为 10 默认值: None
autoscale_refresh_seconds	int 自动缩放程序应在终结点中尝试缩放此版本的频率。默认值为 1 默认值: None
autoscale_target_utilization	int 自动缩放程序应尝试在终结点中为此版本维持的目标利用率（低于 100%）。默认值为 70 默认值: None
collect_model_data	bool 是否在终结点中为此版本启用模型数据收集。默认为 False 默认值: None
cpu_cores	float 在终结点中为此版本分配的 CPU 核心数。可以是小数。默认值为 0.1 默认值: None
memory_gb	float 在终结点中为此版本分配的内存量 (GB)。可以是小数。默认值为 0.5 默认值: None
scoring_timeout_ms	int 对终结点中此版本的评分调用强制实施的超时。默认值为 60000。默认值: None
replica_max_concurrent_requests	int 允许对终结点中此版本使用的每个副本的最大并发请求数。默认值为 1。除非获得 Microsoft 技术支持人员或 Azure 机器学习团队成员的指导，否则不要更改此设置的默认值 1。默认值: None
max_request_wait_time	int 在返回 503 错误之前，请求将在队列中停留的最长时间（以毫秒为单位）。默认为 500。默认值: None
num_replicas	int 在终结点中为此版本分配的容器数。无默认值，如果未设置此参数，则默认启用自动缩放程序。默认值: None
tags	dict[str, str] 为此终结点指定的键值标记字典。默认值: None
properties	dict[str, str] 为此终结点指定的键值属性字典。这些属性在部署后无法更改，但是可以添加新的键值对。默认值: None
description	str 为此终结点指定的说明。默认值: None
models	list[Model] 要与已更新的服务一起打包的模型对象的列表。默认值: None
inference_config	InferenceConfig 用于提供所需模型部署属性的 InferenceConfig 对象。默认值: None
gpu_cores	int 在终结点中为此版本分配的 GPU 核心数。默认值为 0。默认值: None
period_seconds	int 执行运行情况探测的频率（秒）。默认值为 10 秒。最小值为 1。默认值: None
initial_delay_seconds	int 启动容器后，启动运行情况探测前的秒数。默认值为 310。默认值: None
timeout_seconds	int 运行情况探测超时前等待的秒数。默认值为 2 秒。最小值为 1。默认值: None
success_threshold	int 失败后，运行情况探测被视为成功的最小连续成功次数。默认值为 1。最小值为 1。默认值: None
failure_threshold	int 当 Pod 启动而运行情况探测失败时，Kubernetes 将尝试 failureThreshold 次才会放弃。默认值为 3。最小值为 1。默认值: None
traffic_percentile	float 版本在终结点中接收的流量。默认值: None
is_default	bool 是否将此版本设置为终结点中的默认版本。默认为 False。默认值: None
is_control_version_type	bool 是否将此版本设置为终结点中的控制版本。默认为 False。默认值: None
cpu_cores_limit	float 允许此 Webservice 使用的最大 CPU 核心数。可以是小数。默认值: None
memory_gb_limit	float 允许此 Webservice 使用的最大内存量 (GB)。可以是小数。默认值: None

例外

类型	说明
WebserviceException

delete_version

删除终结点中的版本。

delete_version(version_name)

参数

名称	说明
version_name 必需	str 终结点中要删除的版本的名称。

例外

类型	说明
WebserviceException

deploy_configuration

创建配置对象以部署到 AKS 计算目标。

static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)

参数

名称	说明
autoscale_enabled	bool 是否在终结点中为此版本启用自动缩放。如果 `num_replicas` 为 None，则默认值为 True。默认值: None
autoscale_min_replicas	int 在终结点中自动缩放此版本时使用的最小容器数。默认值为 1。默认值: None
autoscale_max_replicas	int 在终结点中自动缩放此版本时使用的最大容器数。默认值为 10。默认值: None
autoscale_refresh_seconds	int 自动缩放程序应在终结点中尝试缩放此版本的频率。默认值为 1。默认值: None
autoscale_target_utilization	int 自动缩放程序应尝试在终结点中为此版本维持的目标利用率（低于 100%）。默认值为 70。默认值: None
collect_model_data	bool 是否在终结点中为此版本启用模型数据收集。默认为 False。默认值: None
auth_enabled	bool 是否在终结点中为此版本启用密钥身份验证。默认值为 true。默认值: None
cpu_cores	float 在终结点中为此版本分配的 CPU 核心数。可以是小数。默认值为 0.1 默认值: None
memory_gb	float 在终结点中为此版本分配的内存量 (GB)。可以是小数。默认值为 0.5 默认值: None
enable_app_insights	bool 是否在终结点中为此版本启用 ApplicationInsights 日志记录。默认为 False。默认值: None
scoring_timeout_ms	int 对终结点中此版本的评分调用强制实施的超时。默认值为 60000 默认值: None
replica_max_concurrent_requests	int 允许对终结点中此版本使用的每个副本的最大并发请求数。默认值为 1。除非获得 Microsoft 技术支持人员或 Azure 机器学习团队成员的指导，否则不要更改此设置的默认值 1。默认值: None
max_request_wait_time	int 在返回 503 错误之前，请求将在队列中停留的最长时间（以毫秒为单位）。默认为 500。默认值: None
num_replicas	int 在终结点中为此版本分配的容器数。无默认值，如果未设置此参数，则默认启用自动缩放程序。默认值: None
primary_key	str 要用于此终结点的主要身份验证密钥。默认值: None
secondary_key	str 要用于此终结点的辅助身份验证密钥。默认值: None
tags	dict[str, str] 为此终结点指定的键值标记字典。默认值: None
properties	dict[str, str] 为此终结点指定的键值属性字典。这些属性在部署后无法更改，但可以添加新的键值对默认值: None
description	str 为此终结点指定的说明。默认值: None
gpu_cores	int 在终结点中为此版本分配的 GPU 核心数。默认值为 0。默认值: None
period_seconds	int 执行运行情况探测的频率（秒）。默认值为 10 秒。最小值为 1。默认值: None
initial_delay_seconds	int 启动容器后，启动运行情况探测前的秒数。默认值为 310。默认值: None
timeout_seconds	int 运行情况探测超时前等待的秒数。默认值为 2 秒。最小值为 1。默认值: None
success_threshold	int 运行情况探测失败后，将其视为成功所需的最小连续成功次数。默认值为 1。最小值为 1。默认值: None
failure_threshold	int 当 Pod 启动而运行情况探测失败时，Kubernetes 将尝试 `failureThreshold` 次才会放弃。默认值为 3。最小值为 1。默认值: None
namespace	str 要在其中部署此终结点的 Kubernetes 命名空间：最多 63 个小写字母数字（“a”-“z”、“0”-“9”）和连字符（“-”）。第一个和最后一个字符不能为连字符。默认值: None
token_auth_enabled	bool 是否为此终结点启用令牌身份验证。如果启用此功能，则用户可以通过使用使用其 Azure Active Directory 凭据提取访问令牌来访问此终结点。默认为 False。默认值: None
version_name	str 终结点中版本的名称。默认值: None
traffic_percentile	float 版本在终结点中接收的流量。默认值: None
compute_target_name	str 要部署到的计算目标的名称默认值: None
cpu_cores_limit	float 允许此 Webservice 使用的最大 CPU 核心数。可以是小数。默认值: None
memory_gb_limit	float 允许此 Webservice 使用的最大内存量 (GB)。可以是小数。默认值: None

类型	说明
AksEndpointDeploymentConfiguration

例外

类型	说明
WebserviceException

serialize

将此 Web 服务对象转换为 JSON 序列化字典。

serialize()

类型	说明
dict	此 Web 服务的 JSON 表示形式。

例外

类型	说明
WebserviceException

update

使用提供的属性更新终结点。

在此终结点中，保留为 None 的值将保持不变

update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)

参数

名称	说明
auth_enabled	bool 是否在终结点中为此版本启用密钥身份验证。默认值为 true。默认值: None
token_auth_enabled	bool 是否为此终结点启用令牌身份验证。如果启用此功能，则用户可以通过使用使用其 Azure Active Directory 凭据提取访问令牌来访问此终结点。默认为 False。默认值: None
enable_app_insights	bool 是否在终结点中为此版本启用 Application Insights 日志记录。默认为 False。默认值: None
description	str 为此终结点指定的说明。默认值: None
tags	dict[str, str] 为此终结点指定的键值标记字典。默认值: None
properties	dict[str, str] 为此终结点指定的键值属性字典。这些属性在部署后无法更改，但是可以添加新的键值对。默认值: None

例外

类型	说明
WebserviceException

update_version

使用提供的属性更新终结点中的现有版本。

在此版本中，保留为 None 的值将保持不变。

update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

参数

名称	说明
version_name 必需	str 终结点中版本的名称。
autoscale_enabled	bool 是否在终结点中为此版本启用自动缩放。如果 num_replicas 为 None，则默认值为 True。默认值: None
autoscale_min_replicas	int 在终结点中自动缩放此版本时使用的最小容器数。默认值为 1。默认值: None
autoscale_max_replicas	int 在终结点中自动缩放此版本时使用的最大容器数。默认值为 10。默认值: None
autoscale_refresh_seconds	int 自动缩放程序应在终结点中尝试缩放此版本的频率。默认值为 1 默认值: None
autoscale_target_utilization	int 自动缩放程序应尝试在终结点中为此版本维持的目标利用率（低于 100%）。默认值为 70。默认值: None
collect_model_data	bool 是否在终结点中为此版本启用模型数据收集。默认为 False。默认值: None
cpu_cores	float 在终结点中为此版本分配的 CPU 核心数。可以是小数。默认值为 0.1 默认值: None
memory_gb	float 在终结点中为此版本分配的内存量 (GB)。可以是小数。默认值为 0.5 默认值: None
scoring_timeout_ms	int 对终结点中此版本的评分调用强制实施的超时。默认值为 60000。默认值: None
replica_max_concurrent_requests	int 允许对终结点中此版本使用的每个副本的最大并发请求数。默认值为 1。除非获得 Microsoft 技术支持人员或 Azure 机器学习团队成员的指导，否则不要更改此设置的默认值 1。默认值: None
max_request_wait_time	int 在返回 503 错误之前，请求将在队列中停留的最长时间（以毫秒为单位）。默认为 500。默认值: None
num_replicas	int 在终结点中为此版本分配的容器数。无默认值，如果未设置此参数，则默认启用自动缩放程序。默认值: None
tags	dict[str, str] 为此终结点指定的键值标记字典。默认值: None
properties	dict[str, str] 为此终结点指定的键值属性字典。这些属性在部署后无法更改，但是可以添加新的键值对。默认值: None
description	str 为此终结点指定的说明默认值: None
models	list[Model] 要与已更新的服务一起打包的模型对象的列表默认值: None
inference_config	InferenceConfig 用于提供所需模型部署属性的 InferenceConfig 对象。默认值: None
gpu_cores	int 在终结点中为此版本分配的 GPU 核心数。默认值为 0。默认值: None
period_seconds	int 执行运行情况探测的频率（秒）。默认值为 10 秒。最小值为 1。默认值: None
initial_delay_seconds	int 启动容器后，启动运行情况探测前的秒数。默认值为 310。默认值: None
timeout_seconds	int 运行情况探测超时前等待的秒数。默认值为 2 秒。最小值为 1。默认值: None
success_threshold	int 失败后，运行情况探测被视为成功的最小连续成功次数。默认值为 1。最小值为 1。默认值: None
failure_threshold	int 当 Pod 启动而运行情况探测失败时，Kubernetes 将尝试 failureThreshold 次才会放弃。默认值为 3。最小值为 1。默认值: None
traffic_percentile	float 版本在终结点中接收的流量。默认值: None
is_default	bool 是否将此版本设置为终结点中的默认版本。默认为 False。默认值: None
is_control_version_type	bool 是否将此版本设置为终结点中的控制版本。默认为 False。默认值: None
cpu_cores_limit	float 允许此 Webservice 使用的最大 CPU 核心数。可以是小数。默认值: None
memory_gb_limit	float 允许此 Webservice 使用的最大内存量 (GB)。可以是小数。默认值: None

例外

类型	说明
WebserviceException

通过