AksEndpoint Třída

Poznámka

Toto je experimentální třída, která se může kdykoli změnit. Další informace najdete tady: https://aka.ms/azuremlexperimental.

Představuje kolekci verzí webové služby za stejným koncovým bodem spuštěným na Azure Kubernetes Service.

AksWebservice Zatímco služba nasadí jednu službu s jedním bodovacím koncovým bodem, třída AksEndpoint umožňuje nasadit několik verzí webové služby za stejným bodovacím koncovým bodem. Každou verzi webové služby je možné nakonfigurovat tak, aby obsluhovala procento provozu, takže můžete modely nasazovat řízeným způsobem, například pro testování A/B. AksEndpoint umožňuje nasazení z objektu modelu podobného objektu AksWebservice.

Inicializuje instanci webové služby.

Konstruktor webové služby načte cloudovou reprezentaci objektu webové služby přidruženého k poskytnutému pracovnímu prostoru. Vrátí instanci podřízené třídy odpovídající konkrétnímu typu načteného objektu Webové služby.

Dědičnost

AksWebservice

AksEndpoint

Konstruktor

AksEndpoint(workspace, name)

Parametry

Name	Description
workspace Vyžadováno	Workspace Objekt pracovního prostoru obsahující objekt Webservice, který se má načíst.
name Vyžadováno	str Název objektu Webservice, který se má načíst.

Proměnné

Name	Description
versions	dict[str, AksWebservice] Slovník názvu verze na objekt verze. Obsahuje všechny verze nasazené jako součást tohoto koncového bodu.

Metody

create_version	Přidejte novou verzi do koncového bodu se zadanými vlastnostmi.
delete_version	Odstranění verze v koncovém bodu
deploy_configuration	Vytvořte objekt konfigurace pro nasazení do cílového výpočetního objektu AKS.
serialize	Převeďte tuto webovou službu na serializovaný slovník JSON.
update	Aktualizujte koncový bod pomocí zadaných vlastností. Hodnoty ponechané jako Žádné zůstanou v tomto koncovém bodu beze změny.
update_version	Aktualizujte existující verzi v koncovém bodu pomocí zadaných vlastností. Hodnoty ponechané jako Žádné zůstanou v této verzi beze změny.

create_version

Přidejte novou verzi do koncového bodu se zadanými vlastnostmi.

create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametry

Name	Description
version_name Vyžadováno	str Název verze, která se má přidat do koncového bodu.
autoscale_enabled	bool Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda, pokud num_replicas je hodnota None. Default value: None
autoscale_min_replicas	int Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_max_replicas	int Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10. Default value: None
autoscale_refresh_seconds	int Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_target_utilization	int Cílové využití (v procentech ze 100), které by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70. Default value: None
collect_model_data	bool Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False. Default value: None
cpu_cores	float Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může být desetinná čárka. Výchozí hodnota je 0,1. Default value: None
memory_gb	float Velikost paměti (v GB), která se má přidělit pro tuto verzi v koncovém bodu. Může být desetinná čárka. Výchozí hodnota je 0,5. Default value: None
scoring_timeout_ms	int Časový limit pro vynucení bodování volání této verze v koncovém bodu Výchozí hodnota je 60000. Default value: None
replica_max_concurrent_requests	int Maximální počet souběžných požadavků na repliku, které budou pro tuto verzi v koncovém bodu povolené. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám k tomu nedá pokyn technická podpora Microsoftu nebo člen týmu Azure Machine Learning. Default value: None
max_request_wait_time	int Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500. Default value: None
num_replicas	int Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Žádné výchozí nastavení. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené. Default value: None
tags	dict[str, str] Slovník značek klíčových hodnot, které mají tento koncový bod poskytnout. Default value: None
properties	dict[str, str] Slovník vlastností hodnoty klíče, který má dát tento koncový bod. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů. Default value: None
description	str Popis pro tento koncový bod. Default value: None
models	list[Model] Seznam objektů modelu, které se mají zabalit s aktualizovanou službou. Default value: None
inference_config	InferenceConfig InferenceConfig Objekt slouží k poskytnutí požadovaných vlastností nasazení modelu. Default value: None
gpu_cores	int Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0. Default value: None
period_seconds	int Jak často (v sekundách) se má provádět sonda aktivity. Výchozí hodnota je 10 sekund. Minimální hodnota je 1. Default value: None
initial_delay_seconds	int Počet sekund po spuštění kontejneru, než se spustí sondy aktivity. Výchozí hodnota je 310. Default value: None
timeout_seconds	int Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1. Default value: None
success_threshold	int Minimální počet po sobě jdoucích úspěchů sondy aktivity, který se má po selhání považovat za úspěšný. Výchozí hodnota je 1. Minimální hodnota je 1. Default value: None
failure_threshold	int Když se pod spustí a sonda aktivity selže, Kubernetes se pokusí o selháníThreshold Times předtím, než to vzdá. Výchozí hodnota je 3. Minimální hodnota je 1. Default value: None
traffic_percentile	float Objem provozu, který verze přijímá v koncovém bodu. Default value: None
is_default	bool Určuje, jestli má být tato verze v koncovém bodu nastavená jako výchozí verze. Výchozí hodnota je False. Default value: None
is_control_version_type	bool Jestli se má tato verze nastavit jako řídicí verze v koncovém bodu. Výchozí hodnota je False. Default value: None
cpu_cores_limit	float Maximální počet jader procesoru, které může tato webová služba používat. Může být desetinná čárka. Default value: None
memory_gb_limit	float Maximální velikost paměti (v GB), kterou může tato webová služba používat. Může být desetinná čárka. Default value: None

Výjimky

Typ	Description
WebserviceException

delete_version

Odstranění verze v koncovém bodu

delete_version(version_name)

Parametry

Name	Description
version_name Vyžadováno	str Název verze v koncovém bodu, který chcete odstranit.

Výjimky

Typ	Description
WebserviceException

deploy_configuration

Vytvořte objekt konfigurace pro nasazení do cílového výpočetního objektu AKS.

static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametry

Name	Description
autoscale_enabled	bool Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda, pokud num_replicas je none. Default value: None
autoscale_min_replicas	int Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_max_replicas	int Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10. Default value: None
autoscale_refresh_seconds	int Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_target_utilization	int Cílové využití (v procentech ze 100) by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70. Default value: None
collect_model_data	bool Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False. Default value: None
auth_enabled	bool Jestli se má povolit ověřování klíčů pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda. Default value: None
cpu_cores	float Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0.1. Default value: None
memory_gb	float Velikost paměti (v GB), která se má přidělit této verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0,5. Default value: None
enable_app_insights	bool Jestli chcete povolit protokolování ApplicationInsights pro tuto verzi v koncovém bodu. Výchozí hodnota je False. Default value: None
scoring_timeout_ms	int Časový limit pro vynucení volání bodování této verze v koncovém bodu Výchozí hodnota je 60000. Default value: None
replica_max_concurrent_requests	int Počet maximálních souběžných požadavků na repliku, které umožní tuto verzi v koncovém bodu. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám to nepovolí technická podpora Microsoftu nebo člen týmu Služby Azure Machine Learning. Default value: None
max_request_wait_time	int Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500. Default value: None
num_replicas	int Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Není výchozí. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené. Default value: None
primary_key	str Primární ověřovací klíč, který se má použít pro tento koncový bod. Default value: None
secondary_key	str Sekundární ověřovací klíč, který se má použít pro tento koncový bod. Default value: None
tags	dict[str, str] Slovník značek klíčových hodnot, které mají dát tento koncový bod. Default value: None
properties	dict[str, str] Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů. Default value: None
description	str Popis pro tento koncový bod. Default value: None
gpu_cores	int Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0. Default value: None
period_seconds	int Jak často (v sekundách) se má sonda aktivity provádět. Výchozí hodnota je 10 sekund. Minimální hodnota je 1. Default value: None
initial_delay_seconds	int Počet sekund po spuštění kontejneru před zahájením sondy živosti Výchozí hodnota je 310. Default value: None
timeout_seconds	int Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1. Default value: None
success_threshold	int Minimální počet po sobě jdoucích úspěchů, aby se sonda živosti po neúspěchu považovala za úspěšnou. Výchozí hodnota je 1. Minimální hodnota je 1. Default value: None
failure_threshold	int Když se pod spustí a sonda živosti selže, Kubernetes zkusí failureThreshold časy, než to vzdát. Výchozí hodnota je 3. Minimální hodnota je 1. Default value: None
namespace	str Obor názvů Kubernetes, ve kterém se má tento koncový bod nasadit: až 63 alfanumerických znaků s malými písmeny (a-z, 0-9) a spojovníku (-). První a poslední znak nesmí být pomlčky. Default value: None
token_auth_enabled	bool Jestli se má povolit ověřování tokenů pro tento koncový bod. Pokud je tato možnost povolená, můžou uživatelé přistupovat k tomuto koncovému bodu načtením přístupových tokenů pomocí svých přihlašovacích údajů Azure Active Directory. Výchozí hodnota je False. Default value: None
version_name	str Název verze v koncovém bodu. Default value: None
traffic_percentile	float objem provozu, který verze přijímá v koncovém bodu. Default value: None
compute_target_name	str Název cílového výpočetního prostředí, do které se má nasadit Default value: None
cpu_cores_limit	float Maximální počet jader procesoru, která může tato webová služba používat. Může to být desetinná čárka. Default value: None
memory_gb_limit	float Maximální velikost paměti (v GB) může tato webová služba používat. Může to být desetinná čárka. Default value: None

Návraty

Typ	Description
AksEndpointDeploymentConfiguration

Výjimky

Typ	Description
WebserviceException

serialize

Převeďte tuto webovou službu na serializovaný slovník JSON.

serialize()

Návraty

Typ	Description
dict	Reprezentace této webové služby ve formátu JSON.

Výjimky

Typ	Description
WebserviceException

update

Aktualizujte koncový bod pomocí zadaných vlastností.

Hodnoty ponechané jako Žádné zůstanou v tomto koncovém bodu beze změny.

update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)

Parametry

Name	Description
auth_enabled	bool Jestli se má povolit ověřování klíčů pro tuto verzi v koncovém bodu. Výchozí hodnota je Pravda. Default value: None
token_auth_enabled	bool Jestli se má povolit ověřování tokenů pro tento koncový bod. Pokud je tato možnost povolená, můžou uživatelé přistupovat k tomuto koncovému bodu načtením přístupových tokenů pomocí svých přihlašovacích údajů Azure Active Directory. Výchozí hodnota je False. Default value: None
enable_app_insights	bool Jestli se má povolit protokolování Application Insights pro tuto verzi v koncovém bodu. Výchozí hodnota je False. Default value: None
description	str Popis pro tento koncový bod. Default value: None
tags	dict[str, str] Slovník značek klíčových hodnot, které mají dát tento koncový bod. Default value: None
properties	dict[str, str] Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů. Default value: None

Výjimky

Typ	Description
WebserviceException

update_version

Aktualizujte existující verzi v koncovém bodu pomocí zadaných vlastností.

Hodnoty ponechané jako Žádné zůstanou v této verzi beze změny.

update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametry

Name	Description
version_name Vyžadováno	str Název verze v koncovém bodu.
autoscale_enabled	bool Jestli se má povolit automatické škálování pro tuto verzi v koncovém bodu. Výchozí hodnota je True, pokud num_replicas je None.) Default value: None
autoscale_min_replicas	int Minimální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_max_replicas	int Maximální počet kontejnerů, které se mají použít při automatickém škálování této verze v koncovém bodu. Výchozí hodnota je 10. Default value: None
autoscale_refresh_seconds	int Jak často se má automatické škálování pokoušet škálovat tuto verzi v koncovém bodu. Výchozí hodnota je 1. Default value: None
autoscale_target_utilization	int Cílové využití (v procentech ze 100) by se automatické škálování mělo pokusit zachovat pro tuto verzi v koncovém bodu. Výchozí hodnota je 70. Default value: None
collect_model_data	bool Jestli se má povolit shromažďování dat modelu pro tuto verzi v koncovém bodu. Výchozí hodnota je False. Default value: None
cpu_cores	float Počet jader procesoru, která se mají přidělit pro tuto verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0.1. Default value: None
memory_gb	float Velikost paměti (v GB), která se má přidělit této verzi v koncovém bodu. Může to být desetinná čárka. Výchozí hodnota je 0,5. Default value: None
scoring_timeout_ms	int Časový limit, který se má vynutit pro vyhodnocování volání této verze v koncovém bodu. Výchozí hodnota je 60000. Default value: None
replica_max_concurrent_requests	int Počet maximálních souběžných požadavků na repliku, které umožní tuto verzi v koncovém bodu. Výchozí hodnota je 1. Toto nastavení neměňte z výchozí hodnoty 1, pokud vám to nepovolí technická podpora Microsoftu nebo člen týmu Služby Azure Machine Learning. Default value: None
max_request_wait_time	int Maximální doba, po kterou požadavek zůstane ve frontě (v milisekundách) před vrácením chyby 503. Výchozí hodnota je 500. Default value: None
num_replicas	int Počet kontejnerů, které se mají přidělit pro tuto verzi v koncovém bodu. Není výchozí. Pokud tento parametr není nastavený, je automatické škálování ve výchozím nastavení povolené. Default value: None
tags	dict[str, str] Slovník značek klíčových hodnot, které mají dát tento koncový bod. Default value: None
properties	dict[str, str] Slovník vlastností hodnoty klíče, které mají dát tomuto koncovému bodu. Tyto vlastnosti nelze po nasazení změnit, je však možné přidat nové páry hodnot klíčů. Default value: None
description	str Popis pro tento koncový bod Default value: None
models	list[Model] Seznam objektů modelu, které se mají zabalit s aktualizovanou službou Default value: None
inference_config	InferenceConfig Objekt InferenceConfig, který slouží k poskytnutí požadovaných vlastností nasazení modelu. Default value: None
gpu_cores	int Počet jader GPU, která se mají přidělit pro tuto verzi v koncovém bodu. Výchozí hodnota je 0. Default value: None
period_seconds	int Jak často (v sekundách) se má sonda aktivity provádět. Výchozí hodnota je 10 sekund. Minimální hodnota je 1. Default value: None
initial_delay_seconds	int Počet sekund po spuštění kontejneru, než se zahájí sondy aktivity. Výchozí hodnota je 310. Default value: None
timeout_seconds	int Počet sekund, po jejichž uplynutí vyprší časový limit sondy aktivity. Výchozí hodnota je 2 sekundy. Minimální hodnota je 1. Default value: None
success_threshold	int Minimální po sobě jdoucí úspěch sondy živosti, která se má po neúspěchu považovat za úspěšnou. Výchozí hodnota je 1. Minimální hodnota je 1. Default value: None
failure_threshold	int Když se pod spustí a sonda živosti selže, Kubernetes se pokusí o selháníThreshold times, než to vzdát. Výchozí hodnota je 3. Minimální hodnota je 1. Default value: None
traffic_percentile	float Objem provozu, který verze přijímá v koncovém bodu. Default value: None
is_default	bool Jestli se má tato verze v koncovém bodu nastavit jako výchozí. Výchozí hodnota je False. Default value: None
is_control_version_type	bool Jestli se má tato verze nastavit jako verze řízení v koncovém bodu. Výchozí hodnota je False. Default value: None
cpu_cores_limit	float Maximální počet jader procesoru, která může tato webová služba používat. Může to být desetinná čárka. Default value: None
memory_gb_limit	float Maximální velikost paměti (v GB) může tato webová služba používat. Může to být desetinná čárka. Default value: None

Výjimky

Typ	Description
WebserviceException