AksEndpoint Klass

Anteckning

Det här är en experimentell klass och kan ändras när som helst. Mer information finns i https://aka.ms/azuremlexperimental.

Representerar en samling webbtjänstversioner bakom samma slutpunkt som körs på Azure Kubernetes Service.

Medan en AksWebservice distribuerar en enda tjänst med en enda bedömningsslutpunkt kan du med klassen AksEndpoint distribuera flera webbtjänstversioner bakom samma bedömningsslutpunkt. Varje webbtjänstversion kan konfigureras för att hantera en procentandel av trafiken så att du kan distribuera modeller på ett kontrollerat sätt, till exempel för A/B-testning. AksEndpoint tillåter distribution från ett modellobjekt som liknar AksWebservice.

Initiera Webservice-instansen.

Webbtjänstkonstruktorn hämtar en molnrepresentation av ett webbtjänstobjekt som är associerat med den angivna arbetsytan. Den returnerar en instans av en underordnad klass som motsvarar den specifika typen av det hämtade webbtjänstobjektet.

Arv

AksWebservice

AksEndpoint

Konstruktor

AksEndpoint(workspace, name)

Parametrar

Name	Description
workspace Obligatorisk	Workspace Arbetsyteobjektet som innehåller webbtjänstobjektet som ska hämtas.
name Obligatorisk	str Namnet på webbtjänstobjektet som ska hämtas.

Variabler

Name	Description
versions	dict[str, AksWebservice] En ordlista med versionsnamn till versionsobjekt. Innehåller alla versioner som distribuerats som en del av den här slutpunkten.

Metoder

create_version	Lägg till en ny version i en slutpunkt med angivna egenskaper.
delete_version	Ta bort en version i en slutpunkt.
deploy_configuration	Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål.
serialize	Konvertera den här webbtjänsten till en serialiserad JSON-ordlista.
update	Uppdatera slutpunkten med angivna egenskaper. Värden kvar som Ingen förblir oförändrade i den här slutpunkten
update_version	Uppdatera en befintlig version i en slutpunkt med angivna egenskaper. Värden kvar som Ingen förblir oförändrade i den här versionen.

create_version

Lägg till en ny version i en slutpunkt med angivna egenskaper.

create_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametrar

Name	Description
version_name Obligatorisk	str Namnet på den version som ska läggas till i en slutpunkt.
autoscale_enabled	bool Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte. Standardvärdet är Sant om num_replicas är Ingen. Standardvärde: None
autoscale_min_replicas	int Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1 Standardvärde: None
autoscale_max_replicas	int Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10 Standardvärde: None
autoscale_refresh_seconds	int Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1 Standardvärde: None
autoscale_target_utilization	int Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70 Standardvärde: None
collect_model_data	bool Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt Standardvärde: None
cpu_cores	float Antalet CPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1 Standardvärde: None
memory_gb	float Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5 Standardvärde: None
scoring_timeout_ms	int En tidsgräns för att framtvinga för bedömning av anrop till den här versionen i en slutpunkt. Standardvärdet är 60000. Standardvärde: None
replica_max_concurrent_requests	int Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det. Standardvärde: None
max_request_wait_time	int Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500. Standardvärde: None
num_replicas	int Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard. Standardvärde: None
tags	dict[str, str] Ordlista med nyckelvärdetaggar för att ge den här slutpunkten. Standardvärde: None
properties	dict[str, str] Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till. Standardvärde: None
description	str En beskrivning för att ge den här slutpunkten. Standardvärde: None
models	list[Model] En lista över modellobjekt som ska paketera med den uppdaterade tjänsten. Standardvärde: None
inference_config	InferenceConfig Ett InferenceConfig-objekt som används för att tillhandahålla de nödvändiga modelldistributionsegenskaperna. Standardvärde: None
gpu_cores	int Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0. Standardvärde: None
period_seconds	int Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1. Standardvärde: None
initial_delay_seconds	int Antalet sekunder efter att containern har startats innan liveness-avsökningar initieras. Standardvärdet är 310. Standardvärde: None
timeout_seconds	int Antalet sekunder efter vilken livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1. Standardvärde: None
success_threshold	int Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1. Standardvärde: None
failure_threshold	int När en podd startar och live-avsökningen misslyckas, försöker Kubernetes felDå gånger innan de ger upp. Standardvärdet är 3. Minsta värde är 1. Standardvärde: None
traffic_percentile	float Mängden trafik som versionen tar i en slutpunkt. Standardvärde: None
is_default	bool Om den här versionen ska vara standardversion i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
is_control_version_type	bool Om du vill göra den här versionen som kontrollversion i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
cpu_cores_limit	float Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal. Standardvärde: None
memory_gb_limit	float Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal. Standardvärde: None

Undantag

Typ	Description
WebserviceException

delete_version

Ta bort en version i en slutpunkt.

delete_version(version_name)

Parametrar

Name	Description
version_name Obligatorisk	str Namnet på versionen i en slutpunkt som ska tas bort.

Undantag

Typ	Description
WebserviceException

deploy_configuration

Skapa ett konfigurationsobjekt för distribution till ett AKS-beräkningsmål.

static deploy_configuration(autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, auth_enabled=None, cpu_cores=None, memory_gb=None, enable_app_insights=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, primary_key=None, secondary_key=None, tags=None, properties=None, description=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, namespace=None, token_auth_enabled=None, version_name=None, traffic_percentile=None, compute_target_name=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametrar

Name	Description
autoscale_enabled	bool Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte. Standardvärdet är Sant om num_replicas är Ingen. Standardvärde: None
autoscale_min_replicas	int Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1. Standardvärde: None
autoscale_max_replicas	int Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10. Standardvärde: None
autoscale_refresh_seconds	int Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1. Standardvärde: None
autoscale_target_utilization	int Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70. Standardvärde: None
collect_model_data	bool Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
auth_enabled	bool Om du vill aktivera nyckelautentisering för den här versionen i en slutpunkt eller inte. Standardvärdet är True. Standardvärde: None
cpu_cores	float Antalet processorkärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1 Standardvärde: None
memory_gb	float Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5 Standardvärde: None
enable_app_insights	bool Om du vill aktivera ApplicationInsights-loggning för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
scoring_timeout_ms	int En timeout för att framtvinga bedömningsanrop till den här versionen i en slutpunkt. Standardvärdet är 60000 Standardvärde: None
replica_max_concurrent_requests	int Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det. Standardvärde: None
max_request_wait_time	int Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500. Standardvärde: None
num_replicas	int Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard. Standardvärde: None
primary_key	str En primär autentiseringsnyckel som ska användas för den här slutpunkten. Standardvärde: None
secondary_key	str En sekundär autentiseringsnyckel som ska användas för den här slutpunkten. Standardvärde: None
tags	dict[str, str] Ordlista med nyckelvärdetaggar för att ge den här slutpunkten. Standardvärde: None
properties	dict[str, str] Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till Standardvärde: None
description	str En beskrivning för att ge den här slutpunkten. Standardvärde: None
gpu_cores	int Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0. Standardvärde: None
period_seconds	int Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1. Standardvärde: None
initial_delay_seconds	int Antal sekunder efter att containern har startats innan live-avsökningar initieras. Standardvärdet är 310. Standardvärde: None
timeout_seconds	int Antal sekunder efter vilket livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1. Standardvärde: None
success_threshold	int Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1. Standardvärde: None
failure_threshold	int När en podd startar och live-avsökningen misslyckas försöker Kubernetes gånger failureThreshold innan de ger upp. Standardvärdet är 3. Minsta värde är 1. Standardvärde: None
namespace	str Kubernetes-namnområdet där den här slutpunkten ska distribueras: upp till 63 alfanumeriska gemener ('a'-'z', '0'-'9') och bindestreck ('-') tecken. Det första och sista tecknen får inte vara bindestreck. Standardvärde: None
token_auth_enabled	bool Om du vill aktivera tokenautentisering för den här slutpunkten eller inte. Om detta är aktiverat kan användarna komma åt den här slutpunkten genom att hämta åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är Falskt. Standardvärde: None
version_name	str Namnet på versionen i en slutpunkt. Standardvärde: None
traffic_percentile	float mängden trafik som versionen tar i en slutpunkt. Standardvärde: None
compute_target_name	str Namnet på beräkningsmålet som ska distribueras till Standardvärde: None
cpu_cores_limit	float Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal. Standardvärde: None
memory_gb_limit	float Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal. Standardvärde: None

Returer

Typ	Description
AksEndpointDeploymentConfiguration

Undantag

Typ	Description
WebserviceException

serialize

Konvertera den här webbtjänsten till en serialiserad JSON-ordlista.

serialize()

Returer

Typ	Description
dict	JSON-representationen av den här webbtjänsten.

Undantag

Typ	Description
WebserviceException

update

Uppdatera slutpunkten med angivna egenskaper.

Värden kvar som Ingen förblir oförändrade i den här slutpunkten

update(auth_enabled=None, token_auth_enabled=None, enable_app_insights=None, description=None, tags=None, properties=None)

Parametrar

Name	Description
auth_enabled	bool Om du vill aktivera nyckelautentisering för den här versionen i en slutpunkt eller inte. Standardvärdet är True. Standardvärde: None
token_auth_enabled	bool Om du vill aktivera tokenautentisering för den här slutpunkten eller inte. Om detta är aktiverat kan användarna komma åt den här slutpunkten genom att hämta åtkomsttoken med sina Azure Active Directory-autentiseringsuppgifter. Standardvärdet är Falskt. Standardvärde: None
enable_app_insights	bool Om du vill aktivera Application Insights-loggning för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
description	str En beskrivning för att ge den här slutpunkten. Standardvärde: None
tags	dict[str, str] Ordlista med nyckelvärdetaggar för att ge den här slutpunkten. Standardvärde: None
properties	dict[str, str] Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till. Standardvärde: None

Undantag

Typ	Description
WebserviceException

update_version

Uppdatera en befintlig version i en slutpunkt med angivna egenskaper.

Värden kvar som Ingen förblir oförändrade i den här versionen.

update_version(version_name, autoscale_enabled=None, autoscale_min_replicas=None, autoscale_max_replicas=None, autoscale_refresh_seconds=None, autoscale_target_utilization=None, collect_model_data=None, cpu_cores=None, memory_gb=None, scoring_timeout_ms=None, replica_max_concurrent_requests=None, max_request_wait_time=None, num_replicas=None, tags=None, properties=None, description=None, models=None, inference_config=None, gpu_cores=None, period_seconds=None, initial_delay_seconds=None, timeout_seconds=None, success_threshold=None, failure_threshold=None, traffic_percentile=None, is_default=None, is_control_version_type=None, cpu_cores_limit=None, memory_gb_limit=None)

Parametrar

Name	Description
version_name Obligatorisk	str Namnet på versionen i en slutpunkt.
autoscale_enabled	bool Om du vill aktivera automatisk skalning för den här versionen i en slutpunkt eller inte. Standardvärdet är Sant om num_replicas är Ingen. Standardvärde: None
autoscale_min_replicas	int Det minsta antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 1. Standardvärde: None
autoscale_max_replicas	int Det maximala antalet containrar som ska användas vid automatisk skalning av den här versionen i en slutpunkt. Standardvärdet är 10. Standardvärde: None
autoscale_refresh_seconds	int Hur ofta autoskalning ska försöka skala den här versionen i en slutpunkt. Standardvärdet är 1 Standardvärde: None
autoscale_target_utilization	int Målanvändningen (i procent av 100) som autoskalning ska försöka underhålla för den här versionen i en slutpunkt. Standardvärdet är 70. Standardvärde: None
collect_model_data	bool Om du vill aktivera modelldatainsamling för den här versionen i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
cpu_cores	float Antalet processorkärnor som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,1 Standardvärde: None
memory_gb	float Mängden minne (i GB) som ska allokeras för den här versionen i en slutpunkt. Kan vara en decimal. Standardvärdet är 0,5 Standardvärde: None
scoring_timeout_ms	int En tidsgräns för att framtvinga för bedömning av anrop till den här versionen i en slutpunkt. Standardvärdet är 60000. Standardvärde: None
replica_max_concurrent_requests	int Antalet maximala samtidiga begäranden per replik för att tillåta den här versionen i en slutpunkt. Standardvärdet är 1. Ändra inte den här inställningen från standardvärdet 1 om inte microsofts tekniska support eller en medlem i Azure Machine Learning-teamet instruerar det. Standardvärde: None
max_request_wait_time	int Den maximala tiden som en begäran stannar i kön (i millisekunder) innan ett 503-fel returneras. Standardvärdet är 500. Standardvärde: None
num_replicas	int Antalet containrar som ska allokeras för den här versionen i en slutpunkt. Ingen standard, om den här parametern inte har angetts aktiveras autoskalningsfunktionen som standard. Standardvärde: None
tags	dict[str, str] Ordlista med nyckelvärdetaggar för att ge den här slutpunkten. Standardvärde: None
properties	dict[str, str] Ordlista över nyckelvärdeegenskaper för att ge den här slutpunkten. Dessa egenskaper kan inte ändras efter distributionen, men nya nyckelvärdepar kan läggas till. Standardvärde: None
description	str En beskrivning för att ge den här slutpunkten Standardvärde: None
models	list[Model] En lista över modellobjekt som ska paketera med den uppdaterade tjänsten Standardvärde: None
inference_config	InferenceConfig Ett InferenceConfig-objekt som används för att tillhandahålla de nödvändiga modelldistributionsegenskaperna. Standardvärde: None
gpu_cores	int Antalet GPU-kärnor som ska allokeras för den här versionen i en slutpunkt. Standardvärdet är 0. Standardvärde: None
period_seconds	int Hur ofta (i sekunder) live-avsökningen ska utföras. Standardvärdet är 10 sekunder. Minsta värde är 1. Standardvärde: None
initial_delay_seconds	int Antalet sekunder efter att containern har startats innan liveness-avsökningar initieras. Standardvärdet är 310. Standardvärde: None
timeout_seconds	int Antalet sekunder efter vilken livenessavsökningen överskrider tidsgränsen. Standardvärdet är 2 sekunder. Minsta värde är 1. Standardvärde: None
success_threshold	int Minsta lyckade resultat i följd för att liveness-avsökningen ska anses vara lyckad efter att ha misslyckats. Standardvärdet är 1. Minsta värde är 1. Standardvärde: None
failure_threshold	int När en podd startar och live-avsökningen misslyckas, försöker Kubernetes felDå gånger innan de ger upp. Standardvärdet är 3. Minsta värde är 1. Standardvärde: None
traffic_percentile	float Mängden trafik som versionen tar i en slutpunkt. Standardvärde: None
is_default	bool Om den här versionen ska vara standardversion i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
is_control_version_type	bool Om du vill göra den här versionen som kontrollversion i en slutpunkt eller inte. Standardvärdet är Falskt. Standardvärde: None
cpu_cores_limit	float Det maximala antalet cpu-kärnor som webbtjänsten tillåts använda. Kan vara en decimal. Standardvärde: None
memory_gb_limit	float Den maximala mängden minne (i GB) som den här webbtjänsten får använda. Kan vara en decimal. Standardvärde: None

Undantag

Typ	Description
WebserviceException