Wdrażanie modeli MLflow w punktach końcowych online

Artykuł
10/16/2024

DOTYCZY: Rozszerzenie interfejsu wiersza polecenia platformy Azure ml w wersji 2 (bieżąca)

Z tego artykułu dowiesz się, jak wdrożyć model MLflow w punkcie końcowym online na potrzeby wnioskowania w czasie rzeczywistym. Podczas wdrażania modelu MLflow w punkcie końcowym online nie trzeba określać skryptu oceniania ani środowiska — ta funkcja jest znana jako wdrożenie bez kodu.

W przypadku wdrożenia bez kodu usługa Azure Machine Learning:

Dynamicznie instaluje pakiety języka Python udostępniane w conda.yaml pliku. W związku z tym zależności są instalowane podczas wykonywania kontenera.
Udostępnia podstawowy obraz/wyselekcjonowane środowisko MLflow zawierające następujące elementy:
- azureml-inference-server-http
- mlflow-skinny
- Skrypt oceniania na potrzeby wnioskowania.

Napiwek

Obszary robocze bez dostępu do sieci publicznej: przed wdrożeniem modeli MLflow w punktach końcowych online bez łączności wychodzącej należy spakować modele (wersja zapoznawcza). Korzystając z tworzenia pakietów modeli, można uniknąć potrzeby połączenia internetowego, którego usługa Azure Machine Learning w przeciwnym razie wymagałaby dynamicznego instalowania niezbędnych pakietów języka Python dla modeli MLflow.

Informacje o przykładzie

W przykładzie pokazano, jak wdrożyć model MLflow w punkcie końcowym online w celu wykonania przewidywań. W przykładzie użyto modelu MLflow opartego na zestawie danych Diabetes. Ten zestaw danych zawiera 10 zmiennych bazowych: wiek, płeć, wskaźnik masy ciała, średnie ciśnienie krwi i sześć pomiarów krwi uzyskanych od 442 pacjentów z cukrzycą. Zawiera również odpowiedź zainteresowania, ilościową miarę progresji choroby jeden rok po linii bazowej.

Model został wytrenowany przy użyciu scikit-learn regresji, a wszystkie wymagane wstępne przetwarzanie zostało spakowane jako potok, dzięki czemu ten model będzie gotowy potokiem, który przechodzi od nieprzetworzonych danych do przewidywań.

Informacje przedstawione w tym artykule są oparte na przykładach kodu zawartych w repozytorium azureml-examples . Aby uruchomić polecenia lokalnie bez konieczności kopiowania/wklejania kodu YAML i innych plików, sklonuj repozytorium, a następnie zmień katalogi na cli, jeśli używasz interfejsu wiersza polecenia platformy Azure. Jeśli używasz zestawu AZURE Machine Learning SDK dla języka Python, zmień katalogi na sdk/python/endpoints/online/mlflow.

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

Postępuj zgodnie z instrukcjami w notesie Jupyter Notebook

Możesz wykonać kroki dotyczące korzystania z zestawu SDK języka Python usługi Azure Machine Learning, otwierając notes Deploy MLflow model to online endpoints (Wdrażanie modelu MLflow do punktów końcowych online) w sklonowanym repozytorium.

Wymagania wstępne

Przed wykonaniem kroków opisanych w tym artykule upewnij się, że masz następujące wymagania wstępne:

Subskrypcja platformy Azure. Jeśli nie masz subskrypcji platformy Azure, przed rozpoczęciem utwórz bezpłatne konto. Wypróbuj bezpłatną lub płatną wersję usługi Azure Machine Learning.
Kontrola dostępu na podstawie ról platformy Azure (Azure RBAC): jest używana do udzielania dostępu do operacji w usłudze Azure Machine Learning. Aby wykonać kroki opisane w tym artykule, konto użytkownika musi mieć przypisaną rolę właściciela lub współautora dla obszaru roboczego usługi Azure Machine Learning lub rolę niestandardową zezwalającą na Microsoft.MachineLearningServices/workspaces/onlineEndpoints/*korzystanie z usługi . Aby uzyskać więcej informacji na temat ról, zobacz Zarządzanie dostępem do obszaru roboczego usługi Azure Machine Learning.
Musisz mieć model MLflow zarejestrowany w obszarze roboczym. W tym artykule zarejestrowano model przeszkolony dla zestawu danych Diabetes w obszarze roboczym.
Ponadto należy wykonać następujące czynności:
- Zainstaluj interfejs wiersza polecenia platformy Azure i ml rozszerzenie do interfejsu wiersza polecenia platformy Azure. Aby uzyskać więcej informacji na temat instalowania interfejsu wiersza polecenia, zobacz Instalowanie i konfigurowanie interfejsu wiersza polecenia (wersja 2).
- Zainstaluj zestaw AZURE Machine Learning SDK dla języka Python.
```
pip install azure-ai-ml azure-identity
```
- Zainstaluj pakiet mlflow zestawu MLflow SDK i wtyczkę usługi Azure Machine Learning dla biblioteki MLflow azureml-mlflow.
```
pip install mlflow azureml-mlflow
```
- Jeśli nie uruchamiasz kodu w obliczeniach usługi Azure Machine Learning, skonfiguruj identyfikator URI śledzenia MLflow lub identyfikator URI rejestru MLflow, aby wskazać obszar roboczy usługi Azure Machine Learning, nad którym pracujesz. Aby uzyskać więcej informacji na temat łączenia platformy MLflow z obszarem roboczym, zobacz Configure MLflow for Azure Machine Learning (Konfigurowanie platformy MLflow dla usługi Azure Machine Learning).
Brak dodatkowych wymagań wstępnych podczas pracy w usłudze Azure Machine Learning Studio.

Nawiązywanie połączenia z obszarem roboczym

Najpierw połącz się z obszarem roboczym usługi Azure Machine Learning, w którym będziesz pracować.

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

Obszar roboczy jest zasobem najwyższego poziomu dla usługi Azure Machine Learning, który udostępnia scentralizowane miejsce do pracy z wszystkimi tworzonymi podczas korzystania usługi Azure Machine Learning artefaktami. W tej sekcji połącz się z obszarem roboczym, w którym wykonasz zadania wdrażania.

Zaimportuj wymagane biblioteki:

from azure.ai.ml import MLClient, Input
from azure.ai.ml.entities import (
ManagedOnlineEndpoint,
ManagedOnlineDeployment,
Model,
Environment,
CodeConfiguration,
)
from azure.identity import DefaultAzureCredential
from azure.ai.ml.constants import AssetTypes

Konfigurowanie szczegółów obszaru roboczego i uzyskiwanie dojścia do obszaru roboczego:

subscription_id = "<subscription>"
resource_group = "<resource-group>"
workspace = "<workspace>"

ml_client = MLClient(DefaultAzureCredential(), subscription_id, resource_group, workspace)

Importowanie wymaganych bibliotek

import json
import mlflow
import requests
import pandas as pd
from mlflow.deployments import get_deploy_client
from mlflow.tracking import MlflowClient

Inicjowanie klienta MLflow
```
mlflow_client = MlflowClient()
```

Konfigurowanie klienta wdrażania

deployment_client = get_deploy_client(mlflow.get_tracking_uri())

Rejestrowanie modelu

Zarejestrowane modele można wdrażać tylko w punktach końcowych online. W takim przypadku masz już lokalną kopię modelu w repozytorium, więc wystarczy opublikować model w rejestrze w obszarze roboczym. Ten krok można pominąć, jeśli model, który próbujesz wdrożyć, jest już zarejestrowany.

MODEL_NAME='sklearn-diabetes'
az ml model create --name $MODEL_NAME --type "mlflow_model" --path "endpoints/online/ncd/sklearn-diabetes/model"

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"
model = ml_client.models.create_or_update(
        Model(name=model_name, path=model_local_path, type=AssetTypes.MLFLOW_MODEL)
)

model_name = 'sklearn-diabetes'
model_local_path = "sklearn-diabetes/model"

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"file://{model_local_path}"
)
version = registered_model.version

Co zrobić, jeśli model został zarejestrowany wewnątrz przebiegu?

Jeśli model został zarejestrowany wewnątrz przebiegu, możesz zarejestrować go bezpośrednio.

Aby zarejestrować model, musisz znać lokalizację, w której jest przechowywany. Jeśli używasz funkcji platformy autolog MLflow, ścieżka do modelu zależy od typu i struktury modelu. Należy sprawdzić dane wyjściowe zadań, aby zidentyfikować nazwę folderu modelu. Ten folder zawiera plik o nazwie MLModel.

Jeśli używasz metody do ręcznego log_model rejestrowania modeli, przekaż ścieżkę do modelu jako argument do metody . Jeśli na przykład rejestrujesz model przy użyciu mlflow.sklearn.log_model(my_model, "classifier")metody , ścieżka, w której jest przechowywany model, nosi nazwę classifier.

Użyj interfejsu wiersza polecenia usługi Azure Machine Learning w wersji 2, aby utworzyć model na podstawie danych wyjściowych zadania trenowania. W poniższym przykładzie model o nazwie $MODEL_NAME jest zarejestrowany przy użyciu artefaktów zadania o identyfikatorze $RUN_ID. Ścieżka, w której jest przechowywany model, to $MODEL_PATH.

az ml model create --name $MODEL_NAME --path azureml://jobs/$RUN_ID/outputs/artifacts/$MODEL_PATH

Uwaga

Ścieżka $MODEL_PATH to lokalizacja, w której model został zapisany w przebiegu.

model_name = 'sklearn-diabetes'

ml_client.models.create_or_update(
    Model(
        path=f"azureml://jobs/{RUN_ID}/outputs/artifacts/{MODEL_PATH}"
        name=model_name,
        type=AssetTypes.MLFLOW_MODEL
    )
)

Uwaga

Ścieżka MODEL_PATH to lokalizacja, w której model został zapisany w przebiegu.

model_name = 'sklearn-diabetes'

registered_model = mlflow_client.create_model_version(
    name=model_name, source=f"runs://{RUN_ID}/{MODEL_PATH}"
)
version = registered_model.version

Uwaga

Ścieżka MODEL_PATH to lokalizacja, w której model został zapisany w przebiegu.

Wdrażanie modelu MLflow w punkcie końcowym online

Skonfiguruj punkt końcowy, w którym zostanie wdrożony model. W poniższym przykładzie skonfigurowana jest nazwa i tryb uwierzytelniania punktu końcowego:

Ustaw nazwę punktu końcowego, uruchamiając następujące polecenie (zastąp YOUR_ENDPOINT_NAME element unikatową nazwą):

export ENDPOINT_NAME="<YOUR_ENDPOINT_NAME>"

Konfigurowanie punktu końcowego:

create-endpoint.yaml

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint = ManagedOnlineEndpoint(
    name=endpoint_name,
    description="An online endpoint to generate predictions for the diabetes dataset",
    auth_mode="key",
    tags={"foo": "bar"},
)

Właściwości tego punktu końcowego można skonfigurować przy użyciu pliku konfiguracji. W takim przypadku konfigurujesz tryb uwierzytelniania punktu końcowego jako "klucz".


# Creating a unique endpoint name with current datetime to avoid conflicts
import datetime

endpoint_name = "sklearn-diabetes-" + datetime.datetime.now().strftime("%m%d%H%M%f")

endpoint_config = {
    "auth_mode": "key",
    "identity": {
        "type": "system_assigned"
    }
}

Zapisz tę konfigurację JSON w pliku:

endpoint_config_path = "endpoint_config.json"
with open(endpoint_config_path, "w") as outfile:
    outfile.write(json.dumps(endpoint_config))

Utwórz punkt końcowy:

az ml online-endpoint create --name $ENDPOINT_NAME -f endpoints/online/ncd/create-endpoint.yaml

ml_client.begin_create_or_update(endpoint)

endpoint = deployment_client.create_endpoint(
    name=endpoint_name,
    config={"endpoint-config-file": endpoint_config_path},
)

Skonfiguruj wdrożenie. Wdrożenie to zestaw zasobów wymaganych do hostowania modelu, który wykonuje rzeczywiste wnioskowanie.
sklearn-deployment.yaml
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-deployment
endpoint_name: my-endpoint
model:
  name: mir-sample-sklearn-ncd-model
  version: 2
  path: sklearn-diabetes/model
  type: mlflow_model
instance_type: Standard_DS3_v2
instance_count: 1
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1
)
```
Alternatywnie, jeśli punkt końcowy nie ma łączności wychodzącej, użyj pakietu modelu (wersja zapoznawcza), dołączając argument with_package=True:
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    instance_type="Standard_F4s_v2",
    instance_count=1,
    with_package=True,
)
```
```
blue_deployment_name = "blue"
```
Aby skonfigurować wymagania sprzętowe wdrożenia, utwórz plik JSON z odpowiednią konfiguracją:
```
deploy_config = {
    "instance_type": "Standard_F4s_v2",
    "instance_count": 1,
}
```
Uwaga

Aby uzyskać szczegółowe informacje na temat pełnej specyfikacji tej konfiguracji, zobacz Zarządzany schemat wdrażania online (wersja 2).

Zapisz konfigurację w pliku:
```
deployment_config_path = "deployment_config.json"
with open(deployment_config_path, "w") as outfile:
    outfile.write(json.dumps(deploy_config))
```
Ten krok wykonasz na etapie wdrażania.
Uwaga

Autogeneracja elementów scoring_script i environment jest obsługiwana tylko w przypadku pyfunc odmiany modelu. Aby użyć innego wariantu modelu, zobacz Dostosowywanie wdrożeń modelu MLflow.
Utwórz wdrożenie:
```
az ml online-deployment create --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
Jeśli punkt końcowy nie ma łączności wychodzącej, użyj pakietu modelu (wersja zapoznawcza), dołączając flagę --with-package:
```
az ml online-deployment create --with-package --name sklearn-deployment --endpoint $ENDPOINT_NAME -f endpoints/online/ncd/sklearn-deployment.yaml --all-traffic
```
```
ml_client.online_deployments.begin_create_or_update(blue_deployment)
```
```
blue_deployment = deployment_client.create_deployment(
    name=blue_deployment_name,
    endpoint=endpoint_name,
    model_uri=f"models:/{model_name}/{version}",
    config={"deploy-config-file": deployment_config_path},
)    
```
1. Na stronie Punkty końcowe wybierz pozycję Utwórz na karcie Punkty końcowe czasu rzeczywistego.
2. Wybierz wcześniej zarejestrowany model MLflow, a następnie wybierz przycisk Wybierz .
  
  Uwaga
  
  Strona konfiguracji zawiera notatkę informującą o tym, że skrypt oceniania i środowisko są generowane automatycznie dla wybranego modelu MLflow.
3. Wybierz pozycję Nowy , aby wdrożyć w nowym punkcie końcowym.
4. Podaj nazwę punktu końcowego i wdrożenia lub zachowaj nazwy domyślne.
5. Wybierz pozycję Wdróż , aby wdrożyć model w punkcie końcowym.
Przypisz cały ruch do wdrożenia. Do tej pory punkt końcowy ma jedno wdrożenie, ale żaden z jego ruchu nie jest przypisany do niego.
Ten krok nie jest wymagany w interfejsie wiersza polecenia platformy Azure, ponieważ użyto flagi --all-traffic podczas tworzenia. Jeśli musisz zmienić ruch, możesz użyć polecenia az ml online-endpoint update --traffic. Aby uzyskać więcej informacji na temat aktualizowania ruchu, zobacz Postępowe aktualizowanie ruchu.
```
endpoint.traffic = {"blue": 100}
```
```
traffic_config = {"traffic": {blue_deployment_name: 100}}
```
Zapisz konfigurację w pliku:
```
traffic_config_path = "traffic_config.json"
with open(traffic_config_path, "w") as outfile:
    outfile.write(json.dumps(traffic_config))
```
Ten krok nie jest wymagany w studio.
Zaktualizuj konfigurację punktu końcowego:
Ten krok nie jest wymagany w interfejsie wiersza polecenia platformy Azure, ponieważ użyto flagi --all-traffic podczas tworzenia. Jeśli musisz zmienić ruch, możesz użyć polecenia az ml online-endpoint update --traffic. Aby uzyskać więcej informacji na temat aktualizowania ruchu, zobacz Postępowe aktualizowanie ruchu.
```
ml_client.begin_create_or_update(endpoint).result()
```
```
deployment_client.update_endpoint(
    endpoint=endpoint_name,
    config={"endpoint-config-file": traffic_config_path},
)
```
Ten krok nie jest wymagany w studio.

Wywoływanie punktu końcowego

Gdy wdrożenie będzie gotowe, możesz użyć go do obsługi żądania. Jednym ze sposobów testowania wdrożenia jest użycie wbudowanej funkcji wywołania w używanym kliencie wdrażania. Poniższy kod JSON to przykładowe żądanie wdrożenia.

sample-request-sklearn.json

{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}

Uwaga

input_data Jest używany w tym przykładzie, a nie inputs jest używany w usłudze MLflow. Dzieje się tak, ponieważ usługa Azure Machine Learning wymaga innego formatu danych wejściowych, aby umożliwić automatyczne generowanie kontraktów struktury Swagger dla punktów końcowych. Aby uzyskać więcej informacji na temat oczekiwanych formatów wejściowych, zobacz Różnice między modelami wdrożonym w usłudze Azure Machine Learning i wbudowanym serwerze MLflow.

Prześlij żądanie do punktu końcowego w następujący sposób:

az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json

ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    request_file="sample-request-sklearn.json",
)

# Read the sample request that's in the json file to construct a pandas data frame
with open("sample-request-sklearn.json", "r") as f:
    sample_request = json.loads(f.read())
    samples = pd.DataFrame(**sample_request["input_data"])

deployment_client.predict(endpoint=endpoint_name, df=samples)

Odpowiedź będzie podobna do następującego tekstu:

[ 
  11633.100167144921,
  8522.117402884991
]

Ważne

W przypadku wdrożenia bez kodu platformy MLflow testowanie za pośrednictwem lokalnych punktów końcowych nie jest obecnie obsługiwane.

Dostosowywanie wdrożeń modelu MLflow

Nie musisz określać skryptu oceniania w definicji wdrożenia modelu MLflow do punktu końcowego online. Możesz jednak zdecydować się na to i dostosować sposób wykonywania wnioskowania.

Zazwyczaj należy dostosować wdrożenie modelu MLflow, gdy:

Model nie ma na PyFunc nim smaku.
Musisz dostosować sposób uruchamiania modelu, na przykład, aby użyć konkretnej odmiany do załadowania modelu przy użyciu polecenia mlflow.<flavor>.load_model().
Należy wykonać przetwarzanie wstępne/końcowe w procedurze oceniania, gdy nie jest on wykonywany przez sam model.
Dane wyjściowe modelu nie mogą być ładnie reprezentowane w danych tabelarycznych. Na przykład jest to tensor reprezentujący obraz.

Ważne

Jeśli zdecydujesz się określić skrypt oceniania dla wdrożenia modelu MLflow, musisz również określić środowisko, w którym zostanie uruchomione wdrożenie.

Kroki

Aby wdrożyć model MLflow za pomocą niestandardowego skryptu oceniania:

Zidentyfikuj folder, w którym znajduje się model MLflow.

a. Przejdź do usługi Azure Machine Learning Studio.

b. Przejdź do sekcji Modele .

c. Wybierz model, który próbujesz wdrożyć, i przejdź do karty Artefakty .

d. Zanotuj wyświetlany folder. Ten folder został określony podczas rejestrowania modelu.

Utwórz skrypt oceniania. Zwróć uwagę, że nazwa model folderu, który został wcześniej zidentyfikowany, jest uwzględniona w init() funkcji.

Napiwek

Poniższy skrypt oceniania jest dostarczany jako przykład sposobu wnioskowania z modelem MLflow. Ten skrypt można dostosować do swoich potrzeb lub zmienić dowolny z jego części, aby odzwierciedlał twój scenariusz.

score.py

import logging
import os
import json
import mlflow
from io import StringIO
from mlflow.pyfunc.scoring_server import infer_and_parse_json_input, predictions_to_json


def init():
    global model
    global input_schema
    # "model" is the path of the mlflow artifacts when the model was registered. For automl
    # models, this is generally "mlflow-model".
    model_path = os.path.join(os.getenv("AZUREML_MODEL_DIR"), "model")
    model = mlflow.pyfunc.load_model(model_path)
    input_schema = model.metadata.get_input_schema()


def run(raw_data):
    json_data = json.loads(raw_data)
    if "input_data" not in json_data.keys():
        raise Exception("Request must contain a top level key named 'input_data'")

    serving_input = json.dumps(json_data["input_data"])
    data = infer_and_parse_json_input(serving_input, input_schema)
    predictions = model.predict(data)

    result = StringIO()
    predictions_to_json(predictions, result)
    return result.getvalue()

Ostrzeżenie

Porady dotyczące platformy MLflow 2.0: Udostępniony skrypt oceniania będzie działał zarówno z MLflow 1.X, jak i MLflow 2.X. Należy jednak pamiętać, że oczekiwane formaty danych wejściowych/wyjściowych w tych wersjach mogą się różnić. Sprawdź definicję środowiska używaną w celu upewnienia się, że używasz oczekiwanej wersji platformy MLflow. Zwróć uwagę, że platforma MLflow 2.0 jest obsługiwana tylko w języku Python 3.8 lub nowszym.

Utwórz środowisko, w którym można wykonać skrypt oceniania. Ponieważ model jest modelem MLflow, wymagania conda są również określone w pakiecie modelu. Aby uzyskać więcej informacji na temat plików zawartych w modelu MLflow, zobacz Format MLmodel. Następnie skompilujesz środowisko przy użyciu zależności conda z pliku. Należy jednak uwzględnić również pakiet azureml-inference-server-http, który jest wymagany do wdrożeń online w usłudze Azure Machine Learning.

Plik definicji conda jest następujący:

conda.yml
```
channels:
- conda-forge
dependencies:
- python=3.9
- pip
- pip:
  - mlflow
  - scikit-learn==1.2.2
  - cloudpickle==2.2.1
  - psutil==5.9.4
  - pandas==2.0.0
  - azureml-inference-server-http
name: mlflow-env
```
Uwaga

Pakiet azureml-inference-server-http został dodany do oryginalnego pliku zależności conda.

Użyjesz tego pliku zależności conda, aby utworzyć środowisko:
Środowisko zostanie utworzone w tekście w konfiguracji wdrożenia.
```
environment = Environment(
    conda_file="sklearn-diabetes/environment/conda.yml",
    image="mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04:latest",
)
```
Ta operacja nie jest obsługiwana w zestawie MLflow SDK
1. Przejdź do karty Środowiska w menu bocznym.
2. Wybierz kartę Niestandardowe środowiska>Utwórz.
3. Wprowadź nazwę środowiska, w tym przypadku sklearn-mlflow-online-py37.
4. W obszarze Wybierz źródło środowiska wybierz pozycję Użyj istniejącego obrazu platformy Docker z opcjonalnym plikiem conda.
5. W polu Ścieżka obrazu rejestru kontenerów wprowadź wartość mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04.
6. Wybierz pozycję Dalej , aby przejść do sekcji Dostosowywanie .
7. Skopiuj zawartość sklearn-diabetes/environment/conda.yml pliku i wklej ją w polu tekstowym.
8. Wybierz przycisk Dalej , aby przejść do strony Tagi , a następnie ponownie przycisk Dalej .
9. Na stronie Przegląd wybierz pozycję Utwórz. Środowisko jest gotowe do użycia.
Utwórz wdrożenie:
Utwórz plik konfiguracji wdrożenia deployment.yml:
```
$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineDeployment.schema.json
name: sklearn-diabetes-custom
endpoint_name: my-endpoint
model: azureml:sklearn-diabetes@latest
environment: 
  image: mcr.microsoft.com/azureml/openmpi4.1.0-ubuntu22.04
  conda_file: sklearn-diabetes/environment/conda.yml
code_configuration:
  code: sklearn-diabetes/src
  scoring_script: score.py
instance_type: Standard_F2s_v2
instance_count: 1
```
Utwórz wdrożenie:
```
az ml online-deployment create -f deployment.yml
```
```
blue_deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=model,
    environment=environment,
    code_configuration=CodeConfiguration(
        code="sklearn-diabetes/src",
        scoring_script="score.py"
    ),
    instance_type="Standard_F4s_v2",
    instance_count=1,
)
```
Ta operacja nie jest obsługiwana w zestawie MLflow SDK
1. Na stronie Punkty końcowe wybierz pozycję +Utwórz.
2. Wybierz wcześniej zarejestrowany model MLflow.
3. Wybierz pozycję Więcej opcji w kreatorze tworzenia punktu końcowego, aby otworzyć opcje zaawansowane.
4. Podaj nazwę i typ uwierzytelniania dla punktu końcowego, a następnie wybierz przycisk Dalej , aby zobaczyć, że wybrany model jest używany do wdrożenia.
5. Wybierz przycisk Dalej , aby przejść do strony _Wdrożenie .
6. Wybierz przycisk Dalej , aby przejść do strony Kod i środowisko . Po wybraniu modelu zarejestrowanego w formacie MLflow nie trzeba określać skryptu oceniania ani środowiska na tej stronie. Jednak chcesz określić jeden w tej sekcji
7. Wybierz suwak obok pozycji Dostosuj środowisko i skrypt oceniania.
8. Przejdź do wybrania utworzonego wcześniej skryptu oceniania.
9. Wybierz pozycję Środowiska niestandardowe dla typu środowiska.
10. Wybierz utworzone wcześniej środowisko niestandardowe, a następnie wybierz pozycję Dalej.
11. Ukończ pracę kreatora, aby wdrożyć model w punkcie końcowym.
Po zakończeniu wdrażania można przystąpić do obsługi żądań. Jednym ze sposobów testowania wdrożenia jest użycie przykładowego pliku żądania wraz z invoke metodą .

sample-request-sklearn.json
```
{"input_data": {
    "columns": [
      "age",
      "sex",
      "bmi",
      "bp",
      "s1",
      "s2",
      "s3",
      "s4",
      "s5",
      "s6"
    ],
    "data": [
      [ 1.0,2.0,3.0,4.0,5.0,6.0,7.0,8.0,9.0,10.0 ],
      [ 10.0,2.0,9.0,8.0,7.0,6.0,5.0,4.0,3.0,2.0]
    ],
    "index": [0,1]
  }}
```
Prześlij żądanie do punktu końcowego w następujący sposób:
```
az ml online-endpoint invoke --name $ENDPOINT_NAME --request-file endpoints/online/ncd/sample-request-sklearn.json
```
```
ml_client.online_endpoints.invoke(
    endpoint_name=endpoint_name,
    deployment_name=deployment.name,
    request_file="sample-request-sklearn.json",
)
```
Ta operacja nie jest obsługiwana w zestawie MLflow SDK
1. Przejdź do karty Punkty końcowe i wybierz utworzony nowy punkt końcowy.
2. Przejdź do karty Test .
3. Wklej zawartość sample-request-sklearn.json pliku do pola Dane wejściowe, aby przetestować punkt końcowy .
4. Kliknij przycisk Testuj.
5. Przewidywania będą wyświetlane w obszarze "Wyniki testów" po prawej stronie pola.
Odpowiedź będzie podobna do następującego tekstu:
```
{
  "predictions": [ 
    11633.100167144921,
    8522.117402884991
  ]
}
```
Ostrzeżenie

Porady dotyczące platformy MLflow 2.0: W systemie MLflow 1.X predictions brakuje klucza.

Czyszczenie zasobów

Po zakończeniu korzystania z punktu końcowego usuń skojarzone z nim zasoby:

az ml online-endpoint delete --name $ENDPOINT_NAME --yes

ml_client.online_endpoints.begin_delete(endpoint_name)

deployment_client.delete_endpoint(endpoint_name)

Udostępnij za pośrednictwem

Wdrażanie modeli MLflow w punktach końcowych online

Informacje o przykładzie

Postępuj zgodnie z instrukcjami w notesie Jupyter Notebook

Wymagania wstępne

Nawiązywanie połączenia z obszarem roboczym

Rejestrowanie modelu

Co zrobić, jeśli model został zarejestrowany wewnątrz przebiegu?

Wdrażanie modelu MLflow w punkcie końcowym online

Wywoływanie punktu końcowego

Dostosowywanie wdrożeń modelu MLflow

Kroki

Czyszczenie zasobów

Opinia

Dodatkowe zasoby

Udostępnij za pośrednictwem

Wdrażanie modeli MLflow w punktach końcowych online

Informacje o przykładzie

Postępuj zgodnie z instrukcjami w notesie Jupyter Notebook

Wymagania wstępne

Nawiązywanie połączenia z obszarem roboczym

Rejestrowanie modelu

Co zrobić, jeśli model został zarejestrowany wewnątrz przebiegu?

Wdrażanie modelu MLflow w punkcie końcowym online

Wywoływanie punktu końcowego

Dostosowywanie wdrożeń modelu MLflow

Kroki

Czyszczenie zasobów

Powiązana zawartość

Opinia

Dodatkowe zasoby