Migrace na obsluhu modelů

Článek
12/27/2024

Tento článek ukazuje, jak povolit službu Model Serving ve vašem pracovním prostoru a přepnout modely na prostředí služby Rozhraní Pro obsluhu modelů Bez serveru.

Požadavky

Registrovaný model v registru modelů MLflow.
Oprávnění k registrovaným modelům, jak je popsáno v průvodci řízením přístupu.
Povolte výpočetní prostředky bez serveru ve vašem pracovním prostoru.

Významné změny

Ve službě Model Serving se formát požadavku na koncový bod a odpověď z koncového bodu mírně liší od služby starší verze modelu MLflow. Podrobnosti o novém formátovacím protokolu najdete v bodování koncového bodu modelu.
V části Obsluha modelu adresa URL koncového serving-endpointsbodu obsahuje model místo .
Poskytování modelů zahrnuje plnou podporu správy prostředků pomocí pracovních postupů rozhraní API.
Obsluha modelů je připravená pro produkční prostředí a je zajištěná smlouvou SLA pro Azure Databricks.

Migrace starší verze modelu MLflow obsluhované modely na obsluhu modelů

Můžete vytvořit koncový bod obsluhy modelů a pružně přecházet model obsluhující pracovní postupy bez zakázání služby starších modelů MLflow.

Následující kroky ukazují, jak toho dosáhnout pomocí uživatelského rozhraní. Pro každý model, na kterém máte povolenou službu starší verze modelu MLflow:

Zaregistrujte model do Unity Catalog.
Na bočním panelu pracovního prostoru strojového učení přejděte na obsluhu koncových bodů.
Postupujte podle pracovního postupu popsaného v tématu Vytvoření vlastních modelů, který obsluhuje koncové body při vytváření obslužného koncového bodu s vaším modelem.
Převést aplikaci tak, aby používala novou adresu URL poskytnutou koncovým bodem obsluhy k dotazování modelu spolu s novým formátem bodování.
Po přechodu modelů můžete přejít na boční panel pracovního prostoru strojového učení na bočním panelu.
Select modelu, pro který chcete zakázat službu Legacy MLflow Model Serving.
Na kartě Obsluha klikněte na selectZastavit.
Zobrazí se zpráva, která se zobrazí k potvrzení. Select Přestat obsluhovat.

Migrace nasazených verzí modelu do obsluhy modelů

V předchozích verzích funkce obsluhy modelu se koncový bod obsluhy vytvořil na základě fáze registrované verze modelu: Staging nebo Production. Pokud chcete migrovat obsluhované modely z daného prostředí, můžete toto chování replikovat v novém prostředí pro obsluhu modelů.

Tato část ukazuje, jak vytvořit samostatný model obsluhující koncové body pro Staging verze modelu a Production verze modelu. Následující kroky ukazují, jak toho dosáhnout pomocí rozhraní API pro obsluhu koncových bodů pro každý z vašich obsluhovaných modelů.

V příkladu má registrovaný název modelA modelu verzi 1 ve fázi Production modelu a verzi 2 ve fázi Stagingmodelu .

Vytvořte dva koncové body pro zaregistrovaný model, jeden pro verze modelu a druhý pro StagingProduction verze modelu.

Pro Staging verze modelu:

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Staging"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"2",  // Staging Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Pro Production verze modelu:

POST /api/2.0/serving-endpoints
  {
     "name":"modelA-Production"
     "config":
     {
        "served_entities":
        [
           {
              "entity_name":"model-A",
              "entity_version":"1",   // Production Model Version
              "workload_size":"Small",
              "scale_to_zero_enabled":true
           },
        ],
     },
  }

Ověřte stav koncových bodů.

Přípravný koncový bod: GET /api/2.0/serving-endpoints/modelA-Staging

Pro produkční koncový bod: GET /api/2.0/serving-endpoints/modelA-Production
Jakmile jsou koncové body připravené, zadejte dotaz na koncový bod pomocí:

Přípravný koncový bod: POST /serving-endpoints/modelA-Staging/invocations

Pro produkční koncový bod: POST /serving-endpoints/modelA-Production/invocations

Update koncový bod podle přechodů verzí modelu.

Ve scénáři where je vytvořen nový model verze 3, můžete přechod verze 2 modelu nasměrovat na Production, zatímco model verze 3 může přejít na Staging. Model verze 1 je ve stavu Archived. Tyto změny se dají promítnout do samostatných modelů obsluhujících koncové body následujícím způsobem:

Pro koncový bod Staging použijte novou verzi modelu v Stagingpro koncový bod update.

PUT /api/2.0/serving-endpoints/modelA-Staging/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"3",  // New Staging model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

Pro koncový bod Production použijte novou verzi modelu v Production, která bude koncovým bodem update.

PUT /api/2.0/serving-endpoints/modelA-Production/config
{
   "served_entities":
   [
      {
         "entity_name":"model-A",
         "entity_version":"2",  // New Production model version
         "workload_size":"Small",
         "scale_to_zero_enabled":true
      },
   ],
}

Migrace pracovních postupů odvozování systému MosaicML do obsluhy modelů

Tato část obsahuje pokyny, jak migrovat nasazení odvozování systému MosaicML do obsluhy modelu Mosaic AI a obsahuje příklad poznámkového bloku.

Následující table shrnuje paritu mezi inferováním MosaicML a obsluhou modelu na Azure Databricks.

Odvozovat do systému MosaicML	Obsluhamodeluho
create_inference_deployment	Vytvoření koncového bodu obsluhy modelu
update_inference_deployment	Update modelu obsluhujícího koncový bod
delete_inference_deployment	Odstranění koncového bodu obsluhy modelu
get_inference_deployment	Get stav modelu obsluhujícího koncový bod

Následující poznámkový blok obsahuje příklad migrace modelu ze systému MosaicML na obsluhu modelu AI s architekturou llama-13b AI.

Migrace z odvozování z aplikace MosaicML na poznámkový blok obsluhy modelu AI s využitím systému MosaicML

poznámkového bloku

Sdílet prostřednictvím