Využívání koncových bodů bezserverového rozhraní API z jiného pracovního prostoru

V tomto článku se dozvíte, jak nakonfigurovat existující koncový bod bezserverového rozhraní API v jiném pracovním prostoru, než který byl nasazen.

Některé modely v katalogu modelů je možné nasadit jako bezserverová rozhraní API. Tento druh nasazení poskytuje způsob, jak využívat modely jako rozhraní API bez jejich hostování ve vašem předplatném a současně udržovat podnikové zabezpečení a dodržování předpisů, které organizace potřebují. Tato možnost nasazení nevyžaduje kvótu z vašeho předplatného.

Potřeba využívat koncový bod bezserverového rozhraní API v jiném pracovním prostoru než koncový bod, který byl použit k vytvoření nasazení, může nastat v situacích, jako jsou tyto:

• Chcete centralizovat nasazení v daném pracovním prostoru a využívat je z různých pracovních prostorů ve vaší organizaci.
• Model musíte nasadit do pracovního prostoru v konkrétní oblasti Azure, kde je k dispozici bezserverové nasazení pro daný model. Musíte ho ale využívat z jiné oblasti, kde není pro konkrétní modely dostupné bezserverové nasazení.

Požadavky

• Předplatné Azure s platným způsobem platby. Bezplatná nebo zkušební předplatná Azure nebudou fungovat. Pokud nemáte předplatné Azure, vytvořte si placený účet Azure, abyste mohli začít.

• Pracovní prostor Azure Machine Learning, ve kterém chcete využívat stávající nasazení.

• Model nasazený do koncového bodu bezserverového rozhraní API Tento článek předpokládá, že jste dříve nasadili model Meta-Llama-3-8B-Instruct . Informace o nasazení tohoto modelu jako bezserverového rozhraní API najdete v tématu Nasazení modelů jako bezserverových rozhraní API.

• Abyste mohli pracovat se službou Azure Machine Learning, musíte nainstalovat následující software:

  Studio

  K navigaci studio Azure Machine Learning můžete použít libovolný kompatibilní webový prohlížeč.

  Azure CLI

  Azure CLI a rozšíření ml pro Azure Machine Learning.

  az extension add -n ml
  

  Pokud už rozšíření máte nainstalované, ujistěte se, že je nainstalovaná nejnovější verze.

  az extension update -n ml
  

  Jakmile je rozšíření nainstalované, nakonfigurujte ho:

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Nainstalujte sadu Azure Machine Learning SDK pro Python.

  pip install -U azure-ai-ml
  

  Po instalaci naimportujte potřebné obory názvů:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Vytvoření připojení koncového bodu rozhraní API bez serveru

Pokud chcete vytvořit připojení, postupujte takto:

1. Připojte se k pracovnímu prostoru, ve kterém je koncový bod nasazený:

   Studio

   Přejděte na studio Azure Machine Learning a přejděte do pracovního prostoru, kde je nasazený koncový bod, ke kterému se chcete připojit.

   Azure CLI

   Nakonfigurujte rozhraní příkazového řádku tak, aby odkazovali na pracovní prostor:

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   Vytvořte klienta připojeného k pracovnímu prostoru:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. Získejte adresu URL a přihlašovací údaje koncového bodu pro koncový bod, ke kterému se chcete připojit. V tomto příkladu získáte podrobnosti o názvu koncového bodu meta-llama3-8b-qwerty.

   Studio

   1. Na levém bočním panelu vyberte koncové body .

   2. Výběrem karty Bezserverové koncové body zobrazte koncové body bezserverového rozhraní API.

   3. Vyberte koncový bod, ke kterému se chcete připojit.

   4. Na kartě Podrobnosti koncového bodu zkopírujte hodnoty pro cílový identifikátor URI a klíč.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Teď se připojte k pracovnímu prostoru , ve kterém chcete vytvořit připojení a využívat koncový bod.

4. Vytvořte připojení v pracovním prostoru:

   Studio

   1. Přejděte do pracovního prostoru, do kterého je potřeba vytvořit připojení.

   2. V levém navigačním panelu přejděte do části Spravovat a vyberte Připojení.

   3. Vyberte Vytvořit.

   4. Vyberte bezserverový model.

   5. Jako cílový identifikátor URI vložte hodnotu, kterou jste zkopírovali dříve.

   6. Jako klíč vložte hodnotu, kterou jste zkopírovali dříve.

   7. Pojmenujte připojení, v tomto případě meta-llama3-8b-connection.

   8. Vyberte Přidat připojení.

   Azure CLI

   Vytvoření definice připojení:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. V tomto okamžiku je připojení k dispozici ke spotřebě.

6. Ověření, že připojení funguje:

   1. V levém navigačním panelu studio Azure Machine Learning přejděte do toku Výzvy pro vytváření>obsahu.

   2. Výběrem možnosti Vytvořit vytvořte nový tok.

   3. V poli Tok chatu vyberte Vytvořit.

   4. Zadejte název toku výzvy a vyberte Vytvořit.

   5. Výběrem uzlu chatu v grafu přejděte do oddílu chatu.

   6. V části Připojení otevřete rozevírací seznam a vyberte připojení, které jste právě vytvořili, v tomto případě meta-llama3-8b-connection.

   7. Výběrem možnosti Spustit výpočetní relaci z horního navigačního panelu spusťte automatický modul runtime toku výzvy.

   8. Vyberte možnost Chat. Teď můžete odesílat zprávy a získávat odpovědi.

Související obsah

• Katalog modelů a kolekce
• Nasazení modelů jako koncových bodů bezserverového rozhraní API