Korzystanie z bezserwerowych punktów końcowych interfejsu API z innego projektu lub centrum rozwiązania Azure AI Foundry

Z tego artykułu dowiesz się, jak skonfigurować istniejący bezserwerowy punkt końcowy interfejsu API w innym projekcie lub centrum niż ten, który został użyty do utworzenia wdrożenia.

Ważne

Modele, które są w wersji zapoznawczej, są oznaczone jako wersja zapoznawcza na kartach modeli w wykazie modeli.

Niektóre modele w wykazie modeli można wdrożyć jako bezserwerowe interfejsy API. Tego rodzaju wdrożenie umożliwia korzystanie z modeli jako interfejsu API bez hostowania ich w ramach subskrypcji, przy jednoczesnym zachowaniu bezpieczeństwa i zgodności przedsiębiorstwa, których potrzebują organizacje. Ta opcja wdrożenia nie wymaga limitu przydziału z subskrypcji.

Konieczność użycia bezserwerowego punktu końcowego interfejsu API w innym projekcie lub centrum niż ten, który został użyty do utworzenia wdrożenia, może wystąpić w takich sytuacjach:

• Chcesz scentralizować wdrożenia w danym projekcie lub centrum i korzystać z nich z różnych projektów lub centrów w organizacji.
• Należy wdrożyć model w centrum w określonym regionie świadczenia usługi Azure, w którym dostępne jest bezserwerowe wdrożenie tego modelu. Należy jednak korzystać z niego z innego regionu, w którym wdrożenie bezserwerowe nie jest dostępne dla określonych modeli.

Wymagania wstępne

• Subskrypcja platformy Azure z prawidłową formą płatności. Subskrypcje platformy Azure w wersji bezpłatnej lub próbnej nie będą działać. Jeśli nie masz subskrypcji platformy Azure, utwórz płatne konto platformy Azure, aby rozpocząć.

• Centrum usługi Azure AI Foundry.

• Projekt usługi Azure AI Foundry.

• Model wdrożony w punkcie końcowym bezserwerowego interfejsu API. W tym artykule założono, że wcześniej wdrożono model Meta-Llama-3-8B-Instruct . Aby dowiedzieć się, jak wdrożyć ten model jako bezserwerowy interfejs API, zobacz Wdrażanie modeli jako bezserwerowych interfejsów API.

• Aby pracować z usługą Azure AI Foundry, musisz zainstalować następujące oprogramowanie:

  Portal usługi Azure AI Foundry

  Aby nawigować po usłudze Azure AI Foundry, możesz użyć dowolnej zgodnej przeglądarki internetowej.

  Interfejs wiersza polecenia platformy Azure

  Interfejs wiersza polecenia platformy Azure i rozszerzenie ml dla usługi Azure Machine Learning.

  az extension add -n ml
  

  Jeśli masz już zainstalowane rozszerzenie, upewnij się, że zainstalowano najnowszą wersję.

  az extension update -n ml
  

  Po zainstalowaniu rozszerzenia skonfiguruj je:

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Zestaw SDK dla języka Python

  Zainstaluj zestaw AZURE Machine Learning SDK dla języka Python.

  pip install -U azure-ai-ml
  

  Po zainstalowaniu zaimportuj niezbędne przestrzenie nazw:

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

Tworzenie bezserwerowego połączenia punktu końcowego interfejsu API

Wykonaj następujące kroki, aby utworzyć połączenie:

1. Połącz się z projektem lub centrum, w którym wdrożono punkt końcowy:

   Portal usługi Azure AI Foundry

   Przejdź do usługi Azure AI Foundry i przejdź do projektu, w którym wdrożono punkt końcowy, z którym chcesz nawiązać połączenie.

   Interfejs wiersza polecenia platformy Azure

   Skonfiguruj interfejs wiersza polecenia, aby wskazywał projekt:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Zestaw SDK dla języka Python

   Utwórz klienta połączonego z projektem:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. Pobierz adres URL i poświadczenia punktu końcowego, z którym chcesz nawiązać połączenie. W tym przykładzie uzyskasz szczegółowe informacje dotyczące nazwy punktu końcowego meta-llama3-8b-qwerty.

   Portal usługi Azure AI Foundry

   1. Na lewym pasku bocznym projektu w portalu Azure AI Foundry przejdź do pozycji Moje>zasoby Modele i punkty końcowe, aby wyświetlić listę wdrożeń w projekcie.

   2. Wybierz wdrożenie, z którym chcesz nawiązać połączenie.

   3. Skopiuj wartości dla docelowego identyfikatora URI i klucza.

   Interfejs wiersza polecenia platformy Azure

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Zestaw SDK dla języka Python

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. Teraz połącz się z projektem lub centrum , w którym chcesz utworzyć połączenie:

   Portal usługi Azure AI Foundry

   Przejdź do projektu, w którym należy utworzyć połączenie.

   Interfejs wiersza polecenia platformy Azure

   Skonfiguruj interfejs wiersza polecenia, aby wskazywał projekt:

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Zestaw SDK dla języka Python

   Utwórz klienta połączonego z projektem:

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. Utwórz połączenie w projekcie:

   Portal usługi Azure AI Foundry

   1. W projekcie w portalu Azure AI Foundry przejdź do dolnej części lewego paska bocznego i wybierz pozycję Centrum zarządzania.

   2. Na lewym pasku bocznym centrum zarządzania wybierz pozycję Połączone zasoby.

   3. Wybierz Nowe połączenie.

   4. Wybierz pozycję Model bezserwerowy.

   5. W polu Docelowy identyfikator URI wklej skopiowaną wcześniej wartość.

   6. W polu Klucz wklej skopiowaną wcześniej wartość.

   7. Nadaj połączeniu nazwę, w tym przypadku meta-llama3-8b-connection.

   8. Wybierz opcję Dodaj połączenie.

   Interfejs wiersza polecenia platformy Azure

   Utwórz definicję połączenia:

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Zestaw SDK dla języka Python

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. W tym momencie połączenie jest dostępne do użycia.

6. Aby sprawdzić, czy połączenie działa:

   1. Wróć do projektu w portalu Azure AI Foundry.

   2. Na lewym pasku bocznym projektu przejdź do pozycji Kompiluj i dostosuj>przepływ monitu.

   3. Wybierz pozycję Utwórz , aby utworzyć nowy przepływ.

   4. Wybierz pozycję Utwórz w polu Przepływ czatu.

   5. Nadaj przepływowi monitu nazwę i wybierz pozycję Utwórz.

   6. Wybierz węzeł czatu z grafu, aby przejść do sekcji czatu.

   7. W polu Połączenie otwórz listę rozwijaną, aby wybrać właśnie utworzone połączenie, w tym przypadku meta-llama3-8b-connection.

   8. Wybierz pozycję Rozpocznij sesję obliczeniową na górnym pasku nawigacyjnym, aby uruchomić automatyczne środowisko uruchomieniowe przepływu monitów.

   9. Wybierz opcję Czat. Teraz możesz wysyłać komunikaty i otrzymywać odpowiedzi.

Powiązana zawartość

• Co to jest usługa Azure AI Foundry?
• Artykuł z często zadawanymi pytaniami na temat sztucznej inteligencji platformy Azure