다른 Azure AI Foundry 프로젝트 또는 허브에서 서버리스 API 엔드포인트 사용

이 문서에서는 배포를 만드는 데 사용된 것과 다른 프로젝트 또는 허브에서 기존 서버리스 API 엔드포인트를 구성하는 방법에 대해 알아봅니다.

Important

미리 보기에 있는 모델은 모델 카탈로그의 모델 카드에서 미리 보기로 표시됩니다.

모델 카탈로그의 특정 모델은 서버리스 API로 배포될 수 있습니다. 이 종류의 배포를 활용하면 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지하면서 구독에서 모델을 호스트하지 않고 API로 모델을 사용할 수 있습니다. 이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다.

다음과 같은 상황에서는 배포를 만드는 데 사용된 것이 아닌 다른 프로젝트 또는 허브에서 서버리스 API 엔드포인트를 사용해야 할 수 있습니다.

• 지정된 프로젝트 또는 허브에서 배포를 중앙 집중화하고 조직의 다른 프로젝트 또는 허브에서 배포를 사용하려고 합니다.
• 해당 모델에 대한 서버리스 배포가 가능한 특정 Azure 지역의 허브에 모델을 배포해야 합니다. 그러나 특정 모델에 대해 서버리스 배포를 사용할 수 없는 다른 지역에서 이를 사용해야 합니다.

필수 조건

• 유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없으면 유료 Azure 계정을 만들어 시작합니다.

• Azure AI Foundry 허브.

• Azure AI Foundry 프로젝트입니다.

• 서버리스 API 엔드포인트에 배포된 모델. 이 문서에서는 이전에 Meta-Llama-3-8B-Instruct 모델을 배포했다고 가정합니다. 이 모델을 서버리스 API로 배포하는 방법을 알아보려면 모델을 서버리스 API로 배포를 참조하세요.

• Azure AI Foundry를 사용하려면 다음 소프트웨어를 설치해야 합니다.

  AI Foundry

  호환되는 웹 브라우저를 사용하여 Azure AI Foundry를 탐색 할 수 있습니다.

  Azure CLI

  Azure CLI 및 Azure Machine Learning용 ml 확장.

  az extension add -n ml
  

  확장 기능이 이미 설치되어 있는 경우 최신 버전이 설치되어 있는지 확인합니다.

  az extension update -n ml
  

  확장이 설치되면 다음과 같이 구성합니다.

  az account set --subscription <subscription>
  az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
  

  Python SDK

  Python용 Azure Machine Learning SDK 설치

  pip install -U azure-ai-ml
  

  설치가 완료되면 필요한 네임스페이스를 가져옵니다.

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

서버리스 API 엔드포인트 연결 만들기

연결을 만들려면 다음 단계를 따릅니다.

1. 엔드포인트가 배포된 프로젝트 또는 허브에 연결합니다.

   AI Foundry

   Azure AI Foundry로 이동하여 연결하려는 엔드포인트가 배포된 프로젝트로 이동합니다.

   Azure CLI

   프로젝트를 가리키도록 CLI를 구성합니다.

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   프로젝트에 연결된 클라이언트를 만듭니다.

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

2. 연결하려는 엔드포인트에 대한 엔드포인트의 URL과 자격 증명을 가져옵니다. 이 예에서는 엔드포인트 이름 meta-llama3-8b-qwerty에 대한 세부 정보를 가져옵니다.

   AI Foundry

   1. AI Foundry 포털에 있는 프로젝트의 왼쪽 사이드바에서 내 자산>모델 + 엔드포인트로 이동하여 프로젝트의 배포 목록을 확인합니다.

   2. 연결하려는 배포를 선택합니다.

   3. 대상 URI 및 키의 값을 복사합니다.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. 이제 연결을 만들려는 프로젝트 또는 허브에 연결합니다.

   AI Foundry

   연결을 만들어야 하는 프로젝트로 이동합니다.

   Azure CLI

   프로젝트를 가리키도록 CLI를 구성합니다.

   az account set --subscription <subscription>
   az configure --defaults workspace=<project-name> group=<resource-group> location=<location>
   

   Python SDK

   프로젝트에 연결된 클라이언트를 만듭니다.

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<project-name>",
   )
   

4. 프로젝트에서 연결을 만듭니다.

   AI Foundry

   1. AI Foundry 포털에서 프로젝트의 왼쪽 사이드바에서 관리 센터를 선택합니다.

   2. 관리 센터의 왼쪽 사이드바에서 연결된 리소스를 선택합니다.

   3. 새 연결을 선택합니다.

   4. 서버리스 모델을 선택합니다.

   5. 대상 URI에는 이전에 복사한 값을 붙여넣습니다.

   6. 키에는 이전에 복사한 값을 붙여넣습니다.

   7. 연결 이름을 지정합니다(이 경우에는 meta-llama3-8b-connection).

   8. 연결 추가를 선택합니다.

   Azure CLI

   연결 정의를 만듭니다.

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. 이 시점에서 연결을 사용할 수 있습니다.

6. 연결이 작동하는지 유효성을 검사하려면 다음을 수행합니다.

   1. AI Foundry 포털에서 프로젝트로 돌아갑니다.

   2. 프로젝트의 왼쪽 사이드바에서 빌드로 이동하여 프롬프트 흐름을 사용자 지정>합니다.

   3. 새 흐름을 만들려면 만들기를 선택합니다.

   4. 채팅 흐름 상자에서 만들기를 선택합니다.

   5. 프롬프트 흐름에 이름을 지정하고 만들기를 선택합니다.

   6. 그래프에서 채팅 노드를 선택하여 채팅 섹션으로 이동합니다.

   7. 연결의 경우 드롭다운 목록을 열어 방금 만든 연결(이 경우에는 meta-llama3-8b-connection)을 선택합니다.

   8. 프롬프트 흐름 자동 런타임을 시작하려면 상단 탐색 모음에서 컴퓨팅 세션 시작을 선택합니다.

   9. 채팅 옵션을 선택합니다. 이제 메시지를 보내고 응답을 가져올 수 있습니다.

관련 콘텐츠

• Azure AI Foundry란?
• Azure AI FAQ 문서