다른 작업 영역에서 서버리스 API 엔드포인트 사용

이 문서에서는 배포된 작업 영역이 아닌 다른 작업 영역에서 기존 서버리스 API 엔드포인트를 구성하는 방법을 알아봅니다.

모델 카탈로그의 특정 모델은 서버리스 API로 배포될 수 있습니다. 이 종류의 배포를 활용하면 조직에 필요한 엔터프라이즈 보안 및 규정 준수를 유지하면서 구독에서 모델을 호스트하지 않고 API로 모델을 사용할 수 있습니다. 이 배포 옵션에는 구독으로부터의 할당량이 필요하지 않습니다.

다음과 같은 상황에서는 배포를 만드는 데 사용된 작업 영역이 아닌 다른 작업 영역에서 서버리스 API 엔드포인트를 사용해야 할 수 있습니다.

• 특정 작업 영역에서 배포를 중앙 집중화하고 조직의 다양한 작업 영역에서 사용하려고 합니다.
• 해당 모델에 대한 서버리스 배포가 가능한 특정 Azure 지역의 작업 영역에 모델을 배포해야 합니다. 그러나 특정 모델에 대해 서버리스 배포를 사용할 수 없는 다른 지역에서 이를 사용해야 합니다.

필수 조건

• 유효한 결제 방법을 사용하는 Azure 구독입니다. 무료 또는 평가판 Azure 구독은 작동하지 않습니다. Azure 구독이 없으면 유료 Azure 계정을 만들어 시작합니다.

• 기존 배포를 사용하려는 Azure Machine Learning 작업 영역.

• 서버리스 API 엔드포인트에 배포된 모델. 이 문서에서는 이전에 Meta-Llama-3-8B-Instruct 모델을 배포했다고 가정합니다. 이 모델을 서버리스 API로 배포하는 방법을 알아보려면 모델을 서버리스 API로 배포를 참조하세요.

• Azure Machine Learning을 사용하려면 다음 소프트웨어를 설치해야 합니다.

  Studio

  호환되는 웹 브라우저를 사용하여 Azure Machine Learning 스튜디오를 탐색할 수 있습니다.

  Azure CLI

  Azure CLI 및 Azure Machine Learning용 ml 확장.

  az extension add -n ml
  

  확장 기능이 이미 설치되어 있는 경우 최신 버전이 설치되어 있는지 확인합니다.

  az extension update -n ml
  

  확장이 설치되면 다음과 같이 구성합니다.

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  Python용 Azure Machine Learning SDK 설치

  pip install -U azure-ai-ml
  

  설치가 완료되면 필요한 네임스페이스를 가져옵니다.

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

서버리스 API 엔드포인트 연결 만들기

연결을 만들려면 다음 단계를 따릅니다.

1. 엔드포인트가 배포된 작업 영역에 연결합니다.

   Studio

   Azure Machine Learning 스튜디오로 이동하여 연결하려는 엔드포인트가 배포된 작업 영역으로 이동합니다.

   Azure CLI

   작업 영역을 가리키도록 CLI를 구성합니다.

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   작업 영역에 연결된 클라이언트를 만듭니다.

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. 연결하려는 엔드포인트에 대한 엔드포인트의 URL과 자격 증명을 가져옵니다. 이 예에서는 엔드포인트 이름 meta-llama3-8b-qwerty에 대한 세부 정보를 가져옵니다.

   Studio

   1. 왼쪽 사이드바에서 엔드포인트를 선택합니다.

   2. 서버리스 API 엔드포인트를 표시하려면 서버리스 엔드포인트 탭을 선택합니다.

   3. 연결하려는 엔드포인트를 선택합니다.

   4. 엔드포인트의 세부 정보 탭에서 대상 URI 및 키 값을 복사합니다.

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. 이제 연결을 만들고 엔드포인트를 사용하려는 작업 영역에 연결합니다.

4. 작업 영역에서 연결을 만듭니다.

   Studio

   1. 연결을 만들어야 하는 작업 영역으로 이동합니다.

   2. 왼쪽 탐색 모음의 관리 섹션으로 이동하여 연결을 선택합니다.

   3. 만들기를 실행합니다.

   4. 서버리스 모델을 선택합니다.

   5. 대상 URI에는 이전에 복사한 값을 붙여넣습니다.

   6. 키에는 이전에 복사한 값을 붙여넣습니다.

   7. 연결 이름을 지정합니다(이 경우에는 meta-llama3-8b-connection).

   8. 연결 추가를 선택합니다.

   Azure CLI

   연결 정의를 만듭니다.

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. 이 시점에서 연결을 사용할 수 있습니다.

6. 연결이 작동하는지 유효성을 검사하려면 다음을 수행합니다.

   1. Azure Machine Learning 스튜디오의 왼쪽 탐색 모음에서 작성>프롬프트 흐름으로 이동합니다.

   2. 새 흐름을 만들려면 만들기를 선택합니다.

   3. 채팅 흐름 상자에서 만들기를 선택합니다.

   4. 프롬프트 흐름에 이름을 지정하고 만들기를 선택합니다.

   5. 그래프에서 채팅 노드를 선택하여 채팅 섹션으로 이동합니다.

   6. 연결의 경우 드롭다운 목록을 열어 방금 만든 연결(이 경우에는 meta-llama3-8b-connection)을 선택합니다.

   7. 프롬프트 흐름 자동 런타임을 시작하려면 상단 탐색 모음에서 컴퓨팅 세션 시작을 선택합니다.

   8. 채팅 옵션을 선택합니다. 이제 메시지를 보내고 응답을 가져올 수 있습니다.

관련 콘텐츠

• 모델 카탈로그 및 컬렉션
• 모델을 서버리스 API 엔드포인트로 배포