你当前正在访问 Microsoft Azure Global Edition 技术文档网站。 如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

从其他工作区使用无服务器 API 终结点

本文介绍如何在与部署现有无服务器 API 终结点的工作区不同的工作区中配置现有无服务器 API 终结点。

可以将模型目录中的某些模型部署为无服务器 API。 这种部署可以将模型作为 API 使用，而无需将它们托管在你的订阅上，同时保持组织所需的企业安全性和合规性。 此部署选项不需要来自订阅的配额。

在以下情况下，可能需要在与用于创建部署的工作区不同的工作区中使用无服务器 API 终结点：

• 你想要将部署集中到给定的工作区中，并从组织中的不同工作区使用这些部署。
• 需要在特定 Azure 区域中的工作区中部署模型，其中可以对该模型使用无服务器部署。 但是，需要从无服务器部署不适用于该特定模型的另一个区域使用此模型。

先决条件

• 具有有效付款方式的 Azure 订阅。 不能使用免费或试用 Azure 订阅。 如果没有 Azure 订阅，请先创建一个付费的 Azure 帐户。

• 希望在其中使用现有部署的 Azure 机器学习工作区。

• 部署到无服务器 API 终结点的模型。 本文假定你以前部署了 Meta-Llama-3-8B-Instruct 模型。 若要了解如何将此模型部署为无服务器 API，请参阅将模型部署为无服务器 API。

• 需要安装以下软件才能使用 Azure 机器学习：

  工作室

  可以使用任何兼容的 Web 浏览器来导航 Azure 机器学习工作室。

  Azure CLI

  Azure CLI 和适用于 Azure 机器学习的 ml 扩展。

  az extension add -n ml
  

  如果已安装该扩展，请确保安装的是最新版本。

  az extension update -n ml
  

  安装该扩展后，对其进行配置：

  az account set --subscription <subscription>
  az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
  

  Python SDK

  安装适用于 Python 的 Azure 机器学习 SDK。

  pip install -U azure-ai-ml
  

  安装后，导入所需的命名空间：

  from azure.ai.ml import MLClient
  from azure.identity import InteractiveBrowserCredential
  from azure.ai.ml.entities import ServerlessEndpoint, ServerlessConnection
  

创建无服务器 API 终结点连接

按照以下步骤创建连接：

1. 连接到部署该终结点的工作区：

   工作室

   转到 Azure 机器学习工作室，然后导航到部署了要连接到的终结点的工作区。

   Azure CLI

   将 CLI 配置为指向工作区：

   az account set --subscription <subscription>
   az configure --defaults workspace=<workspace-name> group=<resource-group> location=<location>
   

   Python SDK

   创建连接到工作区的客户端：

   client = MLClient(
       credential=InteractiveBrowserCredential(tenant_id="<tenant-id>"),
       subscription_id="<subscription-id>",
       resource_group_name="<resource-group>",
       workspace_name="<workspace-name>",
   )
   

2. 获取终结点的 URL 和要连接到的终结点的凭据。 在此示例中，你将获取名为 meta-llama3-8b-qwerty 的终结点的详细信息。

   工作室

   1. 从左侧栏中选择“终结点”。

   2. 选择“无服务器终结点”选项卡以显示无服务器 API 终结点。

   3. 选择要连接到的终结点。

   4. 在终结点的“详细信息”选项卡上，复制“目标 URI”和“密钥”的值。

   Azure CLI

   az ml serverless-endpoint get-credentials -n meta-llama3-8b-qwerty
   

   Python SDK

   endpoint_name = "meta-llama3-8b-qwerty"
   endpoint_keys = client.serverless_endpoints.get_keys(endpoint_name)
   print(endpoint_keys.primary_key)
   print(endpoint_keys.secondary_key)
   

3. 现在，连接到要在其中创建连接并使用终结点的工作区。

4. 在工作区中创建连接：

   工作室

   1. 转到需要在其中创建连接的工作区。

   2. 转到左侧导航栏中的“管理”部分，然后选择“连接”。

   3. 选择创建。

   4. 选择“无服务器模型”。

   5. 对于“目标 URI”，请粘贴之前复制的值。

   6. 对于“密钥”，请粘贴之前复制的值。

   7. 为连接命名，在本例中为“meta-llama3-8b-connection”。

   8. 选择“添加连接”。

   Azure CLI

   创建连接定义：

   connection.yml

   name: meta-llama3-8b-connection
   type: serverless
   endpoint: https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com
   api_key: 1234567890qwertyuiop
   

   az ml connection create -f connection.yml
   

   Python SDK

   client.connections.create_or_update(ServerlessConnection(
       name="meta-llama3-8b-connection",
       endpoint="https://meta-llama3-8b-qwerty-serverless.inference.ai.azure.com",
       api_key="1234567890qwertyuiop"
   ))
   

5. 此时，连接可供使用。

6. 要验证连接是否正常工作，请执行以下操作：

   1. 从 Azure 机器学习工作室的左侧导航栏中，转到“创作”>“提示流”。

   2. 选择“创建”以创建新流。

   3. 在“聊天流”框中选择“创建”。

   4. 为“提示流”命名，然后选择“创建。

   5. 从图中选择 chat 节点，以转到 chat 部分。

   6. 对于“连接”，打开下拉列表以选择刚刚创建的连接，在本例中为“meta-llama3-8b-connection”。

   7. 从顶部导航栏中选择“启动计算会话”，以启动提示流自动运行时。

   8. 选择“聊天”选项。 现在可以发送消息并获取响应。

相关内容

• 模型目录和集合
• 将模型部署为无服务器 API 终结点