你当前正在访问 Microsoft Azure Global Edition 技术文档网站。如果需要访问由世纪互联运营的 Microsoft Azure 中国技术文档网站，请访问 https://docs.azure.cn。

如何使用 Azure 机器学习工作室部署 JAIS

项目
10/16/2024

本文介绍如何使用 Azure 机器学习工作室将 JAIS 模型部署为采用即用即付计费方式的服务。

Azure 机器学习工作室中的 JAIS 模型以模型即服务的形式提供，采用基于令牌的即用即付计费方式。

通过筛选 JAIS 集合，可以在模型目录中找到 JAIS 模型。

先决条件

具有有效付款方式的 Azure 订阅。不能使用免费或试用 Azure 订阅。如果没有 Azure 订阅，请先创建一个付费的 Azure 帐户。
一个 Azure 机器学习工作区。如果没有，请使用快速入门：创建工作区资源一文中的步骤创建它们。 JAIS 的无服务器 API 模型部署产品/服务仅适用于在以下区域创建的工作区：
- 美国东部
- 美国东部 2
- 美国中北部
- 美国中南部
- 美国西部
- 美国西部 3
- 瑞典中部
有关支持无服务器 API 终结点部署的每个模型可用的区域列表，请参阅无服务器 API 终结点中模型的区域可用性。
Azure 基于角色的访问控制 (Azure RBAC) 用于授予对 Azure AI Studio 中的操作的访问权限。若要执行本文中的步骤，必须为用户帐户分配资源组的“Azure AI 开发人员”角色。有关权限详细信息，请参阅 Azure AI Studio 中基于角色的访问控制。

JAIS 30b Chat

JAIS 30b Chat 是适用于阿拉伯语和英语的自动回归双语 LLM。优化版本使用监督式微调 (SFT)。该模型使用阿拉伯语和英语提示响应对进行微调。微调数据集包括各种领域的广泛指令数据。该模型涵盖各种常见任务，包括问答、代码生成和文本内容推理。为了提高在阿拉伯语方面的性能，Core42 团队开发了一个内部的阿拉伯语数据集，并将一些开源英语指令翻译成阿拉伯语。

上下文长度：JAIS 30b Chat 支持 8K 的上下文长度。

输入：模型输入仅为文本。

输出：模型仅生成文本。

重要

此功能目前处于公开预览状态。此预览版在提供时没有附带服务级别协议，我们不建议将其用于生产工作负荷。某些功能可能不受支持或者受限。

有关详细信息，请参阅 Microsoft Azure 预览版补充使用条款。

使用即用即付进行部署

模型目录中的某些模型可以部署为即用即付型服务，提供一种将它们作为 API 使用的方法，你无需将它们托管在自己的订阅上，但又能保持组织所需的企业安全性和合规性。此部署选项不需要来自订阅的配额。

前面提到的 JAIS 30b Chat 模型可以部署为即用即付服务，由 Core42 通过 Microsoft Azure 市场提供。 Core42 可能会更改或更新此模型的使用条款和定价。

创建新部署

若要创建部署：

转到 Azure 机器学习工作室。
选择要在其中部署模型的工作区。若要使用即用即付模型部署产品/服务，工作区必须属于“美国东部 2”或“瑞典中部”区域。
搜索 JAIS，然后从模型目录中选择 Jais-30b-chat 模型。
在模型的概述页面上，在模型目录中选择“部署”。
在部署向导中，选择“Azure 市场条款”的链接，了解有关使用条款的详细信息。
还可以选择“定价和条款”选项卡，了解所选模型的定价。
如果这是你第一次在工作区中部署模型，则必须为工作区订阅模型的特定产品/服务。此步骤要求帐户具有先决条件中列出的资源组的 Azure AI 开发人员角色。每个工作区都订阅特定 Azure 市场产品/服务，可用于控制和监视支出。选择“订阅和部署”。目前，工作区中每个模型只能有一个部署。
为工作区订阅特定 Azure 市场产品/服务后，同一工作区中同一产品/服务的后续部署不需要再次订阅。如果此方案适用于你，则可选择“继续部署”选项。
为部署命名。此名称将成为部署 API URL 的一部分。此 URL 必须在每个 Azure 区域中唯一。
选择“部署”。等待部署完成，然后将重定向到无服务器终结点页。
选择终结点以打开其详细信息页。
选择“测试”选项卡，开始与模型交互。
始终可以通过导航到“工作区”>“终结点”>“无服务器终结点”来查找终结点的详细信息、URL 和访问密钥。
记下目标 URL 和密钥。有关使用 API 的详细信息，请参阅参考部分。

若要了解已部署即用即付的模型的计费，请参阅部署为服务的 JAIS 模型的成本和配额注意事项。

使用 JAIS 30b Chat 模型作为服务

可以通过聊天 API 来使用这些模型。

在工作区中，选择左侧的“终结点”选项卡。
转到“无服务器终结点”选项卡。
为 JAIS 30b Chat 选择部署。
可以在“测试”选项卡中测试部署。
要使用 API，请复制目标 URL 和密钥的值。

有关使用 API 的详细信息，请参阅参考部分。

部署为服务的 JAIS 的聊天 API 参考

v1/chat/completions

请求

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

v1/chat/completions 请求架构

JAIS 30b Chat 接受 v1/chat/completions 响应推理调用的以下参数：

properties	类型	默认	说明
`messages`	`array`	`None`	要响应的模型的文本输入。
`max_tokens`	`integer`	`None`	模型作为响应的一部分生成的最大令牌数。注意：设置低值可能会导致生成不完整。如果未指定，则将生成令牌，直到序列结束。
`temperature`	`float`	`0.3`	控制模型中的随机性。较低的值将使模型更具确定性，较高的值则会使模型更具随机性。
`top_p`	`float`	`None`	为核心采样保留的参数最高概率词汇标记的累积概率，默认值为 null。
`top_k`	`integer`	`None`	为 top-k-filtering 保留的最高概率词汇标记数，默认值为 null。

系统或用户消息支持以下属性：

properties	类型	默认	说明
`role`	`enum`	必须	`role=system` 或 `role=user`。
`content`	`string`	必须	要响应的模型的文本输入。

助手消息支持以下属性：

properties	类型	默认	说明
`role`	`enum`	必须	`role=assistant`
`content`	`string`	必须	助手消息的内容。

v1/chat/completions 响应架构

响应有效负载是具有以下字段的字典：

密钥	类型	描述
`id`	`string`	完成的唯一标识符。
`choices`	`array`	为输入消息生成的模型完成选项列表。
`created`	`integer`	创建完成时间的 Unix 时间戳（以秒为单位）。
`model`	`string`	用于完成的 model_id。
`object`	`string`	chat.completion。
`usage`	`object`	完成请求的使用情况统计信息。

该 choices 对象是具有以下字段的字典：

密钥	类型	描述
`index`	`integer`	选择索引。
`messages` 或 `delta`	`string`	聊天完成结果为消息对象。使用流式处理模式时，将使用 delta 密钥。
`finish_reason`	`string`	模型停止生成标记的原因。

该 usage 对象是具有以下字段的字典：

密钥	类型	描述
`prompt_tokens`	`integer`	提示中的标记数。
`completion_tokens`	`integer`	完成时生成的令牌数。
`total_tokens`	`integer`	令牌总数。

示例

阿拉伯语

请求：

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

响应：

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }

英语

请求：

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

响应：

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }

示例类型	示例笔记本
使用 CURL 和 Python Web 请求的 CLI	webrequests.ipynb
OpenAI SDK（实验性）	openaisdk.ipynb
LiteLLM	litellm.ipynb

成本和配额

部署为服务的模型的成本和配额注意事项

部署为服务的 JAIS 30b Chat 由 Core42 通过 Azure 市场提供，并与 Azure AI Studio 集成以供使用。部署模型时，可以看到 Azure 市场定价。

每次项目从 Azure 市场订阅给定产品/服务时，都会创建一个新资源来跟踪与其消耗相关的成本。同一资源用于跟踪与推理相关的成本。但是，可以使用多个计量器来独立跟踪每个方案。

有关如何跟踪成本的详细信息，请参阅监视通过 Azure 市场提供的模型的成本。

配额是按部署管理的。每个部署的速率限制为每分钟 200,000 个令牌和每分钟 1,000 个 API 请求。但是，我们目前的限制为每个项目每个模型一个部署。如果当前速率限制不能满足你的方案，请联系 Microsoft Azure 支持部门。

内容筛选

部署为即用即付服务的模型受 Azure AI 内容安全保护。通过 Azure AI 内容安全，提示和补全会经过一系列分类模型，旨在检测和防止输出有害内容。内容筛选（预览版）系统会在输入提示和输出补全中检测特定类别的潜在有害内容并对其采取措施。详细了解此处的内容筛选。

通过