Поделиться через

Развертывание JAIS с помощью Студия машинного обучения Azure

  • Статья

В этой статье вы узнаете, как использовать Студия машинного обучения Azure для развертывания модели JAIS в качестве службы с оплатой по мере выставления счетов.

Модель JAIS доступна в Студия машинного обучения Azure с выставлением счетов по мере использования маркеров с оплатой по мере использования с моделями как услуга.

Модель JAIS можно найти в каталоге моделей, отфильтровав коллекцию JAIS.

Необходимые компоненты

  • Подписка Azure с допустимым методом оплаты. Бесплатные или пробные подписки Azure не будут работать. Если у вас нет подписки Azure, создайте платную учетную запись Azure, чтобы начать работу.

  • Рабочая область Машинного обучения Azure. Если у вас нет этих ресурсов, выполните действия, описанные в кратком руководстве. Создание ресурсов рабочей области для их создания. Предложение развертывания модели API без сервера для JAIS доступно только с рабочими областями, созданными в этих регионах:

    • Восточная часть США
    • восточная часть США 2
    • Центрально-северная часть США
    • Центрально-южная часть США
    • Западная часть США
    • Западная часть США — 3
    • Центральная Швеция

    Список регионов, которые доступны для каждой из моделей, поддерживающих бессерверные развертывания конечных точек API, см. в статье Доступность по регионам моделей в бессерверных конечных точках API.

  • Управление доступом на основе ролей Azure (Azure RBAC) используется для предоставления доступа к операциям в Azure AI Studio. Чтобы выполнить действия, описанные в этой статье, учетная запись пользователя должна быть назначена роли разработчика ИИ Azure в группе ресурсов. Дополнительные сведения о разрешениях см. в статье "Управление доступом на основе ролей" в Azure AI Studio.

JAIS 30b Chat

JAIS 30b Chat — это автоматическое регрессивное двуязычное LLM для арабского и английского языка. Настроенные версии используют защищенную настройку (SFT). Модель настраивается как с арабскими, так и английскими парами ответов на запросы. Наборы данных тонкой настройки включали широкий спектр обучающих данных в различных доменах. Модель охватывает широкий спектр распространенных задач, включая ответы на вопросы, создание кода и причину текстового содержимого. Чтобы повысить производительность на арабском языке, команда Core42 разработала собственный арабский набор данных, а также перевод некоторых инструкций с открытым исходным кодом на арабский язык.

Длина контекста: JAIS 30b Chat поддерживает длину контекста 8K.

Входные данные: входные данные модели — это только текст.

Выходные данные: модель создает только текст.

Внимание

Эта функция сейчас доступна в виде общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания. Ее не следует использовать для производственных рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены.

Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.

Развертывание с оплатой по мере использования

Некоторые модели в каталоге моделей можно развертывать как службу с оплатой по мере использования, предоставляя способ их использования в качестве API без размещения их в подписке, сохраняя потребности организаций по обеспечению безопасности и соответствия требованиям предприятия. Этот параметр развертывания не требует квоты из подписки.

Ранее упоминаемая модель чата JAIS 30b может быть развернута как услуга с оплатой по мере использования и предлагается Core42 через Microsoft Azure Marketplace. Core42 может изменять или обновлять условия использования и цены на эту модель.

Создание развертывания

Чтобы создать развертывание, выполните приведенные действия.

  1. Перейдите к Студия машинного обучения Azure.

  2. Выберите рабочую область, в которой нужно развернуть модели. Чтобы использовать предложение развертывания модели с оплатой по мере использования, ваша рабочая область должна принадлежать к региону EastUS2 или Центральной Швеции.

  3. Найдите JAIS и выберите модель чата Jais-30b в каталоге моделей.

  4. На странице обзора модели в каталоге моделей выберите "Развернуть".

    Снимок экрана: развертывание модели с параметром оплаты по мере использования.

  5. В мастере развертывания выберите ссылку на условия использования Azure Marketplace, чтобы узнать больше об условиях использования.

  6. Вы также можете выбрать вкладку "Цены и условия ", чтобы узнать о ценах для выбранной модели.

  7. Если это первый раз при развертывании модели в рабочей области, необходимо подписаться на рабочую область для конкретного предложения модели. На этом шаге требуется, чтобы у вашей учетной записи были разрешения роли разработчика ИИ Azure в группе ресурсов, как указано в предварительных требованиях. Каждая рабочая область имеет собственную подписку на конкретное предложение Azure Marketplace, которое позволяет контролировать расходы и отслеживать их. Выберите "Подписаться" и " Развернуть". В настоящее время можно использовать только одно развертывание для каждой модели в рабочей области.

    Снимок экрана: условия конкретной модели.

  8. Подписавшись на рабочую область для конкретного предложения Azure Marketplace, последующие развертывания одного и того же предложения в той же рабочей области не требуют повторной подписки. Если этот сценарий применяется к вам, есть параметр "Продолжить развертывание " для выбора.

    Снимок экрана: проект, который уже подписан на предложение.

  9. Присвойте развертыванию имя. Это имя становится частью URL-адреса API развертывания. Этот URL-адрес должен быть уникальным в каждом регионе Azure.

    Снимок экрана, показывающий, как указать имя создаваемого развертывания.

  10. Выберите Развернуть. Подождите, пока развертывание не завершится, и вы будете перенаправлены на страницу бессерверных конечных точек.

  11. Выберите конечную точку, чтобы открыть страницу сведений.

  12. Перейдите на вкладку "Тест", чтобы начать взаимодействие с моделью.

  13. Вы всегда можете найти сведения о конечной точке, URL-адрес и ключи доступа, перейдя к конечным точкам> без сервера рабочей области.>

  14. Запишите URL-адрес целевого объекта и секретный ключ. Дополнительные сведения об использовании API см. в разделе справочника.

Сведения о выставлении счетов для моделей, развернутых с оплатой по мере использования, см. в статье "Рекомендации по затратам и квотам" для моделей JAIS, развернутых как услуга.

Использование модели чата JAIS 30b в качестве службы

Эти модели можно использовать с помощью API чата.

  1. В рабочей области выберите вкладку "Конечные точки" слева.

  2. Перейдите на вкладку "Бессерверные конечные точки".

  3. Выберите развертывание для ЧАТа JAIS 30b.

  4. Развертывание можно проверить на вкладке "Тест".

  5. Чтобы использовать API, скопируйте URL-адрес целевого объекта и значение ключа.

Дополнительные сведения об использовании API см. в разделе справочника.

Справочник по API чата для JAIS, развернутого как услуга

v1/chat/completions

Запросить

    POST /v1/chat/completions HTTP/1.1
    Host: <DEPLOYMENT_URI>
    Authorization: Bearer <TOKEN>
    Content-type: application/json

Схема запроса запроса версии 1/chat/completions

JAIS 30b Chat принимает следующие параметры для v1/chat/completions вызова вывода ответа:

Свойство Тип По умолчанию. Description
messages array None Текстовые входные данные для модели для реагирования.
max_tokens integer None Максимальное количество маркеров, генерируемых моделью в рамках ответа. Примечание. Установка низкого значения может привести к неполным поколениям. Если он не указан, создает маркеры до конца последовательности.
temperature float 0.3 Управляет случайностью в модели. Более низкие значения делают модель более детерминированной и более высокой, что делает модель более случайной.
top_p float None Совокупная вероятность маркеров словаря наибольшей вероятности параметров для хранения выборки ядра по умолчанию имеет значение NULL.
top_k integer None Число маркеров словаря максимальной вероятности, которые следует хранить для фильтрации top-k, по умолчанию имеет значение NULL.

Системное или пользовательское сообщение поддерживает следующие свойства:

Свойство Тип По умолчанию. Description
role enum Обязательное поле role=system или role=user.
content string Обязательное поле Текстовые входные данные для модели для реагирования.

Сообщение помощника поддерживает следующие свойства:

Свойство Тип По умолчанию. Description
role enum Обязательное поле role=assistant
content string Обязательное поле Содержимое сообщения помощника.

Схема ответа версии 1/chat/completions

Полезные данные ответа — это словарь со следующими полями:

Ключ Тип Описание
id string Уникальный идентификатор завершения.
choices array Список вариантов завершения модели, созданной для входных сообщений.
created integer Метка времени Unix (в секундах) при создании завершения.
model string Model_id используется для завершения.
object string chat.completion.
usage object Статистика использования для запроса завершения.

Объект choices представляет собой словарь со следующими полями:

Ключ Тип Описание
index integer Индекс выбора.
messages или delta string Завершение чата приводит к объекту сообщений. При использовании режима потоковой передачи используется разностный ключ.
finish_reason string Причина, по которой модель перестала создавать маркеры.

Объект usage представляет собой словарь со следующими полями:

Ключ Тип Описание
prompt_tokens integer Количество маркеров в запросе.
completion_tokens integer Число маркеров, созданных в завершении.
total_tokens integer Всего токенов.

Примеры

Арабский

Запрос:

    "messages": [
        {
        "role": "user",
        "content": "ما هي الأماكن الشهيرة التي يجب زيارتها في الإمارات؟"
        }
    ]

Ответ:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "هناك العديد من الأماكن المذهلة للزيارة في الإمارات! ومن أشهرها برج خليفة في دبي وهو أطول مبنى في العالم ، ومسجد الشيخ زايد الكبير في أبوظبي والذي يعد أحد أجمل المساجد في العالم ، وصحراء ليوا في الظفرة والتي تعد أكبر صحراء رملية في العالم وتجذب الكثير من السياح لتجربة ركوب الجمال والتخييم في الصحراء. كما يمكن للزوار الاستمتاع بالشواطئ الجميلة في دبي وأبوظبي والشارقة ورأس الخيمة، وزيارة متحف اللوفر أبوظبي للتعرف على تاريخ الفن والثقافة العالمية"
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 744,
            "total_tokens": 767
        }
    }
Английский

Запрос:

    "messages": [
        {
        "role": "user",
        "content": "List the emirates of the UAE."
        }
    ]

Ответ:

    {
        "id": "df23b9f7-e6bd-493f-9437-443c65d428a1",
        "choices": [
            {
                "index": 0,
                "finish_reason": "stop",
                "message": {
                    "role": "assistant",
                    "content": "The seven emirates of the United Arab Emirates are: Abu Dhabi, Dubai, Sharjah, Ajman, Umm Al-Quwain, Fujairah, and Ras Al Khaimah."
                }
            }
        ],
        "created": 1711734274,
        "model": "jais-30b-chat",
        "object": "chat.completion",
        "usage": {
            "prompt_tokens": 23,
            "completion_tokens": 60,
            "total_tokens": 83
        }
    }
Дополнительные примеры вывода
Пример типа Пример записной книжки
ИНТЕРФЕЙС командной строки с помощью CURL и веб-запросов Python webrequests.ipynb
Пакет SDK OpenAI (экспериментальный) openaisdk.ipynb
LiteLLM litellm.ipynb

Стоимость и квоты

Рекомендации по затратам и квотам для моделей, развернутых как услуга

JaIS 30b Chat развертывается в качестве службы, предлагается Core42 через Azure Marketplace и интегрирован с Azure AI Studio для использования. Цены на Azure Marketplace можно узнать в ходе развертывания модели.

Каждый раз, когда проект подписывается на определенное предложение из Azure Marketplace, создается новый ресурс, чтобы отслеживать затраты, связанные с его использованием. Тот же ресурс используется для отслеживания затрат, связанных с выводом; однако для отслеживания каждого сценария по отдельности можно использовать несколько счетчиков.

Дополнительные сведения о том, как следить за затратами, см. в статье Мониторинг затрат для моделей, предлагаемых в Azure Marketplace.

Квота изменяется для каждого развертывания. Каждое развертывание имеет ограничение трафика в 200 000 токенов в минуту и 1000 запросов API в минуту. Однако в настоящее время мы ограничиваем одно развертывание на одну модель для одного проекта. Обратитесь в службу поддержки Microsoft Azure, если текущие ограничения трафика недостаточны для ваших сценариев.

Фильтрация содержимого

Модели, развернутые как услуга с оплатой по мере использования, защищены безопасностью содержимого искусственного интеллекта Azure. При безопасности содержимого ИИ Azure запрос и завершение проходят через ансамбль моделей классификации, направленных на обнаружение и предотвращение вывода вредного содержимого. Система фильтрации содержимого (предварительная версия) обнаруживает и принимает меры по определенным категориям потенциально вредного содержимого как в запросах ввода, так и в завершениях выходных данных. Дополнительные сведения о фильтрации содержимого см. здесь.

Следующие шаги