Средство LLM для потоков на портале Azure AI Foundry
Внимание
Элементы, обозначенные в этой статье как (предварительная версия), сейчас предлагаются в общедоступной предварительной версии. Эта предварительная версия предоставляется без соглашения об уровне обслуживания, и мы не рекомендуем ее для рабочих нагрузок. Некоторые функции могут не поддерживаться или их возможности могут быть ограничены. Дополнительные сведения см. в статье Дополнительные условия использования Предварительных версий Microsoft Azure.
Чтобы использовать большие языковые модели (LLM) для обработки естественного языка, используйте средство LLM потока запросов.
Примечание.
Сведения о внедрении для преобразования текста в плотные векторные представления для различных задач обработки естественного языка см. в разделе "Внедрение".
Необходимые компоненты
Подготовьте запрос, как описано в документации по средству запроса. Средство LLM и средство запроса поддерживают шаблоны Jinja . Дополнительные сведения и рекомендации см. в статье "Технические методы запроса".
Сборка с помощью средства LLM
Создайте или откройте поток в Azure AI Foundry. Дополнительные сведения см. в разделе "Создание потока".
Выберите +LLM, чтобы добавить средство LLM в поток.
Выберите подключение к одному из подготовленных ресурсов. Например, выберите Default_AzureOpenAI.
В раскрывающемся списке Api выберите чат или завершение.
Введите значения входных параметров средства LLM, описанных в таблице входных данных завершения текста. Если вы выбрали API чата, просмотрите таблицу входных данных чата. Если вы выбрали API завершения, просмотрите таблицу входных данных текста. Сведения о подготовке входных данных запроса см. в разделе "Предварительные требования".
Добавьте дополнительные средства в поток по мере необходимости. Или нажмите кнопку "Выполнить" , чтобы запустить поток.
Выходные данные описаны в таблице выходных данных.
Входные данные
Доступны следующие входные параметры.
Входные данные завершения текста
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| prompt | строка | Текстовый запрос для языковой модели. | Да |
| модель, deployment_name | строка | Используемая языковая модель. | Да |
| max_tokens | integer | Максимальное количество маркеров, которые необходимо создать в завершении. Значение по умолчанию — 16. | No |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | No |
| stop | список | Последовательность остановки для созданного текста. Значение по умолчанию — null. | No |
| suffix | строка | Текст, добавленный к концу завершения. | No |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных токенов. По умолчанию 1. | No |
| logprobs | integer | Количество вероятностей журналов для создания. Значение по умолчанию — null. | No |
| echo | boolean | Значение, указывающее, следует ли возвращать запрос в ответе. По умолчанию — false. | No |
| presence_penalty | с плавающей запятой | Значение, которое управляет поведением модели в отношении повторяющихся фраз. Значение по умолчанию — 0. | No |
| frequency_penalty | с плавающей запятой | Значение, которое управляет поведением модели в отношении создания редких фраз. Значение по умолчанию — 0. | No |
| best_of | integer | Число лучших завершений для создания. По умолчанию 1. | No |
| logit_bias | dictionary | Предвзятость журнала для языковой модели. По умолчанию используется пустой словарь. | No |
Входные данные чата
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| prompt | строка | Текстовый запрос, на который должна отвечать языковая модель. | Да |
| модель, deployment_name | строка | Используемая языковая модель. | Да |
| max_tokens | integer | Максимальное количество маркеров для создания в ответе. Значение по умолчанию — inf. | No |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | No |
| stop | список | Последовательность остановки для созданного текста. Значение по умолчанию — null. | No |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных токенов. По умолчанию 1. | No |
| presence_penalty | с плавающей запятой | Значение, которое управляет поведением модели в отношении повторяющихся фраз. Значение по умолчанию — 0. | No |
| frequency_penalty | с плавающей запятой | Значение, которое управляет поведением модели в отношении создания редких фраз. Значение по умолчанию — 0. | No |
| logit_bias | dictionary | Предвзятость журнала для языковой модели. По умолчанию используется пустой словарь. | No |
Выходные данные
Выходные данные зависят от API, выбранного для входных данных.
| API | Возвращаемый тип | Description |
|---|---|---|
| Completion | строка | Текст одного прогнозируемого завершения. |
| Чат | строка | Текст одного ответа беседы. |