Средство LLM
Средство больших языковых моделей (LLM) в потоке запросов позволяет воспользоваться преимуществами широко используемых больших языковых моделей, таких как OpenAI, или Azure OpenAI Service, или любой языковой модели, поддерживаемой API вывода модели ИИ Azure для обработки естественного языка.
Поток запросов предоставляет несколько различных api-интерфейсов модели языка:
- Завершение: модели завершения OpenAI создают текст на основе предоставленных запросов.
- Чат: модели чата OpenAI и модели чата Azure AI упрощают интерактивные беседы с текстовыми входными и ответами.
Примечание.
Мы удалили embedding параметр из параметра API инструментов LLM. С помощью средства внедрения можно использовать API внедрения.
Для подключения Azure OpenAI поддерживается только проверка подлинности на основе ключей.
Не используйте символы, отличные от ascii, в имени группы ресурсов ресурса Azure OpenAI, поток запросов не поддерживал этот случай.
Необходимые компоненты
Создание ресурсов OpenAI:
OpenAI:
- Зарегистрируйте свою учетную запись на веб-сайте OpenAI.
- Войдите и найдите личный ключ API.
Azure OpenAI:
- Создайте ресурсы Azure OpenAI с помощью этих инструкций.
Модели, развернутые в конечных точках API без сервера
- Создайте конечную точку с моделью из интересующего каталога и разверните ее с помощью бессерверной конечной точки API.
- Чтобы использовать модели, развернутые в конечных точках бессерверных API, поддерживаемых API вывода модели ИИ Azure, например Mistral, Cohere, Meta Llama или семейства моделей Майкрософт (среди прочего), необходимо создать подключение в проекте к конечной точке.
Связи
Настройте подключения к подготовленным ресурсам в потоке запросов.
| Тип | Имя. | Ключ API | Тип API | Версия API |
|---|---|---|---|---|
| OpenAI | Обязательное поле | Обязательное поле | - | - |
| Azure OpenAI — ключ API | Обязательное поле | Обязательно | Обязательно | Обязательное поле |
| Azure OpenAI — идентификатор Microsoft Entra | Обязательное поле | - | - | Обязательное поле |
| Бессерверная модель | Обязательное поле | Обязательное поле | - | - |
Совет
- Чтобы использовать тип проверки подлинности идентификатора Microsoft Entra для подключения к Azure OpenAI, необходимо назначить
Cognitive Services OpenAI UserCognitive Services OpenAI Contributor roleуправляемое удостоверение, назначаемое пользователем или пользователем. - Узнайте больше о том, как указать использование удостоверения пользователя для отправки потока.
- Узнайте больше о настройке Службы Azure OpenAI с управляемыми удостоверениями.
Входные данные
В следующих разделах показаны различные входные данные.
Завершение текста
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| prompt | строка | Текстовый запрос для языковой модели. | Да |
| модель, deployment_name | строка | Языковая модель для использования. | Да |
| max_tokens | integer | Максимальное количество маркеров для создания в завершении. Значение по умолчанию — 16. | No |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | No |
| stop | список | Остановка последовательности для созданного текста. Значение по умолчанию — null. | No |
| suffix | строка | Текст, добавленный к концу завершения. | No |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных маркеров. По умолчанию 1. | No |
| logprobs | integer | Число вероятностей создания журнала. Значение по умолчанию — null. | No |
| echo | boolean | Значение, указывающее, следует ли возвращать запрос в ответе. По умолчанию — false. | No |
| presence_penalty | с плавающей запятой | Значение, которое управляет поведением модели для повторяющихся фраз. Значение по умолчанию — 0. | No |
| frequency_penalty | с плавающей запятой | Значение, которое управляет поведением модели для создания редких фраз. Значение по умолчанию — 0. | No |
| best_of | integer | Количество лучших завершений для создания. По умолчанию 1. | No |
| logit_bias | dictionary | Предвзятость logit для языковой модели. По умолчанию используется пустой словарь. | No |
Чат
| Имя. | Тип | Описание | Обязательное поле |
|---|---|---|---|
| prompt | строка | Текстовый запрос, который используется языковой моделью для ответа. | Да |
| модель, deployment_name | строка | Языковая модель для использования. Этот параметр не требуется, если модель развертывается в конечной точке бессерверного API. | Да* |
| max_tokens | integer | Максимальное количество маркеров для создания в ответе. Значение по умолчанию — inf. | No |
| Температура | с плавающей запятой | Случайность созданного текста. По умолчанию 1. | No |
| stop | список | Остановка последовательности для созданного текста. Значение по умолчанию — null. | No |
| top_p | с плавающей запятой | Вероятность использования верхнего выбора из созданных маркеров. По умолчанию 1. | No |
| presence_penalty | с плавающей запятой | Значение, которое управляет поведением модели для повторяющихся фраз. Значение по умолчанию — 0. | No |
| frequency_penalty | с плавающей запятой | Значение, которое управляет поведением модели для создания редких фраз. Значение по умолчанию — 0. | No |
| logit_bias | dictionary | Предвзятость logit для языковой модели. По умолчанию используется пустой словарь. | No |
Выходные данные
| API | Возвращаемый тип | Description |
|---|---|---|
| Completion | строка | Текст одного прогнозируемого завершения |
| Чат | строка | Текст одного ответа беседы |
Использование средства LLM
- Настройте и выберите подключения к ресурсам OpenAI или к конечной точке бессерверного API.
- Настройте API большой языковой модели и его параметры.
- Подготовьте запрос с помощью инструкций.