Чат с моделью с помощью собственных данных

  • 3 мин

RAG с Azure OpenAI на собственных данных можно использовать в Azure AI Studio с игровой площадкой чата или с помощью API.

Так как RAG с Azure OpenAI в данных включает результаты поиска в индексе в запросе, важно понять, как это влияет на выделение маркеров. Каждый вызов модели включает маркеры для системного сообщения, запроса пользователя, журнала бесед, полученных документов поиска, внутренних запросов и ответа модели.

Системное сообщение, например, является полезной ссылкой на инструкции по модели и включается при каждом вызове. Хотя для системного сообщения нет предела маркера, при использовании собственных данных системное сообщение усечено, если оно превышает ограничение маркера модели (которое зависит от модели от 400 до 4000 маркеров). Ответ модели также ограничен при использовании собственных данных — 1500 маркеров.

Из-за этих ограничений маркера рекомендуется ограничить длину вопроса и длину журнала бесед в вызове. Методы разработки запросов, такие как нарушение задачи и цепочки мыслей, могут помочь модели реагировать более эффективно.

Использование API

Используя API с собственными данными, необходимо указать источник данных, в котором хранятся данные. При каждом вызове необходимо включить endpointkeyindexName и для ресурса поиска ИИ.

Текст запроса будет похож на следующий код JSON.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Вызов при использовании собственных данных должен отправляться в другую конечную точку, отличную от используемой при вызове базовой модели, которая включает в себя extensions. Ваш звонок будет отправлен на URL-адрес, аналогичный приведенному ниже.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

Запрос также должен включать и Content-Type api-key.