Chatten mit Ihrem Modell mithilfe Ihrer eigenen Daten

  • 3 Minuten

RAG mit Azure OpenAI auf Ihren eigenen Daten kann in Azure KI Studio mit dem Chat-Playground oder mithilfe der API verwendet werden.

Da RAG mit Azure OpenAI on your data Suchergebnisse für Ihren Index im Prompt enthält, ist es wichtig zu verstehen, wie sich dies auf die Tokenzuweisung auswirkt. Jeder Aufruf des Modells umfasst Tokens für die Systemmeldung, die Benutzeraufforderung, den Unterhaltungsverlauf, abgerufene Suchdokumente, interne Aufforderungen und die Antwort des Modells.

Die Systemmeldung ist beispielsweise eine nützliche Referenz für Anweisungen für das Modell und ist in jedem Anruf enthalten. Obwohl für die Systemnachricht kein Tokenlimit vorhanden ist, wird die Systemnachricht bei Verwendung ihrer eigenen Daten abgeschnitten, wenn sie den Tokengrenzwert des Modells überschreitet (je nach Modell variiert von 400 bis 4000 Token). Die Antwort des Modells ist auch eingeschränkt, wenn die Grenze von 1.500 Tokens bei Verwendung Ihrer eigenen Daten überschritten wird.

Aufgrund dieser Tokenbeschränkungen wird empfohlen, sowohl die Länge der Frage als auch die Länge des Unterhaltungsverlaufs in Ihrem Aufruf einzuschränken. Prompt-Engineering-Techniken wie das Aufteilen der Aufgabe und das Chain-of-Thought-Prompting können dem Modell helfen, effektiver zu reagieren.

Verwenden der API

Wenn Sie die API mit Ihren eigenen Daten verwenden, müssen Sie die Datenquelle angeben, in der Ihre Daten gespeichert sind. Bei jedem Aufruf müssen Sie endpoint, key und indexName für die Ressource der KI-Suche einschließen.

Ihr Anforderungstext ähnelt der folgenden JSON-Struktur.

{
    "dataSources": [
        {
            "type": "AzureCognitiveSearch",
            "parameters": {
                "endpoint": "<your_search_endpoint>",
                "key": "<your_search_endpoint>",
                "indexName": "<your_search_index>"
            }
        }
    ],
    "messages":[
        {
            "role": "system", 
            "content": "You are a helpful assistant assisting users with travel recommendations."
        },
        {
            "role": "user", 
            "content": "I want to go to New York. Where should I stay?"
        }
    ]
}

Bei Verwendung Ihrer eigenen Daten muss der Aufruf an einen anderen Endpunkt gesendet werden als beim Aufrufen eines Basismodells, das extensions einschließt. Ihr Anruf wird an eine URL gesendet, die der folgenden ähnelt.

<your_azure_openai_resource>/openai/deployments/<deployment_name>/chat/completions?api-version=<version>

Die Anforderung muss auch Content-Type und api-key enthalten.