Generieren von Einbettungen mit Azure OpenAI

Artikel
11/13/2024

Eine Einbettung ist ein spezielles Format der Datendarstellung, das problemlos von Machine Learning-Modellen und -Algorithmen genutzt werden kann. Die Einbettung ist eine verdichtete Informationsdarstellung der semantischen Bedeutung eines Textteils. Jede Einbettung ist ein Vektor aus Gleitkommazahlen. Der Abstand zwischen zwei Einbettungen im Vektorraum korreliert mit der semantischen Nähe zwischen zwei Eingaben im Originalformat. Wenn beispielsweise zwei Texte semantisch sehr ähnlich sind, sollten auch ihre Vektordarstellungen nahe zueinander liegen. Einbetten der PowerVektor-Ähnlichkeitssuche in Azure-Datenbanken wie Azure Cosmos DB für MongoDB vCore-, Azure SQL-Datenbank oder Azure-Datenbank für PostgreSQL – Flexible Server.

Abrufen von Einbettungen

Zum Abrufen eines Einbettungsvektors für einen Text erstellen Sie eine Anforderung an den Einbettungsendpunkt, wie in den folgenden Codeschnipseln gezeigt:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Hinweis

Die OpenAI Python-Bibliotheksversion 0.28.1 ist veraltet. Wir empfehlen die Verwendung der 1.x. Informationen zur Migration von 0.28.1 zu 1.x finden Sie in unserem Migrationsleitfaden.

import openai

openai.api_type = "azure"
openai.api_key = "YOUR_API_KEY"
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Bewährte Methoden

Verifizieren, dass Eingaben die maximale Länge nicht überschreiten

Die maximal zulässige Länge des Eingabetexts für die Einbettungsmodelle liegt bei 8.192 Token. Vergewissern Sie sich, dass Ihre Eingaben diesen Maximalwert nicht überschreiten, bevor Sie eine Anforderung erstellen.
Beim Senden eines Arrays von Eingaben in einer einzigen Anforderung beträgt die maximale Array-Größe 2048.
Denken Sie beim Senden eines Arrays von Eingaben in einer einzelnen Anforderung daran, dass die Anzahl der Token pro Minute in Ihren Anforderungen unter der Kontingentgrenze bleiben muss, die bei der Modellimplementierung zugewiesen wurde. Standardmäßig unterliegen die Einbettungsmodelle der neuesten Generation 3 einem Grenzwert von 350.000 TPM pro Region.

Einschränkungen und Risiken

Unsere Einbettungsmodelle können in bestimmten Fällen unzuverlässig sein oder soziale Risiken bergen und bei nicht vorhandenen Maßnahmen zur Risikominderung Schäden verursachen. Lesen Sie unsere Artikel und Beiträge zu verantwortungsvoller KI, um zu erfahren, wie Sie diese Modelle verantwortungsbewusst einsetzen.

Nächste Schritte

Weitere Informationen zur Verwendung von Azure OpenAI und Einbettungen für die Dokumentsuche finden Sie in unserem Tutorial zum Einbetten.
Erfahren Sie mehr über die zugrunde liegenden Modelle, auf denen Azure OpenAI basiert.
Speichern Sie Ihre Einbettungen und führen Sie eine Vektorsuche (Ähnlichkeitssuche) mit einem Dienst Ihrer Wahl durch:

Freigeben über