Découvrez comment générer des incorporations avec Azure OpenAI

Article
11/13/2024

Une incorporation est un format spécial de représentation des données qui peut être facilement utilisé par les modèles et algorithmes Machine Learning. L’incorporation est une représentation dense d’informations de la signification sémantique d’un morceau de texte. Chaque incorporation est un vecteur de nombres à virgule flottante, de sorte que la distance entre deux incorporations dans l’espace vectoriel est corrélée avec la similitude sémantique entre deux entrées au format d’origine. Par exemple, si deux textes sont similaires, leurs représentations vectorielles doivent également être similaires. Les incorporations optimisent la recherche vectorielle par similarité dans les services Azure Database, par exemple Azure Cosmos DB for MongoDB vCore, Azure SQL Database ou Azure Database pour PostgreSQL - Serveur flexible.

Comment obtenir des incorporations

Pour obtenir un vecteur d’incorporation pour un morceau de texte, nous effectuons une demande au point de terminaison d’incorporations, comme indiqué dans les extraits de code suivants :

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Remarque

La version 0.28.1 de la bibliothèque Python OpenAI est déconseillée. Nous vous recommandons d’utiliser 1.x. Consultez notre guide de migration pour plus d’informations sur le passage de 0.28.1 à 1.x.

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Bonnes pratiques

Vérifier que les entrées ne dépassent pas la longueur maximale

La longueur maximale du texte d’entrée pour nos modèles d’incorporation les plus récents est de 8 192 jetons. Vous devez vérifier que vos entrées ne dépassent pas cette limite avant d’effectuer une demande.
Si vous envoyez un tableau d’entrées dans une seule requête d’incorporation, la taille maximale du tableau est de 2048.
Lors de l’envoi d’un tableau d’entrées dans une seule requête, n’oubliez pas que le nombre de jetons par minute dans vos requêtes doit rester inférieur à la limite de quota affectée au déploiement du modèle. Par défaut, les derniers modèles d’incorporation de génération 3 sont soumis à une limite de 350 000 jetons par minute par région.

Limitations et risques

Nos modèles d’incorporation peuvent être peu fiables ou poser des risques sociaux dans certains cas, et peuvent causer des dommages en l’absence d’atténuations. Consultez notre contenu d’IA responsable pour plus d’informations sur l’approche de leur utilisation responsable.

Étapes suivantes

Découvrez-en plus sur l’utilisation d’Azure OpenAI et des incorporations pour effectuer une recherche de documents, consultez notre tutoriel sur les incorporations.
Découvrez-en plus sur les modèles sous-jacents d’Azure OpenAI.
Stockez vos incorporations et effectuez une recherche vectorielle (similarité) à l’aide du service de votre choix :

Partager via