Meer informatie over het genereren van insluitingen met Azure OpenAI

Artikel
11/12/2024

Een insluiting is een speciale indeling van gegevensweergave die eenvoudig kan worden gebruikt door machine learning-modellen en -algoritmen. Het insluiten is een informatiedichte weergave van de semantische betekenis van een stuk tekst. Elke insluiting is een vector van drijvendekommagetallen, zodat de afstand tussen twee insluitingen in de vectorruimte wordt gecorreleerd met semantische gelijkenis tussen twee invoerwaarden in de oorspronkelijke indeling. Als twee teksten bijvoorbeeld vergelijkbaar zijn, moeten hun vectorweergaven ook vergelijkbaar zijn. Hiermee wordt gezocht naar overeenkomsten tussen power vectoren in Azure Databases, zoals Azure Cosmos DB voor MongoDB vCore , Azure SQL Database of Azure Database for PostgreSQL - Flexible Server.

Insluitingen ophalen

Als u een insluitingsvector voor een stuk tekst wilt verkrijgen, doen we een aanvraag naar het eindpunt voor insluitingen, zoals wordt weergegeven in de volgende codefragmenten:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Notitie

De Versie van 0.28.1 de OpenAI Python-bibliotheek is afgeschaft. We adviseren 1.x te gebruiken. Raadpleeg onze migratiehandleiding voor informatie over het overstappen naar 1.x0.28.1 .

import openai

openai.api_type = "azure"
openai.api_key = YOUR_API_KEY
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Aanbevolen procedures

Controleren of de invoer niet groter is dan de maximale lengte

De maximale lengte van invoertekst voor onze nieuwste insluitingsmodellen is 8.192 tokens. Controleer of uw invoer deze limiet niet overschrijdt voordat u een aanvraag indient.
Als u een matrix met invoer in één insluitingsaanvraag verzendt, is de maximale grootte van de matrix 2048.
Wanneer u een matrix met invoer in één aanvraag verzendt, moet u er rekening mee houden dat het aantal tokens per minuut in uw aanvragen onder de quotumlimiet moet blijven die is toegewezen bij de modelimplementatie. De nieuwste modellen van de 3e generatie insluiten zijn standaard onderworpen aan een TPM van 350 K per regiolimiet.

Beperkingen en risico's

Onze insluitingsmodellen kunnen onbetrouwbaar zijn of in bepaalde gevallen sociale risico's vormen en kunnen schade veroorzaken bij het ontbreken van oplossingen. Bekijk onze verantwoordelijke AI-inhoud voor meer informatie over hoe ze op verantwoorde wijze hun gebruik kunnen benaderen.

Volgende stappen

Meer informatie over het gebruik van Azure OpenAI en insluitingen om documentzoekopdrachten uit te voeren met onze zelfstudie over insluitingen.
Meer informatie over de onderliggende modellen die Azure OpenAI mogelijk maken.
Sla uw insluitingen op en voer vectorzoekopdrachten (gelijkenissen) uit met behulp van uw keuze van de service:

Delen via