Naučte se generovat vkládání pomocí Azure OpenAI.

Článek
11/12/2024

Vkládání je speciální formát reprezentace dat, který lze snadno využít modely a algoritmy strojového učení. Vkládání je informace hustá reprezentace sémantického významu části textu. Každé vložení je vektor čísel s plovoucí desetinou čárkou, aby vzdálenost mezi dvěma vkládáními ve vektorovém prostoru odpovídala sémantické podobnosti mezi dvěma vstupy v původním formátu. Pokud jsou například dva texty podobné, měly by být jejich vektorové reprezentace také podobné. Vkládání hledání vektorů výkonu ve službě Azure Database, jako je Azure Cosmos DB pro virtuální jádro MongoDB, Azure SQL Database nebo Azure Database for PostgreSQL – flexibilní server.

Jak získat vkládání

Abychom získali vektor vložení pro část textu, vytvoříme požadavek na koncový bod embeddings, jak je znázorněno v následujících fragmentech kódu:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Poznámka:

Verze 0.28.1 knihovny Python OpenAI je zastaralá. Doporučujeme používat 1.x. Informace o přechodu z 0.28.1 této 1.xmigrace najdete v našem průvodci migrací.

import openai

openai.api_type = "azure"
openai.api_key = "YOUR_API_KEY"
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Osvědčené postupy

Ověření, že vstupy nepřekračují maximální délku

Maximální délka vstupního textu pro naše nejnovější modely vkládání je 8 192 tokenů. Před vytvořením požadavku byste měli ověřit, že vaše vstupy tento limit nepřekračují.
Pokud odesíláte pole vstupů v jednom požadavku na vložení, maximální velikost pole je 2048.
Při odesílání pole vstupů v jednom požadavku nezapomeňte, že počet tokenů za minutu v požadavcích musí zůstat pod limitem kvóty, který byl přiřazen při nasazení modelu. Ve výchozím nastavení platí, že nejnovější modely vkládání 3. generace podléhají limitu 350 K TPM na oblast.

Omezení a rizika

Naše modely vkládání můžou být v určitých případech nespolehlivé nebo představují sociální rizika a mohou způsobit škodu při absenci zmírnění rizik. Další informace o tom, jak přistoupit k zodpovědnému používání, najdete v našem obsahu zodpovědné umělé inteligence.

Další kroky

Přečtěte si další informace o používání Azure OpenAI a vkládání k provádění hledání dokumentů pomocí našeho kurzu vkládání.
Přečtěte si další informace o základních modelech, které power Azure OpenAI.
Ukládání vložených objektů a provádění vektorového vyhledávání (podobnosti) pomocí vaší volby služby:

Sdílet prostřednictvím