Dowiedz się, jak wygenerować osadzanie za pomocą usługi Azure OpenAI

Artykuł
11/12/2024

Osadzanie to specjalny format reprezentacji danych, który może być łatwo używany przez modele i algorytmy uczenia maszynowego. Osadzanie to gęsta reprezentacja semantycznego znaczenia tekstu. Każde osadzanie jest wektorem liczb zmiennoprzecinkowych, tak aby odległość między dwoma osadzaniami w przestrzeni wektorowej została skorelowana z podobieństwem semantycznym między dwoma danymi wejściowymi w oryginalnym formacie. Jeśli na przykład dwa teksty są podobne, ich reprezentacje wektorowe również powinny być podobne. Osadzanie wyszukiwania wektorów zasilania w bazach danych platformy Azure, takich jak Azure Cosmos DB for MongoDB vCore , Azure SQL Database lub Azure Database for PostgreSQL — serwer elastyczny.

Jak uzyskać osadzanie

Aby uzyskać wektor osadzania dla fragmentu tekstu, wysyłamy żądanie do punktu końcowego osadzania, jak pokazano w poniższych fragmentach kodu:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Uwaga

Wersja 0.28.1 biblioteki języka Python openAI jest przestarzała. Zaleca się korzystanie z aplikacji 1.x. Zapoznaj się z naszym przewodnikiem migracji , aby uzyskać informacje na temat przechodzenia z 0.28.1 do programu 1.x.

import openai

openai.api_type = "azure"
openai.api_key = "YOUR_API_KEY"
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Najlepsze rozwiązania

Sprawdź, czy dane wejściowe nie przekraczają maksymalnej długości

Maksymalna długość tekstu wejściowego dla naszych najnowszych modeli osadzania wynosi 8192 tokenów. Przed złożeniem żądania należy sprawdzić, czy dane wejściowe nie przekraczają tego limitu.
W przypadku wysyłania tablicy danych wejściowych w jednym żądaniu osadzania maksymalny rozmiar tablicy to 2048.
Podczas wysyłania tablicy danych wejściowych w jednym żądaniu należy pamiętać, że liczba tokenów na minutę w żądaniach musi pozostać poniżej limitu przydziału przypisanego podczas wdrażania modelu. Domyślnie modele osadzania najnowszej generacji 3 podlegają limitowi 350 K TPM na region.

Ograniczenia i czynniki ryzyka

Nasze modele osadzania mogą być zawodne lub stanowić zagrożenie społeczne w niektórych przypadkach i mogą powodować szkody w przypadku braku środków zaradczych. Zapoznaj się z naszą zawartością odpowiedzialnej sztucznej inteligencji, aby uzyskać więcej informacji na temat odpowiedzialnego podejścia do ich używania.

Następne kroki

Dowiedz się więcej na temat korzystania z usługi Azure OpenAI i osadzania w celu przeprowadzania wyszukiwania dokumentów za pomocą naszego samouczka osadzania.
Dowiedz się więcej o modelach bazowych, które zasilają usługę Azure OpenAI.
Zapisz osadzanie i przeprowadź wyszukiwanie wektorów (podobieństwa) przy użyciu wybranej usługi:

Udostępnij za pośrednictwem