Saiba como gerar incorporações com o Azure OpenAI

Artigo
11/12/2024

Uma incorporação é um formato especial de representação de dados que pode ser facilmente utilizado por modelos e algoritmos de aprendizado de máquina. A incorporação é uma representação densa de informação do significado semântico de um pedaço de texto. Cada incorporação é um vetor de números de ponto flutuante, de tal forma que a distância entre duas incorporações no espaço vetorial está correlacionada com a semelhança semântica entre duas entradas no formato original. Por exemplo, se dois textos são semelhantes, então suas representações vetoriais também devem ser semelhantes. Incorpora pesquisa de semelhança de vetor de energia em Bancos de Dados do Azure, como Azure Cosmos DB para MongoDB vCore , Banco de Dados SQL do Azure ou Banco de Dados do Azure para PostgreSQL - Servidor Flexível.

Como obter incorporações

Para obter um vetor de incorporação para uma parte do texto, fazemos uma solicitação ao ponto de extremidade de incorporações, conforme mostrado nos seguintes trechos de código:

curl https://YOUR_RESOURCE_NAME.openai.azure.com/openai/deployments/YOUR_DEPLOYMENT_NAME/embeddings?api-version=2024-02-01\
  -H 'Content-Type: application/json' \
  -H 'api-key: YOUR_API_KEY' \
  -d '{"input": "Sample Document goes here"}'

import os
from openai import AzureOpenAI

client = AzureOpenAI(
  api_key = os.getenv("AZURE_OPENAI_API_KEY"),  
  api_version = "2024-06-01",
  azure_endpoint =os.getenv("AZURE_OPENAI_ENDPOINT") 
)

response = client.embeddings.create(
    input = "Your text string goes here",
    model= "text-embedding-3-large"
)

print(response.model_dump_json(indent=2))

Nota

A versão 0.28.1 da biblioteca OpenAI Python foi preterida. Recomendamos a utilização do 1.x. Consulte o nosso guia de migração para obter informações sobre como mudar de 0.28.1 .1.x

import openai

openai.api_type = "azure"
openai.api_key = "YOUR_API_KEY"
openai.api_base = "https://YOUR_RESOURCE_NAME.openai.azure.com"
openai.api_version = "2024-06-01"

response = openai.Embedding.create(
    input="Your text string goes here",
    engine="YOUR_DEPLOYMENT_NAME"
)
embeddings = response['data'][0]['embedding']
print(embeddings)

using Azure;
using Azure.AI.OpenAI;

Uri oaiEndpoint = new ("https://YOUR_RESOURCE_NAME.openai.azure.com");
string oaiKey = "YOUR_API_KEY";

AzureKeyCredential credentials = new (oaiKey);

OpenAIClient openAIClient = new (oaiEndpoint, credentials);

EmbeddingsOptions embeddingOptions = new()
{
    DeploymentName = "text-embedding-3-large",
    Input = { "Your text string goes here" },
};

var returnValue = openAIClient.GetEmbeddings(embeddingOptions);

foreach (float item in returnValue.Value.Data[0].Embedding.ToArray())
{
    Console.WriteLine(item);
}

# Azure OpenAI metadata variables
$openai = @{
    api_key     = $Env:AZURE_OPENAI_API_KEY
    api_base    = $Env:AZURE_OPENAI_ENDPOINT # your endpoint should look like the following https://YOUR_RESOURCE_NAME.openai.azure.com/
    api_version = '2024-02-01' # this may change in the future
    name        = 'YOUR-DEPLOYMENT-NAME-HERE' #This will correspond to the custom name you chose for your deployment when you deployed a model.
}

$headers = [ordered]@{
    'api-key' = $openai.api_key
}

$text = 'Your text string goes here'

$body = [ordered]@{
    input = $text
} | ConvertTo-Json

$url = "$($openai.api_base)/openai/deployments/$($openai.name)/embeddings?api-version=$($openai.api_version)"

$response = Invoke-RestMethod -Uri $url -Headers $headers -Body $body -Method Post -ContentType 'application/json'
return $response.data.embedding

Melhores práticas

Verifique se as entradas não excedem o comprimento máximo

O comprimento máximo do texto de entrada para nossos modelos de incorporação mais recentes é de 8.192 tokens. Você deve verificar se suas entradas não excedem esse limite antes de fazer uma solicitação.
Se enviar uma matriz de entradas em uma única solicitação de incorporação, o tamanho máximo da matriz é 2048.
Ao enviar uma matriz de entradas em uma única solicitação, lembre-se de que o número de tokens por minuto em suas solicitações deve permanecer abaixo do limite de cota atribuído na implantação do modelo. Por padrão, os modelos de incorporação de 3 gerações mais recentes estão sujeitos a um limite de 350 K TPM por região.

Limitações e riscos

Nossos modelos de incorporação podem não ser confiáveis ou representar riscos sociais em certos casos, e podem causar danos na ausência de mitigações. Reveja o nosso conteúdo de IA Responsável para obter mais informações sobre como abordar a sua utilização de forma responsável.

Próximos passos

Saiba mais sobre como usar o Azure OpenAI e incorporações para realizar a pesquisa de documentos com nosso tutorial de incorporações.
Saiba mais sobre os modelos subjacentes que alimentam o Azure OpenAI.
Armazene suas incorporações e realize pesquisas vetoriais (semelhança) usando o serviço de sua escolha:

Partilhar via