Ferramenta LLM

A ferramenta LLM (modelo de linguagem grande) no fluxo de prompt permite que você aproveite os modelos de linguagem grandes amplamente usados, como OpenAI ou Azure OpenAI Service, ou qualquer modelo de linguagem compatível com a API de inferência de modelo de IA do Azure para processamento de linguagem natural.

O fluxo de prompt fornece algumas APIs diferentes de modelos de linguagem grandes:

• Conclusão: os modelos de conclusão do OpenAI geram texto com base em prompts fornecidos.
• Chat: os modelos de chat da OpenAI e os modelos de chat do Azure AI facilitam conversas interativas com entradas e respostas baseadas em texto.

Observação

Removemos a embedding opção da configuração da API da ferramenta LLM. Você pode usar uma API de incorporação com a ferramenta de incorporação. Somente a autenticação baseada em chave tem suporte para a conexão OpenAI do Azure. Não use caracteres não ASCII no nome do grupo de recursos do recurso OpenAI do Azure, o fluxo de prompt não deu suporte a esse caso.

Pré-requisitos

Para criar recursos do OpenAI:

• OpenAI:

  • Inscreva sua conta no site da OpenAI.
  • Entre e localize sua chave de API pessoal.

• OpenAI do Azure:

  • Crie recursos do OpenAI do Azure com estas instruções.

• Modelos implantados em endpoints de API sem servidor

  • Crie um endpoint com o modelo do catálogo que você está interessado e implante-o com um endpoint de API sem servidor.
  • Para usar modelos implantados em pontos de extremidade de API sem servidor compatíveis com a API de inferência de modelo de IA do Azure, como Mistral, Cohere, Meta Llama ou família de modelos da Microsoft (entre outros), você precisa criar uma conexão em seu projeto com seu ponto de extremidade

Conexões

Configure conexões para recursos provisionados no prompt flow.

Tipo	Nome	Chave de API	Tipo de API	Versão da API
OpenAI	Obrigatório	Obrigatório	-	-
Azure OpenAI – chave de API	Obrigatório	Obrigatória	Obrigatória	Obrigatório
OpenAI do Azure – ID do Microsoft Entra	Obrigatório	-	-	Obrigatório
Modelo sem servidor	Obrigatório	Obrigatório	-	-

Dica

• Para usar o tipo de autenticação do Microsoft Entra ID para uma conexão do OpenAI do Azure, você precisa atribuir Cognitive Services OpenAI User ou Cognitive Services OpenAI Contributor role ao usuário ou à identidade gerenciada atribuída pelo usuário.
• Saiba mais sobre como especificar o uso da identidade do usuário para enviar uma execução de fluxo.
• Saiba mais sobre Como configurar o Serviço OpenAI do Azure com identidades gerenciadas.

Entradas

As seções a seguir mostram várias entradas.

Preenchimento de texto

Nome	Tipo	Descrição	Obrigatório
prompt	string	Solicitação de texto para o modelo de linguagem.	Sim
model, deployment_name	string	Modelo de linguagem a ser usado.	Sim
max_tokens	Número inteiro	Número máximo de tokens a serem gerados na conclusão. O padrão é 16.	No
temperatura	float	A aleatoriedade do texto gerado. O padrão é UTF-1.	No
parar	lista	A sequência de interrupção do texto gerado. O padrão é nulo.	No
sufixo	string	Texto anexado ao final da conclusão.	Não
top_p	float	A probabilidade de usar a melhor opção dos tokens gerados. O padrão é UTF-1.	No
logprobs	Número inteiro	Número de probabilidades de log a serem geradas. O padrão é nulo.	No
echo	booleano	Valor que indica se o prompt deve ser reproduzido na resposta. O padrão é false.	No
presence_penalty	float	Valor que controla o comportamento do modelo para repetir frases. O padrão é 0.	No
frequency_penalty	float	Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0.	No
best_of	Número inteiro	Número de melhores conclusões a serem geradas. O padrão é UTF-1.	No
logit_bias	dicionário	Viés logit para o modelo de linguagem. O padrão é um dicionário vazio.	Não

Chat

Nome	Tipo	Descrição	Obrigatório
prompt	string	Prompt de texto que o modelo de linguagem usa para uma resposta.	Sim
model, deployment_name	string	Modelo de linguagem a ser usado. Esse parâmetro não será necessário se o modelo for implantado em um ponto de extremidade de API sem servidor.	Sim*
max_tokens	Número inteiro	O número máximo de tokens a serem gerados na reposta. O padrão é inf.	No
temperatura	float	A aleatoriedade do texto gerado. O padrão é UTF-1.	No
parar	lista	A sequência de interrupção do texto gerado. O padrão é nulo.	No
top_p	float	A probabilidade de usar a melhor opção dos tokens gerados. O padrão é UTF-1.	No
presence_penalty	float	Valor que controla o comportamento do modelo para repetir frases. O padrão é 0.	No
frequency_penalty	float	Valor que controla o comportamento do modelo para gerar frases raras. O padrão é 0.	No
logit_bias	dicionário	Viés logit para o modelo de linguagem. O padrão é um dicionário vazio.	Não

Saídas

API	Tipo de retorno	Descrição
Completion	string	Texto de uma conclusão prevista
Chat	string	Texto de uma resposta de conversa

Usar a ferramenta LLM

1. Configure e selecione as conexões com recursos OpenAI ou com um endpoint de API sem servidor.
2. Configure a API do modelo de linguagem grande e seus parâmetros.
3. Prepare o prompt com as diretrizes.