Compreender a Geração Aumentada de Recuperação (RAG) com o Serviço OpenAI do Azure

  • 3 minutos

O RAG com o Azure OpenAI permite que os desenvolvedores usem modelos de bate-papo de IA suportados que podem fazer referência a fontes específicas de informações para fundamentar a resposta. A adição dessas informações permite que o modelo faça referência tanto aos dados específicos fornecidos quanto ao seu conhecimento pré-treinado para fornecer respostas mais eficazes.

O Azure OpenAI habilita o RAG conectando modelos pré-treinados às suas próprias fontes de dados. O Azure OpenAI em seus dados utiliza a capacidade de pesquisa do Azure AI Search para adicionar os blocos de dados relevantes ao prompt. Quando seus dados estiverem em um índice de Pesquisa de IA, o Azure OpenAI em seus dados passará pelas seguintes etapas:

  1. Receba a solicitação do usuário.
  2. Determine o conteúdo relevante e a intenção do prompt.
  3. Consulte o índice de pesquisa com esse conteúdo e intenção.
  4. Insira o bloco de resultados de pesquisa no prompt do Azure OpenAI, juntamente com a mensagem do sistema e o prompt do usuário.
  5. Envie todo o prompt para o Azure OpenAI.
  6. Retornar resposta e referência de dados (se houver) para o usuário.

Por padrão, o Azure OpenAI em seus dados incentiva, mas não exige, que o modelo responda apenas usando seus dados. Essa configuração pode ser desmarcada ao conectar seus dados, o que pode fazer com que o modelo opte por usar seu conhecimento pré-treinado sobre seus dados.

Ajuste fino vs. RAG

O ajuste fino é uma técnica usada para criar um modelo personalizado treinando um modelo básico existente, como gpt-35-turbo um conjunto de dados de dados de treinamento adicionais. O ajuste fino pode resultar em solicitações de qualidade mais alta do que apenas a engenharia de prompt, personalizar o modelo em exemplos maiores do que podem caber em um prompt e permitir que o usuário forneça menos exemplos para obter a mesma resposta de alta qualidade. No entanto, o processo de ajuste fino é caro e demorado, e só deve ser usado para casos de uso quando necessário.

O RAG com o Azure OpenAI em seus dados ainda usa a API sem estado para se conectar ao modelo, o que remove a necessidade de treinar um modelo personalizado com seus dados e simplifica a interação com o modelo de IA. O AI Search primeiro encontra as informações úteis para responder ao prompt, adiciona isso ao prompt como dados de aterramento e o Azure OpenAI forma a resposta com base nessas informações.