Geração aumentada através de obtenção e índices
Este artigo fala sobre a importância e necessidade da Geração Aumentada de Recuperação (RAG) e do índice na IA generativa.
O que é RAG?
Algumas noções básicas primeiro. Grandes modelos linguísticos (LLMs) como o ChatGPT são treinados em dados públicos da Internet que estavam disponíveis no momento em que foram treinados. Eles podem responder a perguntas relacionadas aos dados sobre os quais foram treinados. Esses dados públicos podem não ser suficientes para atender a todas as suas necessidades. Você pode querer perguntas respondidas com base em seus dados privados. Ou, os dados públicos podem simplesmente ter ficado desatualizados. A solução para esse problema é o Retrieval Augmented Generation (RAG), um padrão usado em IA que usa um LLM para gerar respostas com seus próprios dados.
Como funciona o RAG?
RAG é um padrão que usa seus dados com um LLM para gerar respostas específicas para seus dados. Quando um usuário faz uma pergunta, o armazenamento de dados é pesquisado com base na entrada do usuário. A pergunta do usuário é então combinada com os resultados correspondentes e enviada para o LLM usando um prompt (instruções explícitas para um modelo de IA ou aprendizado de máquina) para gerar a resposta desejada. Este processo pode ser ilustrado da seguinte forma.
O que é um índice e por que preciso dele?
A RAG utiliza os seus dados para gerar respostas para a pergunta do utilizador. Para que a RAG funcione bem, precisamos encontrar uma maneira de pesquisar e enviar seus dados de maneira fácil e econômica para os LLMs. Isto é conseguido através da utilização de um índice. Um índice é um armazenamento de dados que permite pesquisar dados de forma eficiente. Este índice é muito útil no RAG. Um índice pode ser otimizado para LLMs criando vetores (dados de texto convertidos em sequências numéricas usando um modelo de incorporação). Um bom índice geralmente tem recursos de pesquisa eficientes, como pesquisas por palavras-chave, pesquisas semânticas, pesquisas vetoriais ou uma combinação destes. Este padrão RAG otimizado pode ser ilustrado da seguinte forma.
A IA do Azure fornece um ativo de índice para usar com o padrão RAG. O ativo de índice contém informações importantes, como onde seu índice está armazenado, como acessar seu índice, quais são os modos em que seu índice pode ser pesquisado, seu índice tem vetores, qual é o modelo de incorporação usado para vetores, etc. O índice de IA do Azure usa a Pesquisa de IA do Azure como o armazenamento de índice principal e recomendado. A pesquisa do Azure AI é um recurso do Azure que suporta a obtenção de informações sobre o arquivo de dados vetoriais e textuais em índices de pesquisa.