Geração aumentada de recuperação e índices
Este artigo fala sobre a importância e a necessidade da Recuperação de Geração Aumentada (RAG) e índice na IA generativa.
O que é a RAG?
Vamos ver alguns conceitos básicos primeiro. Os LLMs (modelos de linguagem grande) como o ChatGPT são treinados com os dados públicos da Internet disponíveis no momento em que foram treinados. Eles podem responder a perguntas relacionadas aos dados nos quais foram treinados. Esses dados públicos podem não ser suficientes para atender a todas as suas necessidades. Talvez você queira que as perguntas sejam respondidas com base nos seus dados particulares. Ou, então, os dados públicos podem simplesmente ter ficado desatualizados. A solução para esse problema é a RAG (geração aumentada por recuperação), um padrão usado na IA que usa um LLM para gerar respostas com seus dados.
Como funciona a RAG?
A RAG é um padrão que usa seus dados com um LLM para gerar respostas específicas desses dados. Quando um usuário faz uma pergunta, o armazenamento de dados é pesquisado com base na entrada do usuário. Em seguida, a pergunta do usuário é combinada com os resultados correspondentes e enviada ao LLM por meio de um prompt (instruções explícitas para um modelo de IA ou de machine learning) a fim de gerar a resposta desejada. Esse processo pode ser ilustrado da seguinte forma.
O que é um índice e por que preciso dele?
A RAG usa seus dados para gerar respostas para a pergunta do usuário. Para que a RAG funcione bem, precisamos encontrar uma forma de pesquisar e enviar os dados de maneira fácil e econômica para os LLMs. Isso é obtido usando um índice. Um índice é um armazenamento de dados que permite que você pesquise dados com eficiência. Esse índice é muito útil no RAG. Um índice pode ser otimizado para LLMs com a criação de vetores (textos/dados convertidos em sequências numéricas por um modelo de inserção). Um bom índice geralmente tem recursos de pesquisa eficientes, como pesquisas por palavra-chave, pesquisas semânticas, pesquisas vetoriais ou uma combinação delas. Esse padrão de RAG otimizado pode ser ilustrado da seguinte maneira.
A IA do Azure fornece um ativo de índice a ser usado com o padrão RAG. O ativo de índice contém informações importantes como onde seu índice está armazenado, como acessar seu índice, quais são os modos nos quais seu índice pode ser pesquisado, seu índice tem vetores, qual é o modelo de inserção usado para vetores, etc. O índice de IA do Azure usa a Pesquisa de IA do Azure como o repositório de índice primário e recomendado. A Pesquisa de IA do Azure é um recurso do Azure que dá suporte à recuperação de informações sobre os dados vetoriais e textuais armazenados em índices de pesquisa.