Cómo compilar una solución RAG usando Búsqueda de Azure AI
En esta serie de tutoriales se muestra un patrón para crear soluciones RAG en Búsqueda de Azure AI. Abarca los componentes incorporados en Búsqueda de Azure AI, las dependencias y las optimizaciones para maximizar la relevancia y minimizar los costes.
Los datos de ejemplo son una colección de archivos PDF cargados en Azure Storage. El contenido procede del libro electrónico gratuito Earth (Tierra) de la NASA.
Puede encontrar una muestra de código en este cuaderno de Python, pero recomendamos usar los artículos de esta serie para conocer el contexto, las conclusiones y explorar enfoques alternativos.
Ejercicios de esta serie
Elección de modelos para la inserción y el chat
Diseño de un índice para la búsqueda conversacional
Diseño de una canalización de indización que carga, fragmenta, inserta e ingiere contenidos susceptibles de búsqueda
Recuperación de contenido que se puede buscar mediante consultas y un modelo de chat
Maximizar la relevancia
Minimizar el almacenamiento y los costos
Hemos omitido algunos aspectos de un patrón RAG para reducir la complejidad:
No se puede administrar el historial y el contexto del chat. El historial de chats normalmente se almacena y administra independientemente de los datos de base, lo que implica pasos adicionales y código. Este tutorial presupone preguntas y respuestas atómicas del LLM y la experiencia del LLM predeterminada.
No hay seguridad a los resultados por usuario (lo que denominamos "recorte de seguridad"). Para más información y recursos, comience con Recorte de seguridad y asegúrese de revisar los vínculos al final del artículo.
En esta serie se tratan los aspectos básicos del desarrollo de soluciones RAG. Una vez que comprenda los conceptos básicos, continúe con aceleradores y otras muestras de código que proporcionan más abstracción o que sean más adecuados para entornos de producción y cargas de trabajo más complejas.
¿Por qué usar Búsqueda de Azure AI para RAG?
Los modelos de chat se enfrentan a restricciones en la cantidad de datos que pueden aceptar en una solicitud. Debe usar Búsqueda de Azure AI porque la calidad del contenido pasado a un LLM puede hacer o interrumpir una solución RAG.
Para ofrecer las entradas de mayor calidad a un modelo de chat, Búsqueda de Azure AI proporciona un motor de búsqueda de primera clase con integración de IA y ajuste de relevancia completo. El motor de búsqueda admite búsqueda de similitud vectorial (varios algoritmos), búsqueda de palabras clave, búsqueda aproximada, búsqueda geoespacial y filtros. Puede crear solicitudes de consulta híbridas que incluyan todos estos componentes y puede controlar cuánto contribuye cada consulta a la solicitud general.