Descripción de las inserciones en Azure OpenAI Service
Una inserción es un formato especial de representación de datos que los modelos y algoritmos de Machine Learning pueden usar fácilmente. La incrustación es una representación densa en información del significado semántico de un texto. Cada incrustración es un vector de números de punto flotante, de modo que la distancia entre dos incrustraciones en el espacio vectorial está correlacionada con la similitud semántica entre dos entradas en el formato original. Por ejemplo, si hay dos textos similares, sus representaciones vectoriales también deberían ser similares. Inserta una búsqueda de similitud de vectores de energía en sistemas de recuperación como Azure AI Search (recomendado) y en bases de datos de Azure, como el núcleo virtual de Azure Cosmos DB for MongoDB, Azure SQL Database y Azure Database for PostgreSQL: servidor flexible.
Modelos de incrustración
Las incrustraciones facilitan el aprendizaje automático en entradas grandes que representan palabras mediante la captura de las similitudes semánticas en un espacio vectorial. Por lo tanto, se pueden usar inserciones para determinar si dos fragmentos de texto están relacionados semánticamente o son similares, y proporcionar una puntuación para evaluar la similitud.
Similitud coseno
Las inserciones de Azure OpenAI suelen depender de la similitud de coseno con respecto a la similitud de proceso entre documentos y una consulta.
Desde una perspectiva matemática, la similitud coseno mide el coseno del ángulo entre dos vectores proyectados en un espacio multidimensional. Esta medida es beneficiosa porque si dos documentos están muy separados por la distancia euclidiana debido al tamaño, podrían tener un ángulo más pequeño entre ellos y, por lo tanto, una similitud de coseno mayor. Para obtener más información sobre ecuaciones de similitud coseno, consulte Similitud de coseno.
Un método alternativo de identificación de documentos similares es contar el número de palabras comunes entre documentos. Este enfoque no se escala, ya que es probable que una expansión en el tamaño del documento lleve a un mayor número de palabras comunes detectadas incluso entre temas dispares. Por este motivo, la similitud coseno puede ofrecer una alternativa más eficaz.
Pasos siguientes
- Obtenga más información sobre el uso de Azure OpenAI e incrustraciones para realizar la búsqueda de documentos con nuestro tutorial de incrustraciones.
- Almacene las inserciones y realice la búsqueda de vectores (similitud) mediante núcleo virtual de Azure Cosmos DB for MongoDB, Azure Cosmos DB for NoSQL, Azure SQL Database o Azure Database for PostgreSQL - servidor flexible.
- Uso de Eventhouse en Inteligencia en tiempo real en Microsoft Fabric como base de datos vectorial
- Use la función series_cosine_similarity para la búsqueda de similitud.