Compreender a incorporação
Uma incorporação é um tipo de representação de dados que é usado por modelos de aprendizado de máquina. Uma incorporação representa o significado semântico de um pedaço de texto. Você pode visualizar uma incorporação como uma matriz de números, e a distância numérica entre duas incorporações representa sua semelhança semântica. Por exemplo, se dois textos são semelhantes, então suas representações também devem ser semelhantes.
Incorporação de modelos
A eficácia dos resultados da pesquisa é uma relação direta com a eficácia do seu modelo incorporado.
Existem modelos criados especificamente para executar bem uma tarefa específica. Use incorporações de pesquisa de semelhança para capturar a semelhança semântica entre partes de texto, uma incorporação de pesquisa de texto pode examinar a relevância de um documento longo para uma consulta curta, use trechos de código de incorporação e consultas de pesquisa de linguagem natural usando uma incorporação de pesquisa de código .
Os usuários fornecem entrada para uma consulta para um modelo de incorporação que é convertido de texto em um vetor usando, por exemplo, o modelo text-embedding-ada-002 para gerar incorporações de texto.
O resultado serão quaisquer documentos correspondentes à consulta contidos no seu índice de pesquisa. Os documentos, com incorporações contendo campos vetoriais, devem existir no índice de pesquisa e o mesmo modelo deve ser usado para indexação e consulta.
Espaço de incorporação
O espaço de incorporação é o núcleo das consultas vetoriais que compreendem todos os campos vetoriais do mesmo modelo de incorporação. É composto por todos os campos vetoriais preenchidos usando o mesmo modelo.
Neste espaço de incorporação, itens semelhantes estão localizados próximos uns dos outros, e itens diferentes estão localizados mais distantes.
Por exemplo, documentos que falam sobre hotéis com parque aquático estariam próximos no espaço de incorporação, enquanto que hotéis sem essa facilidade estariam mais distantes enquanto ainda estariam no bairro para hotéis. Conceitos diferentes, como restaurantes, estariam ainda mais distantes. Na prática, os espaços de incorporação são abstratos e não têm significados bem definidos que sejam as pessoas, mas a ideia central permanece a mesma.