Verstehen des Einbettens
Eine Einbettung ist eine Art von Datendarstellung, die von Machine Learning-Modellen verwendet wird. Eine Einbettung stellt die semantische Bedeutung eines Textabschnitts dar. Sie können eine Einbettung als Zahlenarray visualisieren, wobei der numerische Abstand zwischen zwei Einbettungen ihre semantische Ähnlichkeit darstellt. Wenn beispielsweise zwei Texte ähnlich sind, sollten ihre Darstellungen ebenfalls ähnlich sein.
Einbetten von Modellen
Die Effektivität Ihrer Suchergebnisse steht in direkter Beziehung zur Effektivität Ihres eingebetteten Modells.
Es gibt Modelle, die speziell erstellt wurden, um eine bestimmte Aufgabe gut auszuführen. Verwenden Sie Einbettungen für die Ähnlichkeitssuche, um die semantische Ähnlichkeit zwischen Textstücken zu erfassen; eine Einbettung für die Textsuche kann die Relevanz eines langen Dokuments für eine kurze Abfrage untersuchen; verwenden Sie die Einbettung von Codeschnipseln und natürlichsprachlichen Suchabfragen mit einer Einbettung für die Codesuche.
Benutzer geben Eingaben in eine Abfrage für ein Einbettungsmodell ein, die von Text in einen Vektor umgewandelt werden, z. B. mit dem Modell text-embedding-ada-002, um Texteinbettungen zu erzeugen.
Das Ergebnis sind alle Dokumente, die der Abfrage entsprechen, die in Ihrem Suchindex enthalten sind. Die Dokumente mit Einbettungen, die Vektorfelder enthalten, müssen im Suchindex vorhanden sein, und für die Indizierung und die Abfrage muss dasselbe Modell verwendet werden.
Einbettungsraum
Der Einbettungsraum ist der Kern der Vektorabfragen, der alle Vektorfelder desselben Einbettungsmodells umfasst. Er besteht aus allen Vektorfeldern, die mit demselben Modell aufgefüllt werden.
In diesem Einbettungsraum befinden sich ähnliche Elemente nah beieinander, und unterschiedliche Elemente befinden sich weiter auseinander.
Zum Beispiel würden Dokumente, die von Hotels mit einem Wasserpark handeln, im Einbettungsbereich nahe beieinander liegen, während Hotels ohne diese Einrichtung weiter entfernt wären, aber immer noch in der Nachbarschaft von Hotels liegen würden. Ungleiche Konzepte wie Restaurants wären noch weiter entfernt. In der Praxis sind Einbettungsräume abstrakt und haben keine klar definierten, für Menschen verständlichen Bedeutungen, aber die Kernidee bleibt dieselbe.