Erstellen einer RAG-Lösung mit Azure KI-Suche
In dieser Tutorialreihe wird ein Muster zum Erstellen von RAG-Lösungen (Retrieval Augmented Generation) in Azure KI-Suche veranschaulicht. Es werden die in Azure KI-Suche integrierten Komponenten, Abhängigkeiten und Optimierungen zum Maximieren der Relevanz und Minimieren der Kosten behandelt.
Bei den Beispieldaten handelt es sich um eine Sammlung von PDF-Dateien, die in Azure Storage hochgeladen werden. Der Inhalt stammt aus dem kostenlosen E-Book „Earth“ der NASA.
Beispielcode finden Sie in diesem Python-Notebook. Es wird jedoch empfohlen, die Artikel in dieser Reihe zu verwenden, da sie einen Kontext, Erkenntnisse und alternative Ansätze bieten.
Übungen in dieser Tutorialreihe
Auswählen der Modelle für Einbettungen und den Chat
Entwerfen eines Indexes für die unterhaltungsbezogene Suche
Entwerfen einer Indizierungspipeline, die durchsuchbare Inhalte lädt, segmentiert, einbettet und erfasst
Abrufen durchsuchbarer Inhalte mit Abfragen und einem Chatmodell
Maximieren der Relevanz
Minimieren des Speicherbedarfs und der Kosten
Einige Aspekte eines RAG-Musters wurden hier weggelassen, um die Komplexität zu verringern:
Keine Verwaltung von Chatverlauf und -kontext. Der Chatverlauf wird typischerweise getrennt von Ihren Groundingdaten gespeichert und verwaltet, wozu zusätzliche Schritte und zusätzlicher Code erforderlich sind. In diesem Tutorial wird von der Verwendung atomischer Fragen und Antworten des LLM (Large Language Model, großes Sprachmodell) und der Standard-LLM-Umgebung ausgegangen.
Keine Benutzersicherheit pro Benutzer für Ergebnisse (bezeichnet als „Einschränkung aus Sicherheitsgründen“ oder „Sicherheitskürzung“). Beginnen Sie mit dem Artikel zur Sicherheitskürzung, um weitere Informationen und Ressourcen zu erhalten, und sehen Sie sich unbedingt die Ressourcen unter den Links am Ende des Artikels an.
In dieser Tutorialreihe werden die Grundlagen der Entwicklung von RAG-Lösungen behandelt. Nachdem Sie sich mit den Grundlagen vertraut gemacht haben, fahren Sie mit Beschleunigern und anderen Codebeispielen fort, die mehr Abstraktion bieten oder aus anderen Gründen besser für Produktionsumgebungen und komplexere Workloads geeignet sind.
Gründe für die Verwendung von Azure KI-Suche für RAG-Lösungen
Chatmodelle unterliegen Beschränkungen hinsichtlich der Datenmenge, die sie bei einer Anforderung akzeptieren können. Sie sollten Azure KI-Suche verwenden, da die Qualität der an ein LLM übergebenen Inhalte über den Erfolg oder Misserfolg einer RAG-Lösung entscheiden kann.
Um hochwertige Eingaben für ein Chatmodell bereitzustellen, bietet Azure KI-Suche eine erstklassige Suchmaschine mit KI-Integration (künstliche Intelligenz) und umfassender Relevanzoptimierung. Die Suchmaschine unterstützt die Vektorähnlichkeitssuche (mehrere Algorithmen), Schlüsselwortsuche, Fuzzysuche und räumliche Suche sowie Filter. Sie können Hybridabfrageanforderungen erstellen, die all diese Komponenten enthalten, und steuern, wie viel jede Abfrage zur gesamten Anforderung beiträgt.