Jak utworzyć rozwiązanie RAG przy użyciu usługi Azure AI Search
W tej serii samouczków przedstawiono wzorzec tworzenia rozwiązań RAG w usłudze Azure AI Search. Obejmuje on składniki wbudowane w usługę Azure AI Search, zależności i optymalizacje w celu maksymalizacji istotności i minimalizowania kosztów.
Przykładowe dane to kolekcja plików PDF przekazanych do usługi Azure Storage. Treść pochodzi z bezpłatnej książki e-booka NASA Na Ziemi.
Przykładowy kod można znaleźć w tym notesie języka Python, ale zalecamy używanie artykułów z tej serii na potrzeby kontekstów, szczegółowych informacji i eksplorowania alternatywnych metod.
Ćwiczenia z tej serii
Wybieranie modeli do osadzania i czatu
Projektowanie indeksu wyszukiwania konwersacyjnego
Projektowanie potoku indeksowania, który ładuje, fragmenty, osadzanie i pozyskiwanie zawartości z możliwością wyszukiwania
Pobieranie zawartości z możliwością wyszukiwania przy użyciu zapytań i modelu czatu
Maksymalizowanie istotności
Minimalizowanie magazynu i kosztów
Pominięto kilka aspektów wzorca RAG w celu zmniejszenia złożoności:
Brak zarządzania historią czatu i kontekstem. Historia czatów jest zwykle przechowywana i zarządzana oddzielnie od danych uziemienia, co oznacza dodatkowe kroki i kod. W tym samouczku założono, że niepodzielne pytania i odpowiedzi z poziomu usługi LLM oraz domyślne środowisko LLM.
Brak zabezpieczeń poszczególnych użytkowników w wynikach (co nazywamy "przycinaniem zabezpieczeń"). Aby uzyskać więcej informacji i zasobów, zacznij od przycinania zabezpieczeń i pamiętaj, aby przejrzeć linki na końcu artykułu.
W tej serii omówiono podstawy opracowywania rozwiązań RAG. Po zapoznaniu się z podstawami kontynuuj pracę z akceleratorami i innymi przykładami kodu, które zapewniają większą abstrakcję lub lepiej nadają się do środowisk produkcyjnych i bardziej złożonych obciążeń.
Dlaczego warto używać usługi Azure AI Search for RAG?
Modele czatów mają ograniczenia dotyczące ilości danych, które mogą zaakceptować na żądanie. Należy użyć usługi Azure AI Search, ponieważ jakość zawartości przekazanej do usługi LLM może spowodować lub przerwać rozwiązanie RAG.
Aby dostarczać najwyższej jakości dane wejściowe do modelu czatu, usługa Azure AI Search udostępnia najlepszą w klasie wyszukiwarkę z integracją sztucznej inteligencji i kompleksowym dostrajaniem istotności. Aparat wyszukiwania obsługuje wyszukiwanie wektorów (wiele algorytmów), wyszukiwanie słów kluczowych, wyszukiwanie rozmyte, wyszukiwanie geoprzestrzenne i filtry. Możesz tworzyć żądania zapytań hybrydowych, które zawierają wszystkie te składniki, i kontrolować, ile każde zapytanie przyczynia się do ogólnego żądania.