Tworzenie aplikacji genAI przy użyciu biblioteki DSPy w usłudze Azure Databricks
W tym artykule opisano środowisko DSPy i przedstawiono przykładowe notesy pokazujące, jak używać biblioteki DSPy w usłudze Azure Databricks do tworzenia i optymalizowania agentów generowania sztucznej inteligencji.
Co to jest DSPy?
DSPy to struktura programowa definiowania i optymalizowania agentów generacyjnych sztucznej inteligencji. Oprogramowanie DSPy może automatyzować inżynierię monitów i koordynować dostrajanie modeli LLM w celu zwiększenia wydajności.
DSPy składa się z kilku komponentów, które upraszczają tworzenie agentów i poprawiają jakość agentów.
- Modules: W narzędziu DSPy są to składniki obsługujące określone przekształcenia tekstu, takie jak odpowiadanie na pytania lub podsumowywanie. Zastępują tradycyjne ręcznie napisane monity i mogą uczyć się na podstawie przykładów, co czyni je bardziej elastycznymi.
- Signatures: Opis w języku naturalnym zachowania wejściowego i wyjściowego modułu. Na przykład "pytanie —> odpowiedź" określa, że moduł powinien przyjąć pytanie jako dane wejściowe i zwrócić odpowiedź.
- kompilator: Jest to narzędzie optymalizacji DSPy. Usprawnia potoki LM poprzez dostosowanie modułów w celu spełnienia metryki wydajności, generując lepsze podpowiedzi lub dostrajając modele.
- Program (DSPy): zestaw modułów połączonych z potokiem do wykonywania złożonych zadań. Programy DSPy są elastyczne, dzięki czemu można je zoptymalizować i dostosować przy użyciu kompilatora.
Tworzenie programu DSPy klasyfikatora tekstu
W poniższym notesie pokazano, jak utworzyć program DSPy, który wykonuje klasyfikację tekstu. W tym przykładzie pokazano, jak działa środowisko DSPy i używane przez niego składniki.
Utwórz notes programu DSPy dla klasyfikatora tekstu
Tworzenie programu DSPy dla programu RAG
W tych notesach pokazano, jak utworzyć i zoptymalizować podstawowy program RAG przy użyciu oprogramowania DSPy. Te notatniki zakładają użycie bezserwerowych zasobów obliczeniowych i że pakiety są instalowane na poziomie notatnika, aby upewnić się, że działają niezależnie od wersji środowiska Databricks Runtime.
Część 1. Przygotowywanie danych i indeksu wyszukiwania wektorowego dla notatnika programu RAG DSPy
Część 2. Tworzenie i optymalizowanie programu DSPy dla notesu RAG
Migrowanie biblioteki LangChain do biblioteki DSPy
W tych notesach pokazano, jak przeprowadzić migrację kodu modelu LangChain do biblioteki DSPy i zoptymalizować go pod kątem lepszej wydajności. Te notatniki zakładają użycie bezserwerowych zasobów obliczeniowych i że pakiety są instalowane na poziomie notatnika, aby upewnić się, że działają niezależnie od wersji środowiska Databricks Runtime.