Sdílet prostřednictvím

Vytváření aplikací GenAI pomocí DSPy v Azure Databricks

  • Článek

Tento článek popisuje DSPy a poskytuje ukázkové poznámkové bloky, které ukazují, jak používat DSPy v Azure Databricks k vytváření a optimalizaci generujících agentů AI.

Co je DSPy?

DSPy je architektura pro programové definování a optimalizaci generujících agentů AI. DSPy dokáže automatizovat navrhování podnětů a koordinovat vyladění LLM za účelem zlepšení výkonu.

DSPy se skládá z několika komponent, které zjednodušují vývoj agenta a zlepšují kvalitu agenta:

  • moduly: V DSPy se jedná o komponenty, které zpracovávají konkrétní transformace textu, jako jsou odpovědi na otázky nebo shrnutí. Nahrazují tradiční ručně napsané výzvy a můžou se učit z příkladů, což jim umožňuje přizpůsobitelnost.
  • Podpisy: Popis vstupu a výstupu modulu v přirozeném jazyce. Například "otázka –> odpověď" určuje, že modul by měl jako vstup přijmout otázku a vrátit odpověď.
  • Kompilátor: Toto je optimalizační nástroj DSPy. Vylepšuje kanály LM úpravou modulů tak, aby splňovaly metriku výkonu, a to buď generováním lepších výzev, nebo vyladěním modelů.
  • programu (DSPy): Sada modulů připojených do potrubí pro provádění složitých úloh. Programy DSPy jsou flexibilní a umožňují optimalizovat a přizpůsobovat je pomocí kompilátoru.

Vytvořte program DSPy pro klasifikaci textu

Následující poznámkový blok ukazuje, jak vytvořit program DSPy, který provádí klasifikaci textu. Tento příklad ukazuje, jak DSPy funguje, a komponenty, které používá.

Vytvořte poznámkový blok programu DSPy pro klasifikátor textů

Získání poznámkového bloku

Vytvoření programu DSPy pro RAG

Tyto poznámkové bloky ukazují, jak vytvořit a optimalizovat základní program RAG pomocí DSPy. Tyto poznámkové bloky předpokládají, že používáte bezserverové výpočetní prostředky a instalují balíčky na úrovni poznámkového bloku, aby se zajistilo, že běží nezávisle na verzi Databricks Runtime.

Část 1: Příprava indexu vyhledávání dat a vektorů pro poznámkový blok programu RAG DSPy

Získání poznámkového bloku

Část 2: Vytvořte a optimalizujte program DSPy pro poznámkový blok RAG

Získejte poznámkový blok

Migrace LangChain do DSPy

Tyto poznámkové bloky ukazují, jak migrovat kód modelu LangChain do DSPy a optimalizovat ho pro lepší výkon. Tyto poznámkové bloky předpokládají, že používáte bezserverové výpočetní prostředky a instalují balíčky na úrovni poznámkového bloku, aby se zajistilo, že běží nezávisle na verzi Databricks Runtime.

Migrace kódu modelu LangChain do poznámkového bloku DSPy

Získejte poznámkový blok

Optimalizujte migrovaný poznámkový blok modelu DSPy

Získejte poznámkový blok