Dela via

Introduktion till att skapa gen-AI-appar på Databricks

  • Artikel

Mosaic AI är en omfattande plattform för att skapa, distribuera och hantera GenAI-program. Den här artikeln vägleder dig genom viktiga komponenter och processer som ingår i utvecklingen av GenAI-program på Databricks.

Distribuera och fråga gen AI-modeller

För enkla användningsfall kan du direkt använda och söka efter generativa AI-modeller, inklusive högkvalitativa modeller med öppen källkod, samt tredjepartsmodeller från LLM-providers som OpenAI och Anthropic.

Mosaic AI Model Serving har stöd för att betjäna och köra frågor mot generativa AI-modeller med hjälp av följande funktioner:

  • API:er för grundmodell. Den här funktionen gör toppmoderna öppna modeller och finjusterade modellvarianter tillgängliga för din modell som betjänar slutpunkten. Dessa modeller är utvalda grundmodellarkitekturer som stöder optimerad slutsatsdragning. Basmodeller som DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large och Mistral-7B är tillgängliga för omedelbar användning med prissättning för betala per token och arbetsbelastningar som kräver prestandagarantier, till exempel finjusterade modellvarianter, kan distribueras med etablerat dataflöde.
  • Externa modeller. Det här är generativa AI-modeller som finns utanför Databricks. Slutpunkter som hanterar externa modeller kan styras centralt och kunderna kan fastställa hastighetsbegränsningar och åtkomstkontroll för dem. Exempel är grundmodeller som OpenAI:s GPT-4, Anthropics Claude och andra.

Se Skapa grundmodell som betjänar slutpunkter.

Mosaic AI Agent Framework

Mosaic AI Agent Framework består av en set av verktyg på Databricks som är utformade för att hjälpa utvecklare att skapa, distribuera och utvärdera agenter av produktionskvalitet som RAG-program (Retrieval Augmented Generation).

Det är kompatibelt med ramverk från tredje part som LangChain och LlamaIndex, så att du kan utveckla med önskat ramverk och samtidigt utnyttja Databricks hanterade Unity Catalog, Agent Evaluation Framework och andra plattformsfördelar.

Iterera snabbt agentutveckling med hjälp av följande funktioner:

  • Skapa och logga agenter med valfritt bibliotek och MLflow. Parametrisera dina agenter för att experimentera och iterera agentutveckling snabbt.
  • Med agentspårning kan du logga, analysera och jämföra spårningar i agentkoden för att felsöka och förstå hur din agent svarar på begäranden.
  • Förbättra agentkvaliteten med hjälp av DSPy. DSPy kan automatisera snabb teknik och finjustering för att förbättra kvaliteten på dina GenAI-agenter.
  • Distribuera agenter till produktion med inbyggt stöd för tokenströmning och loggning av begäran/svar, plus en inbyggd granskningsapp för att get användarfeedback för din agent.