Delen via

Inleiding tot het bouwen van GEN AI-apps in Databricks

  • Artikel

Mosaic AI biedt een uitgebreid platform voor het bouwen, implementeren en beheren van GenAI-toepassingen. In dit artikel wordt u begeleid bij de essentiële onderdelen en processen die betrokken zijn bij het ontwikkelen van GenAI-toepassingen op Databricks.

AI-modellen voor gen implementeren en er query's op uitvoeren

Voor eenvoudige gebruiksvoorbeelden kunt u AI-modellen van hoge kwaliteit rechtstreeks bedienen en opvragen, waaronder opensource-modellen van hoge kwaliteit, evenals modellen van derden van LLM-providers, zoals OpenAI en Antropic.

Mozaïek AI Model Serving biedt ondersteuning voor het leveren en opvragen van generatieve AI-modellen met behulp van de volgende mogelijkheden:

  • Foundation Model-API's. Met deze functionaliteit zijn state-of-the-art open modellen en verfijnde modelvarianten beschikbaar voor uw model voor eindpunten. Deze modellen zijn gecureerde basismodelarchitecturen die geoptimaliseerde deductie ondersteunen. Basismodellen, zoals DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large en Mistral-7B zijn beschikbaar voor direct gebruik met prijzen voor betalen per token en workloads waarvoor prestatiegaranties zijn vereist, zoals verfijnde modelvarianten, kunnen worden geïmplementeerd met ingerichte doorvoer.
  • Externe modellen. Dit zijn generatieve AI-modellen die buiten Databricks worden gehost. Eindpunten die externe modellen dienen, kunnen centraal worden beheerd en klanten kunnen frequentielimieten en toegangsbeheer voor hen vaststellen. Voorbeelden hiervan zijn basismodellen zoals GPT-4 van OpenAI, Tropic's Claude en andere.

Zie Basismodel maken voor eindpunten.

Mozaïek AI Agent Framework

Mosaic AI Agent Framework bestaat uit een set hulpprogramma's op Databricks die zijn ontworpen om ontwikkelaars te helpen bij het bouwen, implementeren en evalueren van productiekwaliteitsagenten zoals Rag-toepassingen (Retrieval Augmented Generation).

Het is compatibel met frameworks van derden, zoals LangChain en LlamaIndex, waarmee u kunt ontwikkelen met uw favoriete framework en terwijl u gebruikmaakt van de beheerde Unity Catalog, Agent Evaluation Framework en andere platformvoordelen van Databricks.

Voer snel een iteratie uit voor het ontwikkelen van agents met behulp van de volgende functies:

  • Agents maken en registreren met behulp van een bibliotheek en MLflow. Parameteriseer uw agents om snel te experimenteren en door te gaan met het ontwikkelen van agents.
  • Met agenttracering kunt u traceringen in uw agentcode vastleggen, analyseren en vergelijken om fouten op te sporen en te begrijpen hoe uw agent reageert op aanvragen.
  • Verbeter de kwaliteit van de agent met behulp van DSPy. DSPy kan prompt engineering automatiseren en afstemmen om de kwaliteit van uw GenAI-agents te verbeteren.
  • Implementeren van agents voor productie met native ondersteuning voor tokenstreaming en aanvraag- en antwoordregistratie, plus een ingebouwde review-app om feedback van gebruikers voor uw agent te krijgen.