Condividi tramite

Introduzione alla creazione di app di IA generativa in Databricks

  • Articolo

Mosaic AI offre una piattaforma completa per creare, distribuire e gestire applicazioni GenAI. Questo articolo illustra i componenti e i processi essenziali coinvolti nello sviluppo di applicazioni GenAI in Databricks.

Distribuire ed eseguire query sui modelli di intelligenza artificiale di generazione

Per semplici casi d'uso, puoi servire e interrogare direttamente i modelli di intelligenza artificiale generativa, inclusi modelli open source di alta qualità, nonché modelli di terze parti da LLM providers come OpenAI e Anthropic.

Mosaic AI Model Serving supporta la gestione e l'esecuzione di query sui modelli di IA generativa usando le funzionalità seguenti:

  • API dei modelli di base. Questa funzionalità rende disponibili modelli aperti all'avanguardia e varianti di modello ottimizzate per l'endpoint di servizio del modello. Questi modelli sono architetture di modelli di base curate che supportano l'inferenza ottimizzata. I modelli di base, ad esempio DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large e Mistral-7B sono disponibili per l'uso immediato con prezzi con pagamento per token e carichi di lavoro che richiedono garanzie di prestazioni, ad esempio varianti di modello ottimizzate, possono essere distribuiti con velocità effettiva con provisioning.
  • Modelli esterni. Si tratta di modelli di intelligenza artificiale generativi ospitati all'esterno di Databricks. Gli endpoint che servono modelli esterni possono essere regolati a livello centrale per i quali i clienti possono stabilire limitazioni di velocità e controllo di accesso. Alcuni esempi includono modelli di base come GPT-4 di OpenAI, Claude di Anthropic e altri.

Vedere Creare un modello di base che gestisce gli endpoint.

Mosaic AI Agent Framework

Mosaic AI Agent Framework include un set di strumenti in Databricks progettati per aiutare gli sviluppatori a creare, distribuire e valutare agenti di qualità di produzione come applicazioni di recupero della generazione aumentata (RAG).

È compatibile con framework di terze parti come LangChain e LlamaIndex, consentendo di sviluppare con il framework preferito e sfruttando al contempo i vantaggi di Unity gestiti di Databricks Catalog, Agent Evaluation Framework e altri vantaggi della piattaforma.

Scorrere rapidamente lo sviluppo di agenti usando le funzionalità seguenti:

  • Creare e registrare agenti usando qualsiasi libreria e MLflow. Parametrizzare gli agenti per sperimentare e scorrere rapidamente lo sviluppo dell'agente.
  • Il tracciamento dell'agente consente di registrare, analizzare e confrontare tracce nel codice dell'agente per eseguire il debug e comprendere in che modo l'agente risponde alle richieste.
  • Migliorare la qualità dell'agente tramite DSPy. DSPy può automatizzare la progettazione dei prompt e l'ottimizzazione per migliorare la qualità degli agenti GenAI.
  • Distribuire gli agenti nell'ambiente di produzione con supporto nativo per il flusso di token e la registrazione di richieste/risposte, oltre a un'app di revisione predefinita per get feedback degli utenti per l'agente.