Partilhar via

Introdução à criação de aplicativos de IA de geração no Databricks

  • Artigo

O Mosaic AI fornece uma plataforma abrangente para criar, implantar e gerenciar aplicativos GenAI. Este artigo orienta você pelos componentes e processos essenciais envolvidos no desenvolvimento de aplicativos GenAI no Databricks.

Implantar e consultar modelos de IA de geração

Para casos de uso simples, você pode servir e consultar diretamente modelos de IA de geração, incluindo modelos de código aberto de alta qualidade, bem como modelos de terceiros de provedores LLM, como OpenAI e Anthropic.

O Mosaic AI Model Serving suporta servir e consultar modelos de IA generativos usando os seguintes recursos:

  • APIs de modelo de fundação. Essa funcionalidade disponibiliza modelos abertos de última geração e variantes de modelo ajustadas para o seu ponto de extremidade de serviço de modelo. Esses modelos são arquiteturas de modelo de base selecionadas que suportam inferência otimizada. Modelos básicos, como DBRX Instruct, Meta-Llama-3.1-70B-Instruct, GTE-Large e Mistral-7B estão disponíveis para uso imediato com preços de pagamento por token , e cargas de trabalho que exigem garantias de desempenho, como variantes de modelo ajustadas, podem ser implantadas com taxa de transferência provisionada.
  • Modelos externos. Estes são modelos de IA generativa que são hospedados fora do Databricks. Os endpoints que atendem modelos externos podem ser controlados centralmente e os clientes podem estabelecer limites de taxa e controle de acesso para eles. Exemplos incluem modelos de fundação como GPT-4 da OpenAI, Claude da Anthropic e outros.

Consulte Criar modelos de IA generativos servindo endpoints.

Estrutura do Mosaic AI Agent

O Mosaic AI Agent Framework compreende um conjunto de ferramentas em Databricks projetadas para ajudar os desenvolvedores a criar, implantar e avaliar agentes de qualidade de produção, como aplicativos de Geração Aumentada de Recuperação (RAG).

Ele é compatível com estruturas de terceiros como LangChain e LlamaIndex, permitindo que você desenvolva com sua estrutura preferida e, ao mesmo tempo, aproveite o Unity Catalog gerenciado da Databricks, o Agent Evaluation Framework e outros benefícios da plataforma.

Itere rapidamente no desenvolvimento de agentes usando os seguintes recursos:

  • Crie e registre agentes usando qualquer biblioteca e MLflow. Parametrize seus agentes para experimentar e iterar no desenvolvimento de agentes rapidamente.
  • O rastreamento de agentes permite registrar, analisar e comparar rastreamentos no código do agente para depurar e entender como o agente responde às solicitações.
  • Melhore a qualidade do agente usando DSPy. O DSPy pode automatizar a engenharia imediata e o ajuste fino para melhorar a qualidade de seus agentes GenAI.
  • Implante agentes na produção com suporte nativo para streaming de token e registro de solicitação/resposta, além de um aplicativo de revisão integrado para obter feedback do usuário para seu agente.