Condividi tramite

Definire lo schema di input e output di un agente

  • Articolo

Le firme del modello MLflow definiscono i requisiti dello schema di input e output per l'agente di intelligenza artificiale. La firma del modello indica ai componenti interni ed esterni come interagire con l'agente. La firma del modello è un controllo di convalida per assicurarsi che gli input rispettino i requisiti dello schema.

Ad esempio, per usare l'app Agent Evaluation review, l'agente deve rispettare lo schema di input di valutazione dell'agente.

Schemi di input supportati

Mosaic AI Agent Framework supporta gli schemi di input seguenti.

Schema di completamento della chat OpenAI

Nota

Databricks consiglia lo schema di completamento della chat OpenAI perché è ampiamente usato e interoperabile con molti framework e applicazioni agente. Se lo schema di completamento della chat OpenAI non soddisfa le proprie esigenze, è possibile definire uno schema personalizzato. Vedere Schemi agente personalizzati.

  • (Consigliato) Databricks consiglia di usare lo schema di completamento della chat OpenAI. Lo schema di completamento della chat OpenAI deve avere una matrice di oggetti come messages parametro. Questo formato è il migliore possibile, per le applicazioni RAG.

    question = {
    "messages": [
        {
            "role": "user",
            "content": "What is Retrieval-Augmented Generation?",
        },
        {
            "role": "assistant",
            "content": "RAG, or Retrieval Augmented Generation, is a generative AI design pattern that combines a large language model (LLM) with external knowledge retrieval. This approach allows for real-time data connection to generative AI applications, improving their accuracy and quality by providing context from your data to the LLM during inference. Databricks offers integrated tools that support various RAG scenarios, such as unstructured data, structured data, tools & function calling, and agents.",
        },
        {
            "role": "user",
            "content": "How to build RAG for unstructured data",
        },
    ]
}

SplitChatMessageRequest

SplitChatMessagesRequest è consigliato per le applicazioni di chat a più turni, soprattutto quando si vuole gestire separatamente la query e la cronologia correnti.

  question = {
      "query": "What is MLflow",
      "history": [
          {
              "role": "user",
              "content": "What is Retrieval-augmented Generation?"
          },
          {
              "role": "assistant",
              "content": "RAG is"
          }
      ]
  }

Langchain Expression Language

Se l'agente usa LangChain, è possibile scrivere la catena in LangChain Expression Language. Nel codice di definizione della catena è possibile usare un itemgetter oggetto per ottenere i messaggi o history query gli oggetti a seconda del formato di input.

Schemi di output supportati

Mosaic AI Agent Framework supporta gli schemi di output seguenti.

ChatCompletionResponse

(Consigliato) ChatCompletionResponse è consigliato per i clienti con interoperabilità del formato di risposta OpenAI.

LangChain - ChatCompletionsOutputParser

Se l'agente usa LangChain, usa ChatCompletionsOutputParser() MLflow come passaggio finale della catena. In questo modo il messaggio LangChain per intelligenza artificiale viene formattato in un formato compatibile con l'agente.


  from mlflow.langchain.output_parsers import ChatCompletionsOutputParser

  chain = (
      {
          "user_query": itemgetter("messages")
          | RunnableLambda(extract_user_query_string),
          "chat_history": itemgetter("messages") | RunnableLambda(extract_chat_history),
      }
      | RunnableLambda(DatabricksChat)
      | ChatCompletionsOutputParser()
  )

PyFunc - Annotare le classi di input e output

Se si usa PyFunc, Databricks consiglia di usare hint di tipo per annotare la funzione predict() con classi di dati di input e output che sono sottoclassi di classi definite in mlflow.models.rag_signatures.

È possibile costruire un oggetto di output dalla classe di dati all'interno predict()di . L'oggetto restituito deve essere trasformato in una rappresentazione di dizionario per assicurarsi che possa essere serializzato.


  from mlflow.models.rag_signatures import ChatCompletionRequest, ChatCompletionResponse, ChainCompletionChoice, Message

  class RAGModel(PythonModel):
    ...
      def predict(self, context, model_input: ChatCompletionRequest) -> ChatCompletionResponse:
        ...
        return asdict(ChatCompletionResponse(
            choices=[ChainCompletionChoice(message=Message(content=text))]
        ))

Firme esplicite e dedotte

MLflow può dedurre lo schema di input e output dell'agente in fase di esecuzione e creare automaticamente una firma. Se si usano schemi di input e output supportati, le firme dedotte sono compatibili con Agent Framework. Per informazioni sugli schemi supportati, vedere Schemi di input supportati.

Tuttavia, se si usa uno schema dell'agente personalizzato, è necessario definire in modo esplicito la firma del modello in base alle istruzioni contenute negli schemi dell'agente personalizzato.

Schemi dell'agente personalizzato

È possibile personalizzare lo schema di un agente per passare e restituire campi aggiuntivi da e verso l'agente creando una sottoclasse di uno schema di input/output supportato. Aggiungere quindi le chiavi custom_inputs aggiuntive e custom_outputs per contenere i campi aggiuntivi. Vedere esempi di codice per Pyfunc e Langchain e un metodo basato sull'interfaccia utente per l'uso di input personalizzati.

Per usare l'SDK databricks-agents , le interfacce utente client di Databricks, ad esempio ai Playground e l'app di revisione e altre funzionalità di Mosaic AI Agent Framework, lo schema dell'agente deve soddisfare i requisiti seguenti:

  • L'agente deve usare mlflow la versione 2.17.1 o successiva.
  • Nel notebook dell'agente contrassegnare i campi aggiuntivi aggiunti nella sottoclasse come Optional e assegnare valori predefiniti.
  • Nel notebook del driver costruire un ModelSignature oggetto using infer_signature con le istanze delle sottoclassi.
  • Nel notebook del driver creare un esempio di input chiamando asdict sulla sottoclasse.

Schemi personalizzati PyFunc

Oltre ai requisiti precedenti, gli agenti basati su PyFunc devono soddisfare anche i requisiti seguenti per interagire con le funzionalità dell'agente Di intelligenza artificiale Mosaic.

Requisiti dello schema personalizzato PyFunc

Nel notebook dell'agente le funzioni di stima e stima del flusso devono soddisfare i requisiti seguenti:

  • Avere hint di tipo per la sottoclasse di input.
  • Usare la notazione punto per accedere ai campi della classe dati, ad esempio usare model_input.custom_input.id anziché model_input["custom_inputs"].
  • Restituire dictionary. È possibile chiamare asdict su un'istanza della sottoclasse per formattare il valore restituito come dizionario.

I notebook seguenti illustrano un esempio di schema personalizzato usando PyFunc.

Notebook dell'agente dello schema personalizzato PyFunc

Ottenere il notebook

Notebook del driver dello schema personalizzato PyFunc

Ottenere il notebook

Schemi personalizzati langchain

I notebook seguenti mostrano un esempio di schema personalizzato usando LangChain. È possibile modificare la funzione wrap_output nei notebook per analizzare ed estrarre informazioni dal flusso di messaggi.

Notebook dell'agente dello schema personalizzato Langchain

Ottenere il notebook

Notebook del driver dello schema personalizzato Langchain

Ottenere il notebook

Fornire custom_inputs l'app di revisione dell'agente e del playground per intelligenza artificiale

Se si definisce uno schema dell'agente personalizzato con input aggiuntivi usando il custom_inputs campo , è possibile specificare manualmente questi input sia in AI Playground che nell'app di revisione dell'agente. Se non vengono forniti input personalizzati, l'agente usa i valori predefiniti specificati nello schema.

  1. In AI Playground o nell'app di revisione agente selezionare l'icona a forma di ingranaggio Icona a forma di ingranaggio.

  2. Abilitare custom_inputs.

  3. Fornire un oggetto JSON che corrisponda allo schema di input definito dell'agente.

    Fornire custom_inputs nel playground di intelligenza artificiale.

L'oggetto JSON deve corrispondere allo schema di input dell'agente. Ad esempio, se si dispone di una custom_inputs classe di dati definita come segue:

@dataclass
class CustomInputs():
  id: int = 0
  user: str = "default"

La stringa JSON immessa nel campo custom_inputs deve quindi fornire valori per id e user, come illustrato nell'esempio seguente:

{
  "id": 123
  "user": "dev_test",
}