Distribuire modelli per l'inferenza e la previsione in blocco

Questo articolo descrive le raccomandazioni di Databricks per l'inferenza batch.

Per la gestione di modelli in tempo reale in Azure Databricks, vedere Distribuire modelli con Mosaic AI Model Serving.

Funzioni di intelligenza artificiale per l'inferenza batch

Importante

Questa funzionalità è disponibile in anteprima pubblica.

Le funzioni di intelligenza artificiale sono funzioni predefinite che è possibile usare per applicare l'intelligenza artificiale ai dati archiviati in Databricks. È possibile eseguire l'inferenza batch usando funzioni di intelligenza artificiale specifiche dell'attività o la funzione per utilizzo generico ai_query. Per la flessibilità, Databricks consiglia di usare ai_query per l'inferenza batch.

Esistono due modi principali per usare ai_query per l'inferenza batch:

• inferenza batch usando modelli di base ospitati da ai_query e Databricks. Quando si usa questo metodo, Databricks configura un endpoint di gestione del modello che viene ridimensionato automaticamente in base al carico di lavoro. Vedi quali LLM preconfigurati sono supportati.
• inferenza di batch usando ai_query e un endpoint di servizio del modello che configuri tu stesso. Questo metodo è necessario per i flussi di lavoro di inferenza batch che usano modelli di base ospitati all'esterno di Databricks, modelli di base ottimizzati o modelli di Machine Learning tradizionali. Dopo la distribuzione, l'endpoint può essere usato direttamente con ai_query.

Inferenza batch utilizzando un DataFrame di Spark

Vedere Eseguire l'inferenza batch usando un di dataframe Spark per una guida dettagliata al flusso di lavoro di inferenza del modello con Spark.

Per esempi di inferenza del modello di Deep Learning, vedere gli articoli seguenti:

• Inferenza del modello con TensorFlow e TensorRT
• Inferenza del modello con PyTorch

Estrazione di dati strutturati e inferenza batch con Spark UDF

Il notebook di esempio seguente illustra lo sviluppo, la registrazione e la valutazione di un semplice agente per l'estrazione di dati strutturati per trasformare i dati non elaborati e non strutturati in informazioni organizzate e utilizzabili tramite tecniche di estrazione automatizzata. Questo approccio illustra come implementare agenti personalizzati per l'inferenza batch usando la classe PythonModel di MLflow e usare il modello dell'agente registrato come funzione UDF (Spark User-Defined Function). Questo notebook illustra anche come sfruttare la valutazione dell'agente di intelligenza artificiale Mosaic per valutare l'accuratezza usando i dati di verità di base.

Estrazione di dati strutturati e inferenza batch usando Spark UDF

Prendi il taccuino

:::