Modellen implementeren voor batchinference en -voorspelling

Dit artikel beschrijft wat Databricks aanbeveelt voor batch-inference.

Zie Modellen implementeren met behulp van Mosaic AI Model Servingvoor realtime-modelverwerking op Azure Databricks.

AI-functies voor batchinference

Belangrijk

Deze functie is beschikbaar als openbare preview.

AI-functies zijn ingebouwde functies die u kunt gebruiken om AI toe te passen op uw gegevens die zijn opgeslagen op Databricks. U kunt batchdeductie uitvoeren met behulp van taakspecifieke AI-functies of de functie voor algemeen gebruik, ai_query. Databricks raadt aan ai_query te gebruiken voor batchinferentie om flexibiliteit te behouden.

Er zijn twee hoofdmanieren om ai_query te gebruiken voor batchinference:

• Batch-inferentie met ai_query en door Databricks gehoste basismodellen. Wanneer u deze methode gebruikt, configureert Databricks een model voor eindpunten dat automatisch wordt geschaald op basis van de workload. Bekijk welke vooraf geconfigureerde LLM's worden ondersteund.
• Batch-inferentie met behulp van ai_query en een modelbedienings-eindpunt dat u zelf configureert. Deze methode is vereist voor batchdeductiewerkstromen die gebruikmaken van basismodellen die worden gehost buiten Databricks, verfijnde basismodellen of traditionele ML-modellen. Na de implementatie kan het eindpunt rechtstreeks worden gebruikt met ai_query.

Batch-deductie met behulp van een Spark DataFrame

Zie Batch-inferentie uitvoeren met behulp van een Spark DataFrame voor een stapsgewijze handleiding over de werkstroom voor modelinferentie met behulp van Spark.

Zie de volgende artikelen voor voorbeelden van deep learning-modeldeductie:

• Modeldeductie met behulp van TensorFlow en TensorRT
• Modeldeductie met behulp van PyTorch

Gestructureerde gegevensextractie en batchdeductie met behulp van Spark UDF

In het volgende voorbeeldnotebook ziet u de ontwikkeling, logboekregistratie en evaluatie van een eenvoudige agent voor gestructureerde gegevensextractie om onbewerkte, ongestructureerde gegevens te transformeren in georganiseerde, bruikbare informatie via geautomatiseerde extractietechnieken. Deze benadering laat zien hoe u aangepaste agents implementeert voor batchdeductie met behulp van de PythonModel klasse van MLflow en het vastgelegde agentmodel als een Spark User-Defined Function (UDF). In dit notebook wordt ook getoond hoe u Mosaic AI Agent Evaluation kunt gebruiken om de nauwkeurigheid te evalueren met behulp van gegevens uit de werkelijkheid.

Gestructureerde gegevensextractie en batchdeductie met behulp van Spark UDF

Haal notitieblok op

:::