Distribuera modeller för batchinferens och förutsägelse
I den här artikeln beskrivs vad Databricks rekommenderar för batchinferens.
Information om realtidsmodell som betjänar Azure Databricks finns i Distribuera modeller med hjälp av Mosaic AI Model Serving.
Använda ai_query för batchinferens
Viktigt!
Den här funktionen finns som allmänt tillgänglig förhandsversion.
Databricks rekommenderar att du använder ai_query med Modellservering för batchinferens.
ai_query är en inbyggd Databricks SQL-funktion som gör att du kan köra frågor mot befintliga modellserverslutpunkter med SQL. Det har verifierats att tillförlitligt och konsekvent bearbeta datauppsättningar i intervallet med miljarder token. Mer information om den här AI-funktionen finns i ai_query funktion .
För snabbexperimentering kan ai_query användas för batch-LLM-slutsatsdragning med pay-per-token-slutpunkter, som är förkonfigurerade på din arbetsyta.
När du är redo att köra batch-LLM-slutsatsdragning på stora data eller produktionsdata rekommenderar Databricks att du använder etablerade dataflödesslutpunkter för snabbare prestanda.
- Se API:er för grundmodell för etablerat dataflöde för att skapa en etablerad dataflödesslutpunkt.
- Se Utföra batch-LLM-slutsatsdragning med hjälp av ai_query.
Ett exempel på batchinferens för en traditionell ML-modell finns i följande notebook-fil: