Modellen implementeren voor batchdeductie en -voorspelling
Dit artikel beschrijft wat Databricks aanbeveelt voor batch-inference.
Zie Modellen implementeren met behulp van Mosaic AI Model Servingvoor realtime-modelverwerking op Azure Databricks.
Ai_query gebruiken voor batchdeductie
Belangrijk
Deze functie is beschikbaar als openbare preview.
Databricks raadt het gebruik aan ai_query met Model Serving voor batchdeductie.
ai_query is een ingebouwde Databricks SQL-functie waarmee u een query kunt uitvoeren op bestaande modellen die eindpunten leveren met behulp van SQL. Het is geverifieerd om gegevenssets betrouwbaar en consistent te verwerken in het bereik van miljarden tokens. Zie ai_query functie voor meer informatie over deze AI-functie.
Voor snelle experimenten kan ai_query worden gebruikt voor batch-LLM-inference met eindpunten op basis van betaling per token, die vooraf zijn geconfigureerd in uw werkruimte.
Wanneer u klaar bent om batch-LLM-deductie uit te voeren op grote of productiegegevens, raadt Databricks aan om ingerichte doorvoereindpunten te gebruiken voor snellere prestaties.
- Zie Provisioned Throughput Foundation Model-API's om het ingerichte doorvoereindpunt te creëren.
- Zie batch LLM-inferentie uitvoeren met behulp van ai_query.
Zie het volgende notebook voor een voorbeeld van een traditionele ML-model batchvoorspelling.