Modellen implementeren voor batchdeductie en -voorspelling
Dit artikel beschrijft wat Databricks aanbeveelt voor batch-inference.
Zie Modellen implementeren met behulp van Mosaic AI Model Servingvoor realtime-modelverwerking op Azure Databricks.
Ai_query gebruiken voor batchdeductie
Belangrijk
Deze functie is beschikbaar als openbare preview.
Databricks raadt het gebruik aan ai_query met Model Serving voor batchdeductie.
ai_query is een ingebouwde Databricks SQL-functie waarmee u een query kunt uitvoeren op bestaande modellen die eindpunten leveren met behulp van SQL. Het is geverifieerd om gegevenssets betrouwbaar en consistent te verwerken in het bereik van miljarden tokens. Zie ai_query functie voor meer informatie over deze AI-functie.
Voor snelle experimenten kan worden gebruikt met eindpuntenai_querybetalen per token, omdat deze eindpunten vooraf zijn geconfigureerd in uw werkruimte.
Wanneer u klaar bent om batchdeductie uit te voeren op grote of productiegegevens, raadt Databricks aan om ingerichte doorvoereindpunten te gebruiken voor snellere prestaties. Zie Provisioned Throughput Foundation Model-API's om het ingerichte doorvoereindpunt te creëren.