Modellen implementeren voor batchdeductie en -voorspelling
In dit artikel wordt beschreven wat Databricks aanbeveelt voor batch- en streamingdeductie.
Zie Model dat wordt geleverd met Azure Databricks voor realtime-modellen met Azure Databricks.
Ai_query gebruiken voor batchdeductie
Belangrijk
Deze functie is beschikbaar als openbare preview.
Databricks raadt het gebruik aan ai_query met Model Serving voor batchdeductie. ai_query is een ingebouwde Databricks SQL-functie waarmee u een query kunt uitvoeren op bestaande modellen die eindpunten leveren met behulp van SQL. Het is geverifieerd om gegevenssets betrouwbaar en consistent te verwerken in het bereik van miljarden tokens. Zie ai_query functie voor meer informatie over deze AI-functie.
Voor snelle experimenten kan worden gebruikt met eindpunten voor betalen per token, ai_query omdat deze eindpunten vooraf zijn geconfigureerd in uw werkruimte.
Wanneer u klaar bent om batchdeductie uit te voeren op grote of productiegegevens, raadt Databricks aan om ingerichte doorvoereindpunten te gebruiken voor snellere prestaties. Zie Ingerichte doorvoer Foundation Model-API's om een ingerichte doorvoereindpunt te maken.
- Zie Batchdeductie uitvoeren met behulp van ai_query.
- Als u aan de slag wilt gaan met batchdeductie met LLM's in Unity Catalog-tabellen, raadpleegt u de notebookvoorbeelden in Batch-deductie met behulp van de ingerichte doorvoer van Foundation Model-API's.