Nasazení modelů pro dávkové odvozování a predikce
Tento článek popisuje, co Databricks doporučuje pro dávkový odhad.
Podrobnosti o nasazení modelů v reálném čase na Azure Databricks naleznete v části Nasazování modelů pomocí Mosaic AI Model Serving.
Použití ai_query pro dávkové odvozování
Důležité
Tato funkce je ve verzi Public Preview.
Databricks doporučuje používat ai_query se službou Model Serving pro dávkové odvozování.
ai_query je integrovaná funkce SQL Databricks, která umožňuje dotazovat existující model obsluhující koncové body pomocí SQL. Bylo ověřeno, že spolehlivě a konzistentně zpracovává datové sady v rozsahu miliard tokenů.
Další podrobnosti o této funkci AI najdete v ai_query funkci.
Pro rychlé experimentování je možné použít koncové body s platbami za token, ai_query protože tyto koncové body jsou předem nakonfigurované ve vašem pracovním prostoru.
Jakmile budete připraveni spustit dávkové odvozování velkých nebo produkčních dat, Databricks doporučuje používat zřízené koncové body propustnosti, aby se zrychlil výkon. Informace o vytvoření koncového bodu zřízené propustnosti najdete v tématu rozhraní API základního modelu zřízené propustnosti.