Sdílet prostřednictvím

Nasazení modelů pro dávkové odvozování a predikce

  • Článek

Tento článek popisuje, co Databricks doporučuje pro odvozování dávek a streamování.

Informace o modelu v reálném čase obsluhujícího v Azure Databricks najdete v tématu Model obsluhující službu Azure Databricks.

Použití ai_query pro dávkové odvozování

Důležité

Tato funkce je ve verzi Public Preview.

Databricks doporučuje používat ai_query se službou Model Serving pro dávkové odvozování. ai_query je integrovaná funkce SQL Databricks, která umožňuje dotazovat existující model obsluhující koncové body pomocí SQL. Bylo ověřeno, že spolehlivě a konzistentně zpracovává datové sady v rozsahu miliard tokenů. Další podrobnosti o této funkci AI najdete v ai_query funkci.

Pro rychlé experimentování je možné použít koncové body s platbami za token, ai_query protože tyto koncové body jsou předem nakonfigurované ve vašem pracovním prostoru.

Jakmile budete připraveni spustit dávkové odvozování velkých nebo produkčních dat, Databricks doporučuje používat zřízené koncové body propustnosti, aby se zrychlil výkon. Viz Provedení dávkového odvozování LLM pomocí ai_query.