Nasazení modelů pro dávkové odvozování a predikce

Tento článek popisuje, co Databricks doporučuje pro dávkový odhad.

Podrobnosti o nasazení modelů v reálném čase na Azure Databricks naleznete v části Nasazování modelů pomocí Mosaic AI Model Serving.

Použití ai_query pro dávkové odvozování

Důležité

Tato funkce je ve verzi Public Preview.

Databricks doporučuje používat ai_query se službou Model Serving pro dávkové odvozování. ai_query je integrovaná funkce SQL Databricks, která umožňuje dotazovat existující model obsluhující koncové body pomocí SQL. Bylo ověřeno, že spolehlivě a konzistentně zpracovává datové sady v rozsahu miliard tokenů. Další podrobnosti o této funkci AI najdete v ai_query funkci.

Pro rychlé experimentování je možné použít ai_query pro dávkové odvozování LLM s koncovými body , které účtují průběžně za tokenya jsou předem nakonfigurované ve vašem pracovním prostoru.

Jakmile budete připraveni spustit dávkové odvozování LLM na velkých nebo produkčních datech, Databricks doporučuje používat zřízené koncové body propustnosti, aby se zrychlil výkon.

• Informace o vytvoření koncového bodu zřízené propustnosti najdete v tématu rozhraní API základního modelu zřízené propustnosti.
• Viz Provedení dávkového odvozování LLM pomocí ai_query.

Příklad batch inference tradičního modelu ML najdete v následujícím notebooku:

Dávkové odvozování pomocí BERT pro poznámkový blok pro rozpoznávání pojmenovaných entit

Vezmi poznámkový blok