バッチ推論と予測用のモデルをデプロイする

この記事では、Databricks がバッチ推論に推奨する内容について説明します。

Azure Databricks で提供されるリアルタイム モデルについては、「Mosaic AI Model Servingを使用してモデルをデプロイする」を参照してください。

バッチ推論にai_queryを使用する

重要

この機能はパブリック プレビュー段階にあります。

Databricks では、バッチ推論に ai_query でを使用することをお勧めします。 ai_query は、SQL を使用してエンドポイントにサービスを提供する既存のモデルに対してクエリを実行できる組み込みの Databricks SQL 関数です。 数十億のトークンの範囲でデータセットを確実かつ一貫して処理することが検証されています。 この AI 関数の詳細についてはai_query関数を参照してください。

迅速な実験のために、ai_query は、ワークスペースで事前に構成 トークンごとの支払いエンドポイントを使用したバッチ LLM 推論に使用できます。

大規模なデータまたは運用データに対してバッチ LLM 推論を実行する準備ができたら、Databricks では、パフォーマンスを向上させるためにプロビジョニングされたスループット エンドポイントを使用することをお勧めします。

• プロビジョニング済みスループットのエンドポイントを作成するには、プロビジョンドスループット基盤モデル API を参照してください。
• の指示に従って ai_queryを用いたバッチ LLM 推論を実行してください。

従来の ML モデルのバッチ推論の例については、次のノートブックを参照してください。

名前付きエンティティ認識ノートブックに BERT を使用したバッチ推論

ノートブック を取得する