Foundation Model API によってプロビジョニングされたスループットを使用したバッチ推論

この記事では、 Foundation Model API および ai_query を使用して、プロビジョニングされたスループットエンドポイントでバッチ推論を実行するノートブックの例を示します。

要件

Foundation Model API のサポートされているリージョン内のワークスペース。
次のいずれかです。
- コンピューティングサイズ i3.2xlarge 以上の実行 Databricks Runtime 15.4 ML LTS 以上で、少なくとも 2 人のワーカーを持つ汎用コンピューティング。
- 中以上の SQL ウェアハウス。

一般に、バッチ推論を設定するには、次の 2 つの手順が必要です。

サンプルノートブックでは、これらの手順について説明し、Meta Llama 3.1 70B モデルを使用したバッチ推論を示します。