Databricks の大規模言語モデル (LLM)
Azure Databricks を使用すると、一般公開されている大規模言語モデルに簡単にアクセスして構築できます。
Databricks Runtime for Machine Learning には、既存の事前トレーニング済みモデルやその他のオープンソース ライブラリをワークフローに統合できる、Hugging Face Transformers、LangChain などのライブラリが含まれています。 ここから、Azure Databricks プラットフォームの機能を利用して、独自のデータを使用して LLM を微調整し、ドメインのパフォーマンスを向上させることができます。
さらに、Azure Databricks には、SQL ユーザーが AI 関数を使用して、Azure OpenAI や OpenAI などの LLM にアクセスして実験を行うための組み込み機能が用意されています。
基盤モデルの微調整
重要
この機能はパブリック プレビュー段階にあります。 パブリック プレビューに登録する場合は、Databricks アカウント チームにお問い合わせください。
基盤モデルの微調整 (現在はモザイク AI モデル トレーニングの一部) は、完全なモデルの微調整を実行するための Databricks トレーニング スタックへの単純なインターフェイスです。
Foundation Model の微調整を使用して、次の操作を行うことができます。
- MLflow に保存されたチェックポイントを使用して、カスタム データを使用してモデルを微調整します。 微調整されたモデルを完全に制御できます。
- モデルを Unity Catalog に自動的に登録し、モデル サービスを使用して簡単にデプロイできるようにします。
- 以前に微調整したモデルの重みを読み込んで、完成した独自のモデルを微調整します。
「 Foundation Model Fine-tuning」を参照してください。
Hugging Face Transformers
Databricks で Hugging Face Transformers を使用すると、自然言語処理 (NLP) バッチ アプリケーションをスケールアウトし、大規模言語モデル アプリケーション向けにモデルを微調整できます。
Hugging Face transformers ライブラリは、Databricks Runtime 10.4 LTS ML 以降にプレインストールされています。 一般的な NLP モデルの多くは GPU ハードウェアで最適に動作するため、CPU で使用するために特に最適化されたモデルを使用しない限り、最新の GPU ハードウェアを使用して最高のパフォーマンスを得ることができます。
DSPy
DSPy は、ユーザー定義の自然言語シグネチャを完全な手順と少数の例に変換することで、プロンプトのチューニングを自動化します。
DSPy の使用方法の例についてはAzure Databricks で DSPy を使用したBuild genAI アプリに関するページを参照してください。
LangChain
LangChain は、LangChain のお客様が Azure Databricks 環境から直接 MLflow の堅牢なツールと実験追跡機能を活用できるようにする、実験的な MLflow フレーバーとして利用できます。
LangChain は、大規模言語モデル (LLM) を利用し、それらを外部データと組み合わせて LLM のトレーニング コンテキストを増やすアプリケーションを作成するのに役立つように設計されたソフトウェア フレームワークです。
Databricks Runtime ML には、Databricks Runtime 13.1 ML 以降の langchain が含まれています。
Databricks 固有の LangChain 統合について説明します。
AI 関数
重要
この機能はパブリック プレビュー段階にあります。
AI 関数は組み込みの SQL 関数であり、SQL ユーザーは次のことが可能になります。
- Databricks Foundation Model API を使用して、会社のデータに関するさまざまなタスクを実行します。
- OpenAI から GPT-4 などの外部モデルにアクセスし、それらを試します。
- SQL クエリからエンドポイントを提供する Mosaic AI Model Serving によってホストされるモデルにクエリを実行します。