AI モデルおよび ML モデルをトレーニングする
このセクションでは、Mosaic AI で機械学習モデルおよび AI モデルをトレーニングする方法について説明します。
モザイク AI モデル トレーニングは、AutoML と Foundation Model の微調整ワークロードを通じて、従来の ML モデルのトレーニングとデプロイのプロセスを合理化し、統合します。
AutoML
AutoML は、最適なアルゴリズムとハイパーパラメーター構成を自動的に見つけることで、データセットに機械学習を適用するプロセスを簡略化します。 AutoML には、コードなしの UI と Python API が用意されています。
基盤モデルの微調整
Databricks の基盤モデルの微調整 (現在はモザイク AI モデル トレーニングの一部) では、独自のデータを使用して大規模な言語モデル (LLM) をカスタマイズできます。 このプロセスでは、既存の基盤モデルのトレーニングを微調整することで、モデルをゼロからトレーニングする場合と比較して、必要なデータ、時間、コンピューティング リソースを大幅に削減します。 主な特徴は次のとおりです。
- 監視付き微調整: 構造化されたプロンプト応答データでトレーニングすることで、モデルを新しいタスクに適応させます。
- 継続的な事前トレーニング: 追加のテキスト データを使用してモデルを強化し、新しい知識を追加したり、特定のドメインに焦点を当てたりします。
- チャット補完: チャット ログでモデルをトレーニングし、会話能力を向上させます。
オープン ソース ライブラリの例
Optuna と Hyperopt を使用したハイパーパラメーター調整の例など、さまざまなオープンソース機械学習ライブラリから機械学習トレーニングの例を参照してください。
ディープ ラーニング
Azure Databricks でディープ ラーニング モデルを開発して微調整できるよう、分散ディープ ラーニング トレーニングの例とベスト プラクティスを参照してください。
レコメンダー
Azure Databricks でディープ ラーニング ベースのレコメンデーション モデルをトレーニングする方法について説明します。 ディープ ラーニング モデルでは、従来のレコメンデーション モデルよりも質の高い結果を得られるほか、スケーリングによってより多くのデータに対応できます。