次の方法で共有

モデルの微調整の概念

  • [アーティクル]

微調整は、事前トレーニング済みのモデルを取得し、データに合わせて調整するプロセスです。 このプロセスは、データを最大限に活用し、モデルのパフォーマンスを向上させるのに役立ちます。 この記事では、微調整の基本的な概念と、AI モデルの微調整が適切な場合について説明します。

紹介

微調整は、データからより多くの価値を引き出すのに役立つ強力なテクニックです。 微調整を理解するには、転移学習の概念を理解することが重要です。 転移学習は、あるタスクでトレーニングされたモデルが 2 番目の関連タスクで再利用される機械学習手法です。 これを行うには、事前トレーニング済みのモデルを取得し、新しいデータに合わせて調整します。 微調整は、新しいデータに合わせて事前トレーニング済みのモデルを調整する転移学習の一種です。

モデルの微調整には、いくつかの手順が必要です。 まず、タスクに適した事前トレーニング済みのモデルを選択する必要があります。 次に、サンプル データを準備し、このデータのモデルを微調整する必要があります。 最後に、モデルのパフォーマンスを向上させるために、モデルを反復処理する必要があります。

微調整するタイミング

微調整は、少量のデータがあり、モデルのパフォーマンスを向上させたい場合に適しています。 事前トレーニング済みのモデルから始めると、モデルが既に学習した知識を活用し、データに合わせて調整することができます。 これにより、モデルのパフォーマンスを向上させ、トレーニングに必要なデータの量を減らすことができます。

通常、大量のデータがある場合は、モデルを微調整する必要はありません。 この場合、モデルをゼロからトレーニングし、微調整を行わずに優れたパフォーマンスを実現できます。 ただし、モデルのパフォーマンスをさらに向上させる場合は、この場合も微調整が役立ちます。 また、事前トレーニング済みモデルが最初にトレーニングされたタスクとは異なる特定のタスクがある場合は、モデルを微調整することもできます。

プロンプト エンジニアリングまたはプロンプト チェーンを使用して、モデルのコストのかかる微調整を回避できる場合があります。 これらの手法は、微調整を必要とせずに高品質のテキストを生成するのに役立ちます。

事前トレーニング済みのモデルを選択する

タスクの要件に適した事前トレーニング済みのモデルを選択する必要があります。 さまざまなタスクでトレーニングされた、事前トレーニング済みのモデルが多数用意されています。 作業しているタスクと同様のタスクでトレーニングされたモデルを選択する必要があります。 これは、モデルが既に学習した知識を活用し、データに合わせて調整するのに役立ちます。

HuggingFace モデルは、事前トレーニング済みのモデルを探すときに開始するのに適した場所です。 HuggingFace モデルは、トレーニングされたタスクに基づいてカテゴリにグループ化されるため、タスクに適したモデルを簡単に見つけることができます。

次のカテゴリがあります。

  • マルチモーダル
  • コンピューター ビジョン
  • 自然言語処理
  • オーディオ
  • 表形式
  • 強化学習

ご使用の環境と使用しているツールとのモデルの互換性を確認します。 たとえば、を使用している場合は、 の 拡張機能を使用してモデルを微調整できます。

モデルの状態とライセンスを確認します。 一部の事前トレーニング済みモデルはオープンソース ライセンスで利用できますが、使用するには商用ライセンスまたは個人ライセンスが必要な場合があります。 HuggingFace 上のすべてのモデルには、ライセンス情報が含まれています。 微調整する前に、モデルを使用するために必要なアクセス許可があることを確認します。

サンプル データを準備する

サンプル データを準備するには、データをクリーニングして前処理し、トレーニングに適したデータにします。 また、データをトレーニング セットと検証セットに分割して、モデルのパフォーマンスを評価する必要もあります。 データの形式は、使用している事前トレーニング済みモデルで想定される形式と一致している必要があります。 この情報は、モデル カードの Instruction 形式の セクションの HuggingFace のモデルで確認できます。 ほとんどのモデル カードには、モデルのプロンプトを作成するためのテンプレートと、開始に役立つ擬似コードが含まれます。

モデルを反復処理する

モデルを微調整したら、検証セットでそのパフォーマンスを評価する必要があります。 精度、精度、再現率、F1 スコアなどのメトリックを使用して、モデルのパフォーマンスを評価できます。 モデルのパフォーマンスが十分でない場合は、ハイパーパラメーターを調整したり、アーキテクチャを変更したり、より多くのデータに対してモデルを微調整したりして、モデルを反復処理できます。 また、データの品質と多様性を調べて、対処する必要がある問題があるかどうかを確認することもできます。 一般に、高品質データのセットが小さい方が、より大きな低品質データ セットよりも価値があります。

関連項目

AI モデルの微調整の詳細については、次のリソースを参照してください。

AI 機能を利用する場合は、「Windowsでの責任ある生成 AI アプリケーションと機能の開発」を確認することをお勧めします。