はじめに
GPT-4 などの基礎モデルは、人間の言語を理解し、生成し、対話するよう設計された最先端の自然言語処理モデルです。 基礎モデルの重要性を理解するには、自然言語処理の分野の進歩に由来する、その起源を探る必要があります。
自然言語処理を理解する
自然言語処理 (NLP) は、人間の言語の理解、解釈、生成に焦点を当てた人工知能 (AI) の一種です。 一般的な NLP のユース ケースは以下の通りです。
- 音声テキスト変換とテキスト読み上げ変換。 たとえば、ビデオの字幕を生成します。
- 機械翻訳。 たとえば、テキストを英語から日本語に翻訳します。
- テキスト分類。 たとえば、メールにスパムとしてラベルを付ける、またはスパムとしてラベルを付けます。
- エンティティ抽出。 たとえば、ドキュメントからキーワードや名前を抽出します。
- テキストの要約。 たとえば、複数ページの文書から短い 1 段落の概要を生成します。
- 質問の回答。 たとえば、"フランスの首都は何ですか?" といった質問へ回答します
Note
このモジュールでは、質問応答に使用される基礎モデルの探索に焦点を当てています。 探索した基礎モデルは、言語モデルを使用してユーザーの質問に対する応答を生成するチャット アプリケーションに使用できます。
トランスフォーマー アーキテクチャの重要性を理解する
自然言語処理 (NLP) における最新のブレークスルーは、Transformer アーキテクチャが開発されたおかげです。
Transformer は、Vaswani 他による 2017 年の論文『Attention is all you need』で紹介されました。 トランスフォーマー アーキテクチャは、NLP に 2 つの革新をもたらし、その結果基礎モデルが誕生しました。
- トランスフォーマーは、単語を逐次処理する代わりに、アテンションを使用して各単語を個別に並列処理します。
- 単語間のセマンティックの類似性の次に、トランスフォーマーは、文中の単語の位置に関する情報を含めるために位置エンコードを使用します。
NLP ユース ケース用に設計された基礎モデルは、多くの場合大規模言語モデル (LLM) または言語モデルと呼ばれます。 このモジュールでは、利用可能な言語モデル、ユース ケースに応じたモデルの選択方法、Azure AI Foundry ポータルを使用した言語モデルの使用方法について説明します。 質問応答を行うチャット アプリケーションとして機能する生成 AI アプリの開発に役立つ言語モデルに焦点を当て、ユーザーの質問に応答します。