简介

  • 1 分钟

基础模型（如 GPT-4）是最先进的自然语言处理模型，旨在理解、生成人类语言并与之交互。 要理解基础模型的重要性，有必要探索它们的起源，它们源于自然语言处理领域的进步。

了解自然语言处理

自然语言处理 (NLP) 是一种专注于理解、解释和生成人类语言的人工智能 (AI)。 一些常见 NLP 用例包括：

  • 语音转文本和文本转语音的转换。 例如，生成视频字幕。
  • 机器翻译。 例如，将文本从英语翻译为日语。
  • 文本分类。 例如，将电子邮件标记为垃圾邮件或非垃圾邮件。
  • 实体提取。 例如，从文档中提取关键字或名称。
  • 文本摘要。 例如，根据多页文档生成一个简短的单段摘要。
  • 问题解答。 例如，提供“法国的首都是哪里？”等问题的答案

注意

本模块重点介绍用于解答问题的基础模型。 探索的基础模型可用于聊天应用程序，在该应用程序中，可以使用语言模型来生成对用户问题的答复。

了解 Transformer 体系结构的重要性

自然语言处理 (NLP) 的最新突破归功于 Transformer 体系结构的开发。

Transformer 是在 2017 年 Vaswani 等人撰写的《Attention is all you need》（注意力是你所需要的一切）论文中引入的。 Transformer 体系结构为 NLP 带来了两项创新，并由此产生了基础模型：

  • Transformer 不是按顺序处理单词，而是通过使用“注意力”独立地并行处理每个单词。
  • 除了单词之间的语义相似性之外，Transformers 还使用位置编码来包含有关单词在句子中的位置的信息。

为 NLP 用例设计的基础模型通常被称为大型语言模型 (LLM) 或语言模型。 在本模块中，你将探索可用的语言模型、如何为用例选择模型以及如何将语言模型与 Azure AI Foundry 门户配合使用。 重点关注语言模型，这些模型可以帮助开发生成式 AI 应用，作为聊天应用程序来进行问题解答，回答用户的问题。