擷取擴增產生和索引
本文探討擷取擴增生成 (RAG) 和生成式 AI 中索引的重要性和需求。
什麼是 RAG?
先討論一些基本概念。 ChatGPT 之類的大型語言模型 (LLM) 會以定型時可用的公用網際網路資料進行定型。 他們可以回答與其定型之資料相關的問題。 此公用資料可能不足以符合您所有的需求。 您可能會想要根據私人資料回答問題。 或者，公用資料可能已過時。 此問題的解決方案是擷取擴增生成 (RAG)，這是 AI 中使用的模式，它會使用 LLM 以用您自己的資料產生答案。
RAG 如何運作?
RAG 是一種模式，它會將您的資料與 LLM 搭配使用，以產生特定於您資料的答案。 當使用者提出問題時，會根據使用者輸入來搜尋資料存放區。 然後，會將使用者問題與相符結果結合，並使用提示傳送給 LLM (AI 或機器學習模型的明確指示) 來產生所需的答案。 此程式可以說明如下。
什麼是索引，為什麼我需要它?
RAG 使用您的資料來產生使用者問題的解答。 若要讓 RAG 運作良好，我們需要找到一種方法，以簡單且符合成本效益的方式將您的資料傳送至 LLM。 這是透過使用索引來達成。 索引是資料存放區，可讓您有效率地搜尋資料。 此索引在RAG中非常有用。 您可以藉由建立向量 (使用內嵌模型將文字資料轉換成數字序列) 來將 LLM 的索引最佳化。 良好的索引通常具有有效的搜尋功能，例如關鍵詞搜尋、語意搜尋、向量搜尋或這些搜尋的組合。 此最佳化 RAG 模式的說明如下。
Azure AI 會提供索引資產來搭配 RAG 模式使用。 索引資產包含重要資訊，例如儲存索引的位置、如何存取索引、可搜尋索引的模式、索引是否有向量、用於向量的內嵌模型等。Azure AI 索引會使用 Azure AI 搜尋服務作為主要和建議的索引儲存。 Azure AI 搜尋是 Azure 資源，支援向量中的資訊擷取和儲存於搜尋索引中的文字資料。