セマンティック カーネルを使用してベクター ストアにデータを取り込む方法 (プレビュー)
警告
セマンティック カーネル ベクター ストア機能はプレビュー段階であり、破壊的変更を必要とする機能強化は、リリース前の限られた状況で引き続き発生する可能性があります。
この記事では、アプリケーションを作成する方法について説明します。
- Microsoft Word 文書の各段落からテキストを取得する
- 各段落の埋め込みを生成する
- テキスト、埋め込み、元の場所への参照を Redis インスタンスにアップサートします。
前提条件
このサンプルでは、次のものが必要です。
- Azure または任意の別のプロバイダーでホストされている埋め込み世代モデル。
- Redis をローカルで実行できるように、Redis または Docker Desktop のインスタンス。
- 解析して読み込む Word 文書。 ダウンロードして使用できるサンプルの Word 文書を含む zip を次に示します: vector-store-data-ingestion-input.zip。
Redis のセットアップ
Redis インスタンスが既にある場合は、これを使用できます。 プロジェクトをローカルでテストする場合は、Docker を使用して Redis コンテナーを簡単に開始できます。
docker run -d --name redis-stack -p 6379:6379 -p 8001:8001 redis/redis-stack:latest
正常に実行されていることを確認するには、ブラウザーの http://localhost:8001/redis-stack/browser にアクセスしてください。
以降の手順では、上記の設定を使用してこのコンテナーを使用していることを前提としています。
プロジェクトを作成する
新しいプロジェクトを作成し、セマンティック カーネルから Redis コネクタの nuget パッケージ参照を追加し、ドキュメントを読み取る open xml パッケージ、埋め込みを生成するためのセマンティック カーネルから OpenAI コネクタを追加します。
dotnet new console --framework net8.0 --name SKVectorIngest
cd SKVectorIngest
dotnet add package Microsoft.SemanticKernel.Connectors.AzureOpenAI
dotnet add package Microsoft.SemanticKernel.Connectors.Redis --prerelease
dotnet add package DocumentFormat.OpenXml
データ モデルの追加
データをアップロードするには、まず、データベースに必要なデータの形式を記述する必要があります。 これを行うには、各プロパティの関数を記述する属性を持つデータ モデルを作成します。
TextParagraph.csという名前の新しいファイルをプロジェクトに追加し、それに次のモデルを追加します。
using Microsoft.Extensions.VectorData;
namespace SKVectorIngest;
internal class TextParagraph
{
/// <summary>A unique key for the text paragraph.</summary>
[VectorStoreRecordKey]
public required string Key { get; init; }
/// <summary>A uri that points at the original location of the document containing the text.</summary>
[VectorStoreRecordData]
public required string DocumentUri { get; init; }
/// <summary>The id of the paragraph from the document containing the text.</summary>
[VectorStoreRecordData]
public required string ParagraphId { get; init; }
/// <summary>The text of the paragraph.</summary>
[VectorStoreRecordData]
public required string Text { get; init; }
/// <summary>The embedding generated from the Text.</summary>
[VectorStoreRecordVector(1536)]
public ReadOnlyMemory<float> TextEmbedding { get; set; }
}
VectorStoreRecordVectorAttributeに1536値を渡すことに注意してください。 これはベクターの次元サイズであり、選択した埋め込みジェネレーターによって生成されるベクターのサイズと一致する必要があります。
ヒント
データ モデルに注釈を付ける方法と、各属性に使用できるその他のオプションの詳細については、データ モデルの定義 を参照してください。
文書内の段落を読み取る
文書という単語を読み、その中の各段落のテキストを見つけるためのコードが必要です。
DocumentReader.csという名前の新しいファイルをプロジェクトに追加し、次のクラスを追加してドキュメントから段落を読み取ります。
using System.Text;
using System.Xml;
using DocumentFormat.OpenXml.Packaging;
namespace SKVectorIngest;
internal class DocumentReader
{
public static IEnumerable<TextParagraph> ReadParagraphs(Stream documentContents, string documentUri)
{
// Open the document.
using WordprocessingDocument wordDoc = WordprocessingDocument.Open(documentContents, false);
if (wordDoc.MainDocumentPart == null)
{
yield break;
}
// Create an XmlDocument to hold the document contents and load the document contents into the XmlDocument.
XmlDocument xmlDoc = new XmlDocument();
XmlNamespaceManager nsManager = new XmlNamespaceManager(xmlDoc.NameTable);
nsManager.AddNamespace("w", "http://schemas.openxmlformats.org/wordprocessingml/2006/main");
nsManager.AddNamespace("w14", "http://schemas.microsoft.com/office/word/2010/wordml");
xmlDoc.Load(wordDoc.MainDocumentPart.GetStream());
// Select all paragraphs in the document and break if none found.
XmlNodeList? paragraphs = xmlDoc.SelectNodes("//w:p", nsManager);
if (paragraphs == null)
{
yield break;
}
// Iterate over each paragraph.
foreach (XmlNode paragraph in paragraphs)
{
// Select all text nodes in the paragraph and continue if none found.
XmlNodeList? texts = paragraph.SelectNodes(".//w:t", nsManager);
if (texts == null)
{
continue;
}
// Combine all non-empty text nodes into a single string.
var textBuilder = new StringBuilder();
foreach (XmlNode text in texts)
{
if (!string.IsNullOrWhiteSpace(text.InnerText))
{
textBuilder.Append(text.InnerText);
}
}
// Yield a new TextParagraph if the combined text is not empty.
var combinedText = textBuilder.ToString();
if (!string.IsNullOrWhiteSpace(combinedText))
{
Console.WriteLine("Found paragraph:");
Console.WriteLine(combinedText);
Console.WriteLine();
yield return new TextParagraph
{
Key = Guid.NewGuid().ToString(),
DocumentUri = documentUri,
ParagraphId = paragraph.Attributes?["w14:paraId"]?.Value ?? string.Empty,
Text = combinedText
};
}
}
}
}
埋め込みを生成してデータをアップロードする
埋め込みを生成し、Redis に段落をアップロードするためのコードが必要になります。 これを別のクラスで行いましょう。
DataUploader.csという名前の新しいファイルを追加し、それに次のクラスを追加します。
#pragma warning disable SKEXP0001 // Type is for evaluation purposes only and is subject to change or removal in future updates. Suppress this diagnostic to proceed.
using Microsoft.Extensions.VectorData;
using Microsoft.SemanticKernel.Embeddings;
namespace SKVectorIngest;
internal class DataUploader(IVectorStore vectorStore, ITextEmbeddingGenerationService textEmbeddingGenerationService)
{
/// <summary>
/// Generate an embedding for each text paragraph and upload it to the specified collection.
/// </summary>
/// <param name="collectionName">The name of the collection to upload the text paragraphs to.</param>
/// <param name="textParagraphs">The text paragraphs to upload.</param>
/// <returns>An async task.</returns>
public async Task GenerateEmbeddingsAndUpload(string collectionName, IEnumerable<TextParagraph> textParagraphs)
{
var collection = vectorStore.GetCollection<string, TextParagraph>(collectionName);
await collection.CreateCollectionIfNotExistsAsync();
foreach (var paragraph in textParagraphs)
{
// Generate the text embedding.
Console.WriteLine($"Generating embedding for paragraph: {paragraph.ParagraphId}");
paragraph.TextEmbedding = await textEmbeddingGenerationService.GenerateEmbeddingAsync(paragraph.Text);
// Upload the text paragraph.
Console.WriteLine($"Upserting paragraph: {paragraph.ParagraphId}");
await collection.UpsertAsync(paragraph);
Console.WriteLine();
}
}
}
すべてをまとめた配置
最後に、さまざまな部分をまとめる必要があります。
この例では、セマンティック カーネル依存関係挿入コンテナーを使用しますが、 IServiceCollection ベースのコンテナーを使用することもできます。
次のコードを Program.cs ファイルに追加してコンテナーを作成し、Redis ベクター ストアを登録し、埋め込みサービスを登録します。
テキスト埋め込み生成設定は、必ず独自の値に置き換えてください。
#pragma warning disable SKEXP0010 // Type is for evaluation purposes only and is subject to change or removal in future updates. Suppress this diagnostic to proceed.
#pragma warning disable SKEXP0020 // Type is for evaluation purposes only and is subject to change or removal in future updates. Suppress this diagnostic to proceed.
using Microsoft.Extensions.DependencyInjection;
using Microsoft.SemanticKernel;
using SKVectorIngest;
// Replace with your values.
var deploymentName = "text-embedding-ada-002";
var endpoint = "https://sksample.openai.azure.com/";
var apiKey = "your-api-key";
// Register Azure Open AI text embedding generation service and Redis vector store.
var builder = Kernel.CreateBuilder()
.AddAzureOpenAITextEmbeddingGeneration(deploymentName, endpoint, apiKey)
.AddRedisVectorStore("localhost:6379");
// Register the data uploader.
builder.Services.AddSingleton<DataUploader>();
// Build the kernel and get the data uploader.
var kernel = builder.Build();
var dataUploader = kernel.Services.GetRequiredService<DataUploader>();
最後の手順として、Word 文書から段落を読み取り、データ アップローダーを呼び出して埋め込みを生成し、段落をアップロードします。
// Load the data.
var textParagraphs = DocumentReader.ReadParagraphs(
new FileStream(
"vector-store-data-ingestion-input.docx",
FileMode.Open),
"file:///c:/vector-store-data-ingestion-input.docx");
await dataUploader.GenerateEmbeddingsAndUpload(
"sk-documentation",
textParagraphs);
Redis でデータを表示する
Redis スタック ブラウザーに移動します。たとえば、アップロードした段落を表示できる http://localhost:8001/redis-stack/browser などです。 アップロードされた段落の 1 つに表示される内容の例を次に示します。
{
"DocumentUri" : "file:///c:/vector-store-data-ingestion-input.docx",
"ParagraphId" : "14CA7304",
"Text" : "Version 1.0+ support across C#, Python, and Java means it’s reliable, committed to non breaking changes. Any existing chat-based APIs are easily expanded to support additional modalities like voice and video.",
"TextEmbedding" : [...]
}
間もなく利用できます
詳細な手順は近日公開予定です
間もなく利用できます
詳細な手順は近日公開予定です