Поделиться через

Использование соединителя Weaviate Vector Store (предварительная версия)

  • Статья

Предупреждение

Функции хранилища векторов семантического ядра доступны в предварительной версии и улучшения, требующие критических изменений, могут по-прежнему возникать в ограниченных обстоятельствах перед выпуском.

Обзор

Соединитель Weaviate Vector Store можно использовать для доступа к данным и управления ими в Weaviate. Соединитель имеет следующие характеристики.

Область функций Поддержка
Коллекция сопоставляется с Weaviate Collection
Поддерживаемые типы свойств ключей GUID
Поддерживаемые типы свойств данных
  • строка
  • byte
  • short
  • INT
  • длинный
  • двойной точности
  • с плавающей запятой
  • десятичное
  • bool
  • Дата/время
  • DateTimeOffset
  • GUID
  • и перечисление каждого из этих типов
Поддерживаемые типы свойств вектора
  • ReadOnlyMemory<float>
  • ReadOnlyMemory<double>
Поддерживаемые типы индексов
  • Hnsw
  • Фиксированная
  • Динамический
Поддерживаемые функции расстояния
  • CosineDistance
  • ОтрицательноеСкалярноеУмножениеСходство
  • EuclideanSquaredDistance
  • Хеминг
  • МанхэттенDistance
Поддерживаемые условия фильтров
  • AnyTagEqualTo
  • EqualTo
Поддержка нескольких векторов в записи Да
Поддерживается IsFilterable? Да
Поддерживается ЛиFullTextSearchable? Да
Поддерживается StoragePropertyName? Нет, используйте JsonSerializerOptions и JsonPropertyNameAttribute вместо этого. Дополнительные сведения см. здесь.

Ограничения

Важные ограничения функциональных возможностей соединителя Weaviate.

Область функций Обходное решение
Использование свойства vector для объектов с одним вектором не поддерживается Вместо этого поддерживается использование свойства vectors.

Предупреждение

Weaviate требует, чтобы имена коллекций начинались с заглавной буквы. Если вы не укажете имя коллекции с заглавной буквой, Weaviate вернет ошибку при попытке создать коллекцию. Появится сообщение об ошибке Cannot query field "mycollection" on type "GetObjectsObj". Did you mean "Mycollection"?, а mycollection – это имя вашей коллекции. Если в этом примере изменить имя коллекции на Mycollection, это устранит ошибку.

Начало работы

Добавьте в проект пакет NuGet соединителя Weaviate Vector Store.

dotnet add package Microsoft.SemanticKernel.Connectors.Weaviate --prerelease

Хранилище векторов можно добавить в контейнер внедрения зависимостей, доступный в KernelBuilder контейнере внедрения зависимостей или в IServiceCollection контейнер внедрения зависимостей, используя методы расширения, предоставляемые семантического ядра. Хранилище векторов Weaviate использует для взаимодействия со службой HttpClient Weaviate. Существует два варианта предоставления URL-адреса или конечной точки для службы Weaviate. Его можно предоставить с помощью параметров или задать базовый адрес объекта HttpClient.

В первом примере показано, как задать URL-адрес службы с помощью параметров. Кроме того, обратите внимание, что эти методы получат HttpClient экземпляр для вызова службы Weaviate из поставщика услуг внедрения зависимостей.

using Microsoft.SemanticKernel;

// Using Kernel Builder.
var kernelBuilder = Kernel
    .CreateBuilder()
    .AddWeaviateVectorStore(options: new() { Endpoint = new Uri("http://localhost:8080/v1/") });

using Microsoft.SemanticKernel;

// Using IServiceCollection with ASP.NET Core.
var builder = WebApplication.CreateBuilder(args);
builder.Services.AddWeaviateVectorStore(options: new() { Endpoint = new Uri("http://localhost:8080/v1/") });

Также предоставляются перегрузки, в которых можно указать собственные HttpClient . В этом случае можно задать URL-адрес службы с помощью HttpClientBaseAddress параметра.

using System.Net.Http;
using Microsoft.SemanticKernel;

// Using Kernel Builder.
var kernelBuilder = Kernel.CreateBuilder();
using HttpClient client = new HttpClient { BaseAddress = new Uri("http://localhost:8080/v1/") };
kernelBuilder.AddWeaviateVectorStore(client);

using System.Net.Http;
using Microsoft.Extensions.DependencyInjection;
using Microsoft.SemanticKernel;

// Using IServiceCollection with ASP.NET Core.
var builder = WebApplication.CreateBuilder(args);
using HttpClient client = new HttpClient { BaseAddress = new Uri("http://localhost:8080/v1/") };
builder.Services.AddWeaviateVectorStore(client);

Вы также можете создать экземпляр векторного хранилища Weaviate.

using System.Net.Http;
using Microsoft.SemanticKernel.Connectors.Weaviate;

var vectorStore = new WeaviateVectorStore(
    new HttpClient { BaseAddress = new Uri("http://localhost:8080/v1/") });

Можно создать прямую ссылку на именованную коллекцию.

using System.Net.Http;
using Microsoft.SemanticKernel.Connectors.Weaviate;

var collection = new WeaviateVectorStoreRecordCollection<Hotel>(
    new HttpClient { BaseAddress = new Uri("http://localhost:8080/v1/") },
    "Skhotels");

При необходимости можно передать ключ API в качестве параметра при использовании любого из указанных выше механизмов, например.

using Microsoft.SemanticKernel;

var kernelBuilder = Kernel
    .CreateBuilder()
    .AddWeaviateVectorStore(options: new() { Endpoint = new Uri("http://localhost:8080/v1/"), ApiKey = secretVar });

Сопоставление данных

Соединитель Weaviate Vector Store предоставляет схему по умолчанию при сопоставлении модели данных с хранилищем. Мы требуем, чтобы свойства сопоставлялись с идентификаторами, полезными данными и векторами группирования. Средство сопоставления по умолчанию использует заметки модели или определение записи для определения типа каждого свойства и для этого сопоставления.

  • Свойство модели данных, помеченное как ключ, будет сопоставлено со свойством Weaviate id .
  • Свойства модели данных, аннотированные как данные будут сопоставлены с объектом Weaviate properties .
  • Свойства модели данных, аннотированные как векторы, будут сопоставлены с объектом Weaviate vectors .

Схема по умолчанию используется System.Text.Json.JsonSerializer для преобразования в схему хранилища. Это означает, что использование объекта JsonPropertyNameAttribute поддерживается, если требуется другое имя хранилища для имени свойства модели данных.

Ниже приведен пример модели данных с JsonPropertyNameAttribute набором и способом представления в Weaviate.

using System.Text.Json.Serialization;
using Microsoft.Extensions.VectorData;

public class Hotel
{
    [VectorStoreRecordKey]
    public ulong HotelId { get; set; }

    [VectorStoreRecordData(IsFilterable = true)]
    public string HotelName { get; set; }

    [VectorStoreRecordData(IsFullTextSearchable = true)]
    public string Description { get; set; }

    [JsonPropertyName("HOTEL_DESCRIPTION_EMBEDDING")]
    [VectorStoreRecordVector(4, DistanceFunction.CosineDistance, IndexKind.QuantizedFlat)]
    public ReadOnlyMemory<float>? DescriptionEmbedding { get; set; }
}

{
    "id": 1,
    "properties": { "HotelName": "Hotel Happy", "Description": "A place where everyone can be happy." },
    "vectors": {
        "HOTEL_DESCRIPTION_EMBEDDING": [0.9, 0.1, 0.1, 0.1],
    }
}

Скоро

Дополнительные сведения в ближайшее время.

Скоро

Дополнительные сведения в ближайшее время.