Dela via

Ollama-integreringsuppdateringar

  • Artikel

Versionen .NET.NET Aspire Community Toolkit 9.0 av Ollama-integreringarna medför betydande ändringar. Dessa uppdateringar förbättrar funktionerna och integreras bättre med .NET.NET Aspire API-design.

Version introducerad

.NET .NET Aspire Community Toolkit 9.0 GA

Tidigare beteende

Ollama-integreringen innehåller både hostnings- och client-integrationsuppdateringar, båda är beskrivna i följande avsnitt.

Ollama-värdtjänst

Ollama-värdresursen behövde anges som referens till andra resurser och skulle tillhandahålla modellinformation i form av miljövariabler. Anslutningssträngen var bara HTTP-slutpunkten och inte i ett riktigt "anslutningssträngsformat".

OllamaSharp client

Stöder v3 i biblioteket och stöder inte gränssnitten för Microsoft.Extensions.AI (M.E.AI).

Nytt beteende

Det nya beteendet innehåller följande uppdateringar.

Modeller som resurser

I tidigare versioner lades modeller till i Ollama-resursen och du var tvungen att skicka den här resursen som referens. Den här metoden krävde lösningar för att ange och identifiera standardmodellen. I version 9.0 introducerade vi OllamaModelResource. Den här resursen kan skickas som en referens och ger anslutningsinformation till klienter om vilken modell som ska användas.

Nytt format för anslutningssträngar

Ursprungligen var det så att "anslutningssträngen" från en Ollama-resurs bara var HTTP-slutpunkten, men för att bättre stödja funktionen för Modell som resurs skapar resurserna en "riktig" anslutningssträng av Endpoint=<...>;Model=<...>. Den Model del ingår bara om du passerar OllamaModelResource.

OllamaSharp 4 och Microsoft.Extensions.AI

OllamaSharp har uppdaterats till en ny huvudversion och har nu stöd för gränssnitten från Microsoft.Extensions.AI. Du kan registrera IOllamaApiClient (intern OllamaSharp client), eller från M.E.AI IChatClient och IEmbeddingGenerator<TInput,TEmbedding> (beroende på modelltyp). Med de här nya gränssnitten blir koden mer portabel mellan LLM/SLM-alternativ.

API-utfasningar och borttagningar

Med alla refaktoriseringar blir vissa API:er inaktuella eller borttagna.

Typ av brytande ändring

Den här ändringen är en binär inkompatibel och beteendeförändring.

Orsak till ändring

Ändringarna syftar till att göra biblioteket mer funktionellt och bättre integrerat med .NET.NET Aspire API-design.

Uppgradera till .NET.NET Aspire 9.0.

Berörda API:er