Freigeben über

Chatvervollständigung

  • Artikel

Nach Abschluss des Chats können Sie eine Hin- und Her-Unterhaltung mit einem KI-Agent simulieren. Dies ist natürlich nützlich für das Erstellen von Chat-Bots, kann aber auch zum Erstellen autonomer Agents verwendet werden, die Geschäftsprozesse abschließen, Code generieren und vieles mehr. Als primärer Modelltyp, der von OpenAI, Google, Mistral, Facebook und anderen bereitgestellt wird, ist der Chatabschluss der am häufigsten verwendete KI-Dienst, den Sie Ihrem Semantik Kernel-Projekt hinzufügen werden.

Beim Auswählen eines Chatabschlussmodells müssen Sie Folgendes berücksichtigen:

  • Welche Modalitäten unterstützt das Modell (z. B. Text, Bild, Audio usw.)?
  • Unterstützt es Funktionsaufrufe?
  • Wie schnell empfangen und generieren Sie Token?
  • Wie viel kostet jedes Token?

Wichtig

Von allen oben genannten Fragen ist am wichtigsten, ob das Modell Funktionsaufrufe unterstützt. Wenn dies nicht der Fall ist, können Sie das Modell nicht verwenden, um Ihren vorhandenen Code aufzurufen. Die meisten der neuesten Modelle von OpenAI, Google, Mistral und Amazon unterstützen funktionsaufrufe. Die Unterstützung von kleinen Sprachmodellen ist jedoch weiterhin begrenzt.

Einrichten Ihrer lokalen Umgebung

Einige der KI-Dienste können lokal gehostet werden und erfordern möglicherweise ein Setup. Nachfolgend finden Sie Anweisungen für diejenigen, die dies unterstützen.

Kein lokales Setup.

Installieren der erforderlichen Pakete

Vor dem Hinzufügen des Chatabschlusses zu Ihrem Kernel müssen Sie die erforderlichen Pakete installieren. Nachfolgend finden Sie die Pakete, die Sie für jeden KI-Dienstanbieter installieren müssen.

dotnet add package Microsoft.SemanticKernel.Connectors.AzureOpenAI

Erstellen von Chatabschlussdiensten

Nachdem Sie nun die erforderlichen Pakete installiert haben, können Sie Chatabschlussdienste erstellen. Nachfolgend finden Sie die verschiedenen Möglichkeiten zum Erstellen von Chatabschlussdiensten mithilfe des semantischen Kernels.

Direktes Hinzufügen zum Kernel

Um einen Chatabschlussdienst hinzuzufügen, können Sie ihn mit dem folgenden Code dem internen Dienstanbieter des Kernels hinzufügen.

using Microsoft.SemanticKernel;

IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID", // Optional; for targeting specific services within Semantic Kernel
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);
Kernel kernel = kernelBuilder.Build();

Verwenden der Abhängigkeitsinjektion

Wenn Sie abhängigkeitsinjektion verwenden, sollten Sie Ihre KI-Dienste wahrscheinlich direkt dem Dienstanbieter hinzufügen. Dies ist hilfreich, wenn Sie Singletons Ihrer KI-Dienste erstellen und sie in vorübergehenden Kerneln wiederverwenden möchten.

using Microsoft.SemanticKernel;

var builder = Host.CreateApplicationBuilder(args);

builder.Services.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID" // Optional; for targeting specific services within Semantic Kernel
);

builder.Services.AddTransient((serviceProvider)=> {
    return new Kernel(serviceProvider);
});

Erstellen eigenständiger Instanzen

Schließlich können Sie Instanzen des Diensts direkt erstellen, damit Sie sie einem Kernel später hinzufügen oder direkt in Ihrem Code verwenden können, ohne sie jemals in den Kernel oder in einen Dienstanbieter einzufügen.

using Microsoft.SemanticKernel.Connectors.AzureOpenAI;

AzureOpenAIChatCompletionService chatCompletionService = new (
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);

Um einen Chatabschlussdienst zu erstellen, müssen Sie die erforderlichen Module importieren und eine Instanz des Diensts erstellen. Nachfolgend sind die Schritte zum Erstellen eines Chatabschlussdiensts für jeden KI-Dienstanbieter aufgeführt.

Trinkgeld

Es gibt drei Methoden, um die erforderlichen Informationen an KI-Dienste zu liefern. Sie können die Informationen entweder direkt über den Konstruktor bereitstellen, die erforderlichen Umgebungsvariablen festlegen oder eine env-Datei in Ihrem Projektverzeichnis erstellen, die die Umgebungsvariablen enthält. Sie können diese Seite besuchen, um alle erforderlichen Umgebungsvariablen für jeden KI-Dienstanbieter zu finden: https://github.com/microsoft/semantic-kernel/blob/main/python/samples/concepts/setup/ALL_SETTINGS.md

from semantic_kernel.connectors.ai.open_ai import AzureChatCompletion

chat_completion_service = AzureChatCompletion(
    deployment_name="my-deployment",  
    api_key="my-api-key",
    endpoint="my-api-endpoint", # Used to point to your service
    service_id="my-service-id", # Optional; for targeting specific services within Semantic Kernel
)

# You can do the following if you have set the necessary environment variables or created a .env file
chat_completion_service = AzureChatCompletion(service_id="my-service-id")

Hinweis

Der AzureChatCompletion–Dienst unterstützt auch die Microsoft Entra–Authentifizierung. Wenn Sie keinen API-Schlüssel bereitstellen, versucht der Dienst, sich mit dem Entra-Token zu authentifizieren.

Sie können sofort mit der Verwendung des Abschlussdiensts beginnen oder den Chatabschlussdienst zu einem Kernel hinzufügen. Sie können den folgenden Code verwenden, um dem Kernel einen Dienst hinzuzufügen.

from semantic_kernel import Kernel

# Initialize the kernel
kernel = Kernel()

# Add the chat completion service created above to the kernel
kernel.add_service(chat_completion_service)

Sie können Instanzen des Chatabschlussdiensts direkt erstellen und entweder einem Kernel hinzufügen oder sie direkt in Ihrem Code verwenden, ohne sie in den Kernel einzufügen. Der folgende Code zeigt, wie Sie einen Chatabschlussdienst erstellen und dem Kernel hinzufügen.

import com.azure.ai.openai.OpenAIAsyncClient;
import com.azure.ai.openai.OpenAIClientBuilder;
import com.microsoft.semantickernel.Kernel;
import com.microsoft.semantickernel.services.chatcompletion.ChatCompletionService;

// Create the client
OpenAIAsyncClient client = new OpenAIClientBuilder()
    .credential(azureOpenAIClientCredentials)
    .endpoint(azureOpenAIClientEndpoint)
    .buildAsyncClient();

// Create the chat completion service
ChatCompletionService openAIChatCompletion = OpenAIChatCompletion.builder()
    .withOpenAIAsyncClient(client)
    .withModelId(modelId)
    .build();

// Initialize the kernel
Kernel kernel = Kernel.builder()
    .withAIService(ChatCompletionService.class, openAIChatCompletion)
    .build();

Abrufen von Chatabschlussdiensten

Nachdem Sie Ihrem Kernel Chatabschlussdienste hinzugefügt haben, können Sie sie mithilfe der Get-Service-Methode abrufen. Nachfolgend finden Sie ein Beispiel, wie Sie einen Chatabschlussdienst aus dem Kernel abrufen können.

var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();

from semantic_kernel.connectors.ai.chat_completion_client_base import ChatCompletionClientBase

# Retrieve the chat completion service by type
chat_completion_service = kernel.get_service(type=ChatCompletionClientBase)

# Retrieve the chat completion service by id
chat_completion_service = kernel.get_service(service_id="my-service-id")

# Retrieve the default inference settings
execution_settings = kernel.get_prompt_execution_settings_from_service_id("my-service-id")

ChatCompletionService chatCompletionService = kernel.getService(ChatCompletionService.class);

Trinkgeld

Das Hinzufügen des Chatabschlussdiensts zum Kernel ist nicht erforderlich, wenn Sie keine anderen Dienste im Kernel verwenden müssen. Sie können den Chatabschlussdienst direkt in Ihrem Code verwenden.

Verwenden von Chatabschlussdiensten

Nachdem Sie nun über einen Chatabschlussdienst verfügen, können Sie ihn verwenden, um Antworten von einem KI-Agent zu generieren. Es gibt zwei Hauptmethoden für die Verwendung eines Chatabschlussdiensts:

  • Nicht-Streaming-: Sie warten, bis der Dienst eine vollständige Antwort generiert, bevor er sie dem Benutzer zurückgibt.
  • Streaming: Einzelne Teile der Antwort werden generiert und dem Benutzer zurückgegeben, sobald sie erstellt werden.

Bevor Sie beginnen, müssen Sie manuell eine Ausführungseinstellungsinstanz erstellen, um den Chatabschlussdienst zu verwenden, wenn Sie den Dienst nicht beim Kernel registriert haben.

from semantic_kernel.connectors.ai.open_ai import OpenAIChatPromptExecutionSettings

execution_settings = OpenAIChatPromptExecutionSettings()

Trinkgeld

Um zu sehen, was Sie in den Ausführungseinstellungen konfigurieren können, können Sie die Klassendefinition im Quellcode überprüfen oder die API-Dokumentationauschecken.

Im Folgenden finden Sie die beiden Möglichkeiten, wie Sie einen Chatabschlussdienst verwenden können, um Antworten zu generieren.

Abschluss des Nicht-Streaming-Chats

Um den Abschluss eines Nicht-Streaming-Chats zu verwenden, können Sie den folgenden Code verwenden, um eine Antwort vom KI-Agent zu generieren.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = await chatCompletionService.GetChatMessageContentAsync(
    history,
    kernel: kernel
);

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = await chat_completion.get_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

ChatHistory history = new ChatHistory();
history.addUserMessage("Hello, how are you?");

InvocationContext optionalInvocationContext = null;

List<ChatMessageContent<?>> response = chatCompletionService.getChatMessageContentsAsync(
    history,
    kernel,
    optionalInvocationContext
);

Abschluss des Streaming-Chats

Um den Abschluss des Streamingchats zu verwenden, können Sie den folgenden Code verwenden, um eine Antwort vom KI-Agent zu generieren.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = chatCompletionService.GetStreamingChatMessageContentsAsync(
    chatHistory: history,
    kernel: kernel
);

await foreach (var chunk in response)
{
    Console.Write(chunk);
}

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = chat_completion.get_streaming_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

async for chunk in response:
    print(chunk, end="")

Hinweis

Der semantische Kernel für Java unterstützt das Streaming-Antwortmodell nicht.

Nächste Schritte

Nachdem Sie Ihrem semantischen Kernelprojekt Chatabschlussdienste hinzugefügt haben, können Sie mit dem Erstellen von Unterhaltungen mit Ihrem KI-Agent beginnen. Weitere Informationen zur Verwendung eines Chatabschlussdiensts finden Sie in den folgenden Artikeln:

Verwenden des Chatverlaufsobjekts

Optimieren von Funktionsanrufen mit Chatabschluss