다음을 통해 공유

채팅 완료

  • 아티클

채팅이 완료되면 AI 에이전트와의 전후 대화를 시뮬레이션할 수 있습니다. 이는 물론 챗봇을 만드는 데 유용하지만 비즈니스 프로세스를 완료하고 코드를 생성할 수 있는 자율 에이전트를 만드는 데도 사용할 수 있습니다. OpenAI, Google, Mistral, Facebook 등에서 제공하는 기본 모델 유형으로 채팅 완성은 의미 체계 커널 프로젝트에 추가할 가장 일반적인 AI 서비스입니다.

채팅 완료 모델을 선택할 때 다음을 고려해야 합니다.

  • 모델에서 지원하는 형식(예: 텍스트, 이미지, 오디오 등)은 무엇인가요?
  • 함수 호출을 지원하나요?
  • 토큰을 얼마나 빨리 받고 생성하나요?
  • 각 토큰 비용은 얼마인가요?

Important

위의 모든 질문 중에서 가장 중요한 것은 모델이 함수 호출을 지원하는지 여부입니다. 그렇지 않으면 모델을 사용하여 기존 코드를 호출할 수 없습니다. OpenAI, Google, Mistral 및 Amazon의 최신 모델 대부분은 모두 함수 호출을 지원합니다. 그러나 작은 언어 모델의 지원은 여전히 제한됩니다.

로컬 환경 설정

일부 AI 서비스는 로컬로 호스팅될 수 있으며 일부 설정이 필요할 수 있습니다. 다음은 이를 지원하는 사용자에 대한 지침입니다.

로컬 설정이 없습니다.

필요한 패키지 설치

커널에 채팅 완료를 추가하기 전에 필요한 패키지를 설치해야 합니다. 다음은 각 AI 서비스 공급자에 대해 설치해야 하는 패키지입니다.

dotnet add package Microsoft.SemanticKernel.Connectors.AzureOpenAI

채팅 완료 서비스 만들기

이제 필요한 패키지를 설치했으므로 채팅 완료 서비스를 만들 수 있습니다. 의미 체계 커널을 사용하여 채팅 완료 서비스를 만들 수 있는 몇 가지 방법은 다음과 같습니다.

커널에 직접 추가

채팅 완료 서비스를 추가하려면 다음 코드를 사용하여 커널의 내부 서비스 공급자에 추가할 수 있습니다.

using Microsoft.SemanticKernel;

IKernelBuilder kernelBuilder = Kernel.CreateBuilder();
kernelBuilder.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID", // Optional; for targeting specific services within Semantic Kernel
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);
Kernel kernel = kernelBuilder.Build();

종속성 주입 사용

종속성 주입을 사용하는 경우 AI 서비스를 서비스 공급자에 직접 추가할 수 있습니다. 이는 AI 서비스의 싱글톤을 만들고 임시 커널에서 다시 사용하려는 경우에 유용합니다.

using Microsoft.SemanticKernel;

var builder = Host.CreateApplicationBuilder(args);

builder.Services.AddAzureOpenAIChatCompletion(
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    serviceId: "YOUR_SERVICE_ID" // Optional; for targeting specific services within Semantic Kernel
);

builder.Services.AddTransient((serviceProvider)=> {
    return new Kernel(serviceProvider);
});

독립 실행형 인스턴스 만들기

마지막으로 나중에 커널에 추가하거나 커널 또는 서비스 공급자에 삽입하지 않고 코드에서 직접 사용할 수 있도록 서비스의 인스턴스를 직접 만들 수 있습니다.

using Microsoft.SemanticKernel.Connectors.AzureOpenAI;

AzureOpenAIChatCompletionService chatCompletionService = new (
    deploymentName: "NAME_OF_YOUR_DEPLOYMENT",
    apiKey: "YOUR_API_KEY",
    endpoint: "YOUR_AZURE_ENDPOINT",
    modelId: "gpt-4", // Optional name of the underlying model if the deployment name doesn't match the model name
    httpClient: new HttpClient() // Optional; if not provided, the HttpClient from the kernel will be used
);

채팅 완료 서비스를 만들려면 필요한 모듈을 가져와서 서비스 인스턴스를 만들어야 합니다. 다음은 각 AI 서비스 공급자에 대한 채팅 완료 서비스를 만드는 단계입니다.

팁

AI 서비스에 필요한 정보를 제공하는 세 가지 방법이 있습니다. 생성자를 통해 직접 정보를 제공하거나, 필요한 환경 변수를 설정하거나, 환경 변수를 포함하는 프로젝트 디렉터리 내에 .env 파일을 만들 수 있습니다. 이 페이지를 방문하여 각 AI 서비스 공급자에 필요한 모든 환경 변수를 찾을 수 있습니다. https://github.com/microsoft/semantic-kernel/blob/main/python/samples/concepts/setup/ALL_SETTINGS.md

from semantic_kernel.connectors.ai.open_ai import AzureChatCompletion

chat_completion_service = AzureChatCompletion(
    deployment_name="my-deployment",  
    api_key="my-api-key",
    endpoint="my-api-endpoint", # Used to point to your service
    service_id="my-service-id", # Optional; for targeting specific services within Semantic Kernel
)

# You can do the following if you have set the necessary environment variables or created a .env file
chat_completion_service = AzureChatCompletion(service_id="my-service-id")

참고 항목

AzureChatCompletion 서비스는 Microsoft Entra 인증을 지원합니다. API 키를 제공하지 않으면 서비스에서 Entra 토큰을 사용하여 인증을 시도합니다.

즉시 완료 서비스 사용을 시작하거나 커널에 채팅 완료 서비스를 추가할 수 있습니다. 다음 코드를 사용하여 커널에 서비스를 추가할 수 있습니다.

from semantic_kernel import Kernel

# Initialize the kernel
kernel = Kernel()

# Add the chat completion service created above to the kernel
kernel.add_service(chat_completion_service)

채팅 완료 서비스의 인스턴스를 직접 만들고 커널에 추가하거나 커널에 삽입하지 않고 코드에서 직접 사용할 수 있습니다. 다음 코드에서는 채팅 완료 서비스를 만들고 커널에 추가하는 방법을 보여 줍니다.

import com.azure.ai.openai.OpenAIAsyncClient;
import com.azure.ai.openai.OpenAIClientBuilder;
import com.microsoft.semantickernel.Kernel;
import com.microsoft.semantickernel.services.chatcompletion.ChatCompletionService;

// Create the client
OpenAIAsyncClient client = new OpenAIClientBuilder()
    .credential(azureOpenAIClientCredentials)
    .endpoint(azureOpenAIClientEndpoint)
    .buildAsyncClient();

// Create the chat completion service
ChatCompletionService openAIChatCompletion = OpenAIChatCompletion.builder()
    .withOpenAIAsyncClient(client)
    .withModelId(modelId)
    .build();

// Initialize the kernel
Kernel kernel = Kernel.builder()
    .withAIService(ChatCompletionService.class, openAIChatCompletion)
    .build();

채팅 완료 서비스 검색

커널에 채팅 완료 서비스를 추가한 후에는 서비스 가져오기 방법을 사용하여 검색할 수 있습니다. 다음은 커널에서 채팅 완료 서비스를 검색하는 방법의 예입니다.

var chatCompletionService = kernel.GetRequiredService<IChatCompletionService>();

from semantic_kernel.connectors.ai.chat_completion_client_base import ChatCompletionClientBase

# Retrieve the chat completion service by type
chat_completion_service = kernel.get_service(type=ChatCompletionClientBase)

# Retrieve the chat completion service by id
chat_completion_service = kernel.get_service(service_id="my-service-id")

# Retrieve the default inference settings
execution_settings = kernel.get_prompt_execution_settings_from_service_id("my-service-id")

ChatCompletionService chatCompletionService = kernel.getService(ChatCompletionService.class);

팁

커널에서 다른 서비스를 사용할 필요가 없는 경우 채팅 완료 서비스를 커널에 추가할 필요가 없습니다. 코드에서 직접 채팅 완료 서비스를 사용할 수 있습니다.

채팅 완료 서비스 사용

이제 채팅 완료 서비스가 있으므로 이를 사용하여 AI 에이전트에서 응답을 생성할 수 있습니다. 채팅 완료 서비스를 사용하는 두 가지 주요 방법이 있습니다.

  • 비 스트리밍: 서비스가 전체 응답을 생성할 때까지 기다린 후 사용자에게 반환합니다.
  • 스트리밍: 응답의 각 부분이 생성될 때마다 사용자에게 반환됩니다.

시작하기 전에 커널에 서비스를 등록하지 않은 경우 채팅 완료 서비스를 사용하기 위해 실행 설정 인스턴스를 수동으로 만들어야 합니다.

from semantic_kernel.connectors.ai.open_ai import OpenAIChatPromptExecutionSettings

execution_settings = OpenAIChatPromptExecutionSettings()

팁

실행 설정에서 구성할 수 있는 항목을 보려면 소스 코드 클래스 정의를 확인하거나 API 설명서확인하세요.

다음은 채팅 완료 서비스를 사용하여 응답을 생성하는 두 가지 방법입니다.

비 스트리밍 채팅 완료

비 스트리밍 채팅 완료를 사용하려면 다음 코드를 사용하여 AI 에이전트에서 응답을 생성할 수 있습니다.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = await chatCompletionService.GetChatMessageContentAsync(
    history,
    kernel: kernel
);

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = await chat_completion.get_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

ChatHistory history = new ChatHistory();
history.addUserMessage("Hello, how are you?");

InvocationContext optionalInvocationContext = null;

List<ChatMessageContent<?>> response = chatCompletionService.getChatMessageContentsAsync(
    history,
    kernel,
    optionalInvocationContext
);

스트리밍 채팅 완료

스트리밍 채팅 완료를 사용하려면 다음 코드를 사용하여 AI 에이전트에서 응답을 생성할 수 있습니다.

ChatHistory history = [];
history.AddUserMessage("Hello, how are you?");

var response = chatCompletionService.GetStreamingChatMessageContentsAsync(
    chatHistory: history,
    kernel: kernel
);

await foreach (var chunk in response)
{
    Console.Write(chunk);
}

chat_history = ChatHistory()
chat_history.add_user_message("Hello, how are you?")

response = chat_completion.get_streaming_chat_message_content(
    chat_history=history,
    settings=execution_settings,
)

async for chunk in response:
    print(chunk, end="")

참고 항목

Java용 의미 체계 커널은 스트리밍 응답 모델을 지원하지 않습니다.

다음 단계

이제 의미 체계 커널 프로젝트에 채팅 완료 서비스를 추가했으므로 AI 에이전트와 대화를 만들 수 있습니다. 채팅 완료 서비스를 사용하는 방법에 대한 자세한 내용은 다음 문서를 참조하세요.

채팅 기록 개체 사용

채팅 완료를 사용하여 함수 호출 최적화