Bate-papo com um modelo de IA local usando .NET

Artigo
12/19/2024

Neste início rápido, você aprenderá a criar um aplicativo de bate-papo de console .NET conversacional usando um modelo OpenAI ou Azure OpenAI. O aplicativo usa a biblioteca Microsoft.Extensions.AI para que você possa escrever código usando abstrações de IA em vez de um SDK específico. As abstrações de IA permitem que você altere o modelo de IA subjacente com alterações mínimas de código.

Pré-requisitos

Instalar o .NET 8.0 ou superior
Instale o Ollama localmente no seu dispositivo
Código do Visual Studio (opcional)

Execute o modelo de IA local

Conclua as etapas a seguir para configurar e executar um modelo de IA local em seu dispositivo. Muitos modelos diferentes de IA estão disponíveis para serem executados localmente e são treinados para diferentes tarefas, como gerar código, analisar imagens, conversar generativamente ou criar incorporações. Para este início rápido, você usará o modelo de propósito phi3:mini geral, que é uma IA generativa pequena, mas capaz, criada pela Microsoft.

Abra uma janela do terminal e verifique se o Ollama está disponível no seu dispositivo:
```
ollama
```
Se Ollama estiver disponível, ele exibirá uma lista de comandos disponíveis.
Iniciar Ollama:
```
ollama serve
```
Se o Ollama estiver em execução, ele exibirá uma lista de comandos disponíveis.
Puxe o phi3:mini modelo do registro Ollama e aguarde o download:
```
ollama pull phi3:mini
```
Após a conclusão do download, execute o modelo:
```
ollama run phi3:mini
```
Ollama inicia o phi3:mini modelo e fornece um prompt para você interagir com ele.

Criar o aplicativo .NET

Conclua as seguintes etapas para criar um aplicativo de console .NET que se conectará ao seu modelo de IA local phi3:mini :

Em uma janela de terminal, navegue até um diretório vazio no seu dispositivo e crie um novo aplicativo com o dotnet new comando:
```
dotnet new console -o LocalAI
```
Adicione os pacotes de Microsoft.Extensions.AI.Ollama ao seu aplicativo:
```
dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
```
Abra o novo aplicativo no editor de sua escolha, como o Visual Studio Code.
```
code .
```

Conecte-se e converse com o modelo de IA

O SDK do kernel semântico fornece muitos serviços e recursos para se conectar a modelos de IA e gerenciar interações. Nas etapas seguintes, você criará um aplicativo simples que se conecta à IA local e armazena o histórico de conversas para melhorar a experiência de bate-papo.

Abra o arquivo Program.cs e substitua o conteúdo do arquivo com o seguinte código:

using Microsoft.Extensions.AI;

IChatClient chatClient = 
    new OllamaChatClient(new Uri("http://localhost:11434/"), "phi3:mini");

// Start the conversation with context for the AI model
List<ChatMessage> chatHistory = new();

while (true)
{
    // Get user prompt and add to chat history
    Console.WriteLine("Your prompt:");
    var userPrompt = Console.ReadLine();
    chatHistory.Add(new ChatMessage(ChatRole.User, userPrompt));

    // Stream the AI response and add to chat history
    Console.WriteLine("AI Response:");
    var response = "";
    await foreach (var item in
        chatClient.CompleteStreamingAsync(chatHistory))
    {
        Console.Write(item.Text);
        response += item.Text;
    }
    chatHistory.Add(new ChatMessage(ChatRole.Assistant, response));
    Console.WriteLine();
}

O código anterior realiza o seguinte:

Cria um OllamaChatClient que implementa a interface IChatClient.
- Esta interface fornece uma abstração fracamente acoplada que pode ser usada para conversar com modelos de IA.
- Mais tarde, você pode alterar a implementação do cliente de chat subjacente para outro modelo, como o Azure OpenAI, sem alterar nenhum outro código.
Cria um ChatHistory objeto para armazenar as mensagens entre o usuário e o modelo de IA.
Recupera um prompt do usuário e o armazena ChatHistoryno .
Envia os dados do chat para o modelo de IA para gerar uma resposta.

Nota

O Ollama é executado na porta 11434 por padrão, e é por isso que o ponto de extremidade do modelo de IA está definido como http://localhost:11434.

Execute o aplicativo e insira um prompt no console para receber uma resposta da IA, como a seguinte:

Your prompt:
Tell me three facts about .NET.

AI response:
1. **Cross-Platform Development:** One of the significant strengths of .NET,
particularly its newer iterations (.NET Core and .NET 5+), is cross-platform support.
It allows developers to build applications that run on Windows, Linux, macOS,
and various other operating systems seamlessly, enhancing flexibility and
reducing barriers for a wider range of users.

2. **Rich Ecosystem and Library Support:** .NET has a rich ecosystem,
comprising an extensive collection of libraries (such as those provided by the
official NuGet Package Manager), tools, and services. This allows developers
to work on web applications (.NET for desktop apps and ASP.NET Core
for modern web applications), mobile applications (.NET MAUI),
IoT solutions, AI/ML projects, and much more with a vast array of prebuilt
components available at their disposal.

3. **Type Safety:** .NET operates under the Common Language Infrastructure (CLI)
model and employs managed code for executing applications. This approach inherently
offers strong type safety checks which help in preventing many runtime errors that
are common in languages like C/C++. It also enables features such as garbage collection,
thus relieving developers from manual memory management. These characteristics enhance
the reliability of .NET-developed software and improve productivity by catching
issues early during development.

A resposta da IA é precisa, mas também detalhada. O histórico de bate-papo armazenado permite que a IA modifique sua resposta. Instrua a IA a encurtar a lista fornecida:

Your prompt:
Shorten the length of each item in the previous response.

AI Response:
 **Cross-platform Capabilities:** .NET allows building for various operating systems
through platforms like .NET Core, promoting accessibility (Windows, Linux, macOS).

**Extensive Ecosystem:** Offers a vast library selection via NuGet and tools for web
(.NET Framework), mobile development (.NET MAUI), IoT, AI, providing rich
capabilities to developers.

**Type Safety & Reliability:** .NET's CLI model enforces strong typing and automatic
garbage collection, mitigating runtime errors, thus enhancing application stability.

A resposta atualizada da IA é muito mais curta na segunda vez. Devido ao histórico de bate-papo disponível, a IA foi capaz de avaliar o resultado anterior e fornecer resumos mais curtos.

Próximos passos

Gerar texto e conversas com .NET e Azure OpenAI Completions

Partilhar via