Compartir a través de

Chat con un modelo de IA local mediante .NET

  • Artículo

En esta guía rápida, aprenderás a crear una aplicación de chat de consola .NET conversacional mediante un modelo OpenAI o Azure OpenAI. La aplicación usa la biblioteca de Microsoft.Extensions.AI para que pueda escribir código mediante abstracciones de IA en lugar de un SDK específico. Las abstracciones de IA permiten cambiar el modelo de IA subyacente con cambios mínimos de código.

Requisitos previos

Ejecución del modelo de IA local

Complete los pasos siguientes para configurar y ejecutar un modelo de IA local en el dispositivo. Hay muchos modelos de IA diferentes para ejecutarse localmente y se entrenan para diferentes tareas, como generar código, analizar imágenes, chat generativo o crear incrustaciones. En este inicio rápido, usará el modelo de uso general phi3:mini, que es una IA generativa pequeña pero eficaz creada por Microsoft.

  1. Abra una ventana de terminal y compruebe si Ollama está disponible en el dispositivo:

    ollama

    Si Ollama está disponible, muestra una lista de comandos disponibles.

  2. Inicie Ollama:

    ollama serve

    Si Ollama se está ejecutando, se mostrará una lista de comandos disponibles.

  3. Extraiga el modelo de phi3:mini del registro de Ollama y espere a que se descargue:

    ollama pull phi3:mini

  4. Una vez completada la descarga, ejecute el modelo:

    ollama run phi3:mini

    Ollama inicia el modelo de phi3:mini y proporciona una indicación para que interactúe con él.

Crear la aplicación .NET

Complete los pasos siguientes para crear una aplicación de consola de .NET que se conectará al modelo de inteligencia artificial de phi3:mini local:

  1. En una ventana de terminal, vaya a un directorio vacío en el dispositivo y cree una nueva aplicación con el comando dotnet new:

    dotnet new console -o LocalAI

  2. Agregue los paquetes Microsoft.Extensions.AI.Ollama a su aplicación:

    dotnet add package Microsoft.Extensions.AI.Ollama --prerelease

  3. Abra la nueva aplicación en el editor que prefiera, como Visual Studio Code.

    code .

Conexión y chat con el modelo de IA

El SDK de kernel semántico proporciona muchos servicios y características para conectarse a modelos de IA y administrar interacciones. En los pasos siguientes, creará una aplicación sencilla que se conecta a la inteligencia artificial local y almacena el historial de conversaciones para mejorar la experiencia del chat.

  1. Abra el archivo Program.cs y reemplace el contenido del archivo por el código siguiente:

    using Microsoft.Extensions.AI;

IChatClient chatClient = 
    new OllamaChatClient(new Uri("http://localhost:11434/"), "phi3:mini");

// Start the conversation with context for the AI model
List<ChatMessage> chatHistory = new();

while (true)
{
    // Get user prompt and add to chat history
    Console.WriteLine("Your prompt:");
    var userPrompt = Console.ReadLine();
    chatHistory.Add(new ChatMessage(ChatRole.User, userPrompt));

    // Stream the AI response and add to chat history
    Console.WriteLine("AI Response:");
    var response = "";
    await foreach (var item in
        chatClient.CompleteStreamingAsync(chatHistory))
    {
        Console.Write(item.Text);
        response += item.Text;
    }
    chatHistory.Add(new ChatMessage(ChatRole.Assistant, response));
    Console.WriteLine();
}

    El código precedente de ejemplo realiza lo siguiente:

    • Crea un OllamaChatClient que implementa la interfaz IChatClient.
      • Esta interfaz proporciona una abstracción acoplada flexible que puede usar para chatear con modelos de IA.
      • Posteriormente, puede cambiar la implementación del cliente de chat subyacente a otro modelo, como Azure OpenAI, sin cambiar ningún otro código.
    • Crea un objeto ChatHistory para almacenar los mensajes entre el usuario y el modelo de IA.
    • Recupera un mensaje del usuario y lo almacena en ChatHistory.
    • Envía los datos de chat al modelo de IA para generar una respuesta.

    Nota:

    Ollama se ejecuta en el puerto 11434 de forma predeterminada, por lo que el punto de conexión del modelo de IA se establece en http://localhost:11434.

  2. Ejecute la aplicación y escriba un mensaje en la consola para recibir una respuesta de la inteligencia artificial, como la siguiente:

    Your prompt:
Tell me three facts about .NET.

AI response:
1. **Cross-Platform Development:** One of the significant strengths of .NET,
particularly its newer iterations (.NET Core and .NET 5+), is cross-platform support.
It allows developers to build applications that run on Windows, Linux, macOS,
and various other operating systems seamlessly, enhancing flexibility and
reducing barriers for a wider range of users.

2. **Rich Ecosystem and Library Support:** .NET has a rich ecosystem,
comprising an extensive collection of libraries (such as those provided by the
official NuGet Package Manager), tools, and services. This allows developers
to work on web applications (.NET for desktop apps and ASP.NET Core
for modern web applications), mobile applications (.NET MAUI),
IoT solutions, AI/ML projects, and much more with a vast array of prebuilt
components available at their disposal.

3. **Type Safety:** .NET operates under the Common Language Infrastructure (CLI)
model and employs managed code for executing applications. This approach inherently
offers strong type safety checks which help in preventing many runtime errors that
are common in languages like C/C++. It also enables features such as garbage collection,
thus relieving developers from manual memory management. These characteristics enhance
the reliability of .NET-developed software and improve productivity by catching
issues early during development.

  3. La respuesta de la inteligencia artificial es precisa, pero también detallada. El historial de chats almacenado permite a la inteligencia artificial modificar su respuesta. Indique a la IA que acorte la lista que proporcionó:

    Your prompt:
Shorten the length of each item in the previous response.

AI Response:
 **Cross-platform Capabilities:** .NET allows building for various operating systems
through platforms like .NET Core, promoting accessibility (Windows, Linux, macOS).

**Extensive Ecosystem:** Offers a vast library selection via NuGet and tools for web
(.NET Framework), mobile development (.NET MAUI), IoT, AI, providing rich
capabilities to developers.

**Type Safety & Reliability:** .NET's CLI model enforces strong typing and automatic
garbage collection, mitigating runtime errors, thus enhancing application stability.

    La respuesta actualizada de la inteligencia artificial es mucho más breve la segunda vez. Debido al historial de chats disponible, la inteligencia artificial pudo evaluar el resultado anterior y proporcionar resúmenes más cortos.

Pasos siguientes