Chat con un modelo de IA local mediante .NET
En esta guía rápida, aprenderás a crear una aplicación de chat de consola .NET conversacional mediante un modelo OpenAI o Azure OpenAI. La aplicación usa la biblioteca de Microsoft.Extensions.AI para que pueda escribir código mediante abstracciones de IA en lugar de un SDK específico. Las abstracciones de IA permiten cambiar el modelo de IA subyacente con cambios mínimos de código.
Requisitos previos
- Instalar .NET 8.0 o más alto
- Instalar Ollama localmente en el dispositivo
- Visual Studio Code (opcional)
Ejecución del modelo de IA local
Complete los pasos siguientes para configurar y ejecutar un modelo de IA local en el dispositivo. Hay muchos modelos de IA diferentes para ejecutarse localmente y se entrenan para diferentes tareas, como generar código, analizar imágenes, chat generativo o crear incrustaciones. En este inicio rápido, usará el modelo de uso general phi3:mini
, que es una IA generativa pequeña pero eficaz creada por Microsoft.
Abra una ventana de terminal y compruebe si Ollama está disponible en el dispositivo:
ollama
Si Ollama está disponible, muestra una lista de comandos disponibles.
Inicie Ollama:
ollama serve
Si Ollama se está ejecutando, se mostrará una lista de comandos disponibles.
Extraiga el modelo de
phi3:mini
del registro de Ollama y espere a que se descargue:ollama pull phi3:mini
Una vez completada la descarga, ejecute el modelo:
ollama run phi3:mini
Ollama inicia el modelo de
phi3:mini
y proporciona una indicación para que interactúe con él.
Crear la aplicación .NET
Complete los pasos siguientes para crear una aplicación de consola de .NET que se conectará al modelo de inteligencia artificial de phi3:mini
local:
En una ventana de terminal, vaya a un directorio vacío en el dispositivo y cree una nueva aplicación con el comando
dotnet new
:dotnet new console -o LocalAI
Agregue los paquetes Microsoft.Extensions.AI.Ollama a su aplicación:
dotnet add package Microsoft.Extensions.AI.Ollama --prerelease
Abra la nueva aplicación en el editor que prefiera, como Visual Studio Code.
code .
Conexión y chat con el modelo de IA
El SDK de kernel semántico proporciona muchos servicios y características para conectarse a modelos de IA y administrar interacciones. En los pasos siguientes, creará una aplicación sencilla que se conecta a la inteligencia artificial local y almacena el historial de conversaciones para mejorar la experiencia del chat.
Abra el archivo Program.cs y reemplace el contenido del archivo por el código siguiente:
using Microsoft.Extensions.AI; IChatClient chatClient = new OllamaChatClient(new Uri("http://localhost:11434/"), "phi3:mini"); // Start the conversation with context for the AI model List<ChatMessage> chatHistory = new(); while (true) { // Get user prompt and add to chat history Console.WriteLine("Your prompt:"); var userPrompt = Console.ReadLine(); chatHistory.Add(new ChatMessage(ChatRole.User, userPrompt)); // Stream the AI response and add to chat history Console.WriteLine("AI Response:"); var response = ""; await foreach (var item in chatClient.CompleteStreamingAsync(chatHistory)) { Console.Write(item.Text); response += item.Text; } chatHistory.Add(new ChatMessage(ChatRole.Assistant, response)); Console.WriteLine(); }
El código precedente de ejemplo realiza lo siguiente:
- Crea un
OllamaChatClient
que implementa la interfazIChatClient
.- Esta interfaz proporciona una abstracción acoplada flexible que puede usar para chatear con modelos de IA.
- Posteriormente, puede cambiar la implementación del cliente de chat subyacente a otro modelo, como Azure OpenAI, sin cambiar ningún otro código.
- Crea un objeto
ChatHistory
para almacenar los mensajes entre el usuario y el modelo de IA. - Recupera un mensaje del usuario y lo almacena en
ChatHistory
. - Envía los datos de chat al modelo de IA para generar una respuesta.
Nota:
Ollama se ejecuta en el puerto 11434 de forma predeterminada, por lo que el punto de conexión del modelo de IA se establece en
http://localhost:11434
.- Crea un
Ejecute la aplicación y escriba un mensaje en la consola para recibir una respuesta de la inteligencia artificial, como la siguiente:
Your prompt: Tell me three facts about .NET. AI response: 1. **Cross-Platform Development:** One of the significant strengths of .NET, particularly its newer iterations (.NET Core and .NET 5+), is cross-platform support. It allows developers to build applications that run on Windows, Linux, macOS, and various other operating systems seamlessly, enhancing flexibility and reducing barriers for a wider range of users. 2. **Rich Ecosystem and Library Support:** .NET has a rich ecosystem, comprising an extensive collection of libraries (such as those provided by the official NuGet Package Manager), tools, and services. This allows developers to work on web applications (.NET for desktop apps and ASP.NET Core for modern web applications), mobile applications (.NET MAUI), IoT solutions, AI/ML projects, and much more with a vast array of prebuilt components available at their disposal. 3. **Type Safety:** .NET operates under the Common Language Infrastructure (CLI) model and employs managed code for executing applications. This approach inherently offers strong type safety checks which help in preventing many runtime errors that are common in languages like C/C++. It also enables features such as garbage collection, thus relieving developers from manual memory management. These characteristics enhance the reliability of .NET-developed software and improve productivity by catching issues early during development.
La respuesta de la inteligencia artificial es precisa, pero también detallada. El historial de chats almacenado permite a la inteligencia artificial modificar su respuesta. Indique a la IA que acorte la lista que proporcionó:
Your prompt: Shorten the length of each item in the previous response. AI Response: **Cross-platform Capabilities:** .NET allows building for various operating systems through platforms like .NET Core, promoting accessibility (Windows, Linux, macOS). **Extensive Ecosystem:** Offers a vast library selection via NuGet and tools for web (.NET Framework), mobile development (.NET MAUI), IoT, AI, providing rich capabilities to developers. **Type Safety & Reliability:** .NET's CLI model enforces strong typing and automatic garbage collection, mitigating runtime errors, thus enhancing application stability.
La respuesta actualizada de la inteligencia artificial es mucho más breve la segunda vez. Debido al historial de chats disponible, la inteligencia artificial pudo evaluar el resultado anterior y proporcionar resúmenes más cortos.