Compartir a través de

Introducción al uso de la inteligencia artificial respaldada APIs en la aplicación de Windows

  • Artículo

Windows Copilot Runtimeofrece una variedad de bases de datos respaldadas APIs por inteligencia artificial que le permiten acceder a características de IA sin necesidad de encontrar, ejecutar o optimizar su propio modelo de Machine Learning (ML). Los modelos que impulsan la Windows Copilot RuntimeAPIs están listos para usarse y se ejecutan pasivamente todo el tiempo en el dispositivo para habilitar las características de IA en PC de Copilot+.

Use Windows Copilot RuntimeAPIs

Windows Copilot RuntimeAPIs incluye la tecnología con respaldo de IA mediante modelos que se APIs ejecutan localmente, directamente en el dispositivo Windows. Windows Copilot RuntimeAPIsestán destinados a la disponibilidad en la versión experimental 2 de SDK de Aplicaciones para Windows 1.7 planeada para enero de 2025. Obtenga más información sobre el SDK de Aplicaciones para Windows.

  • Phi Silica: la API Phi Silica está disponible como parte del SDK de Aplicaciones para Windows. Igual que sucede con el modelo de lenguaje grande (LLM) de GPT de OpenAI que impulsa ChatGPT, Phi es un modelo de lenguaje pequeño (SLM) desarrollado por Microsoft Research para realizar tareas de procesamiento de lenguaje en un dispositivo local. Phi Silica está diseñada específicamente para dispositivos Windows que tengan una unidad de procesamiento neuronal (NPU), lo que permite que las características de generación de texto y conversación se ejecuten de forma extremadamente eficaz; asimismo, están aceleradas mediante hardware directamente en el dispositivo.

  • Text Recognition con OCR: la API de Text Recognition (también denominada Reconocimiento óptico de caracteres u OCR) está disponible como parte del SDK de Aplicaciones para Windows. Esta API permite reconocer texto en una imagen y convertir diferentes tipos de documentos, como documentos de papel escaneados, archivos PDF o imágenes capturadas mediante una cámara digital, en datos editables que se pueden buscar en un dispositivo local.

  • Studio Effects: los dispositivos Windows con unidades de procesamiento neuronal (NPU) compatibles integran Studio Effects en la configuración integrada de la cámara y el micrófono del dispositivo. Aplique efectos especiales que usen IA, incluidos el desenfoque de fondo, la corrección del contacto visual, el marco automático, la corrección de la iluminación de retrato, los filtros creativos o el foco de voz para filtrar el ruido de fondo.

  • Recall: la Recall permite a los usuarios encontrar rápidamente elementos de actividades pasadas, como documentos, imágenes, sitios web y mucho más. Los desarrolladores pueden enriquecer la experiencia de Recall del usuario con su aplicación agregando información contextual a la base de datos vectorial subyacente mediante la API de actividad de usuario. Esta integración ayudará a los usuarios a elegir el punto en el que salieron de la aplicación, lo que mejora la interacción de la aplicación y proporciona al usuario un flujo sin problemas entre Windows y la aplicación.

Pronto se agregarán más características, incluidas las traducciones de subtítulos en directo, la búsqueda semántica, la generación aumentada de recuperación (RAG), el resumen de texto y la superresolución de imágenes.

Usar la inteligencia artificial basada en la nube respaldada APIs en la aplicación de Windows

También puede interesarle usar APIs esos modelos en la nube para potenciar las características de inteligencia artificial que se pueden agregar a la aplicación de Windows. Algunos ejemplos de inteligencia artificial basada en la nube ofrecidos APIs por Microsoft o OpenAI incluyen:

  • Agregar finalizaciones de chat de OpenAI a la aplicación de escritorio WinUI 3 o al SDK de Aplicaciones para Windows: tutorial sobre cómo integrar las funcionalidades de finalización de ChatGPT de OpenAI basadas en la nube en una aplicación de escritorio WinUI 3 o en el SDK de Aplicaciones para Windows.

  • Agregar DALL-E a la aplicación de escritorio WinUI 3 o al SDK de Aplicaciones para Windows: tutorial sobre cómo integrar las funcionalidades de generación de imágenes de DALL-E de OpenAI basadas en la nube en una aplicación de escritorio WinUI 3 o en el SDK de Aplicaciones para Windows.

  • Creación de una aplicación de recomendación con .NET MAUI y ChatGPT: tutorial sobre cómo crear una aplicación de recomendación de ejemplo que integre las funcionalidades de finalización de ChatGPT de OpenAI basadas en la nube en una aplicación de .NET MAUI.

  • Incorporación de DALL-E a la aplicación de escritorio de .NET MAUI de Windows: tutorial sobre cómo integrar las funcionalidades de generación de imágenes de DALL-E de OpenAI basadas en la nube en una aplicación .NET MAUI.

  • Azure OpenAI Service: si quiere que la aplicación de Windows acceda a modelos de OpenAI, como GPT-4, GPT-4 Turbo con Vision, GPT-3.5-Turbo, DALLE-3 o la serie de modelos Embeddings, con las funcionalidades de seguridad y de empresa agregadas de Azure, puede encontrar instrucciones en esta documentación de OpenAI de Azure.

  • Servicios de Azure AI: Azure ofrece un conjunto completo de servicios de inteligencia artificial disponibles a través de SDK de biblioteca rest APIs y cliente en lenguajes de desarrollo populares. Para más información, consulte la documentación de cada servicio. Estos servicios basados en la nube ayudan a los desarrolladores y organizaciones a crear rápidamente aplicaciones inteligentes, avanzadas, listas para el mercado y responsables con modelos y precompilados y personalizables APIs . Algunos ejemplos de aplicaciones son el procesamiento del lenguaje natural para conversaciones, búsqueda, supervisión, traducción, voz, visión y toma de decisiones.

Consideraciones para usar inteligencia artificial local frente a basada en la nube respaldada APIs en la aplicación de Windows

Al decidir si quiere usar una API en la aplicación de Windows que se base en la ejecución de un modelo de ML de forma local frente a la ejecución en la nube, existen varias ventajas y desventajas que debe tener en cuenta.

  • Disponibilidad de recursos

    • Dispositivo local: la ejecución de un modelo depende de los recursos disponibles en el dispositivo que se usa, incluida la CPU, la GPU, la NPU, la memoria y la capacidad de almacenamiento. Esto puede limitarle si el dispositivo no tiene una capacidad computacional elevada o un almacenamiento suficiente. Los modelos de lenguaje pequeños (SLM), como Phi, son mejores para usarlos de manera local en un dispositivo.
    • Nube: plataformas en la nube, como Azure, ofrecen recursos escalables. Puede usar tanta potencia computacional como necesite y solo pagar por lo que use. Los modelos de lenguaje grandes (LLM), como los modelos de lenguaje de OpenAI, requieren más recursos, pero también son más eficaces.

  • Privacidad de datos y seguridad

    • Dispositivo local: dado que los datos permanecen en el dispositivo, ejecutar un modelo de manera local puede ser más seguro y privado. La responsabilidad de la seguridad de los datos recae en el usuario.
    • Nube: los proveedores de nube ofrecen medidas de seguridad sólidas, pero los datos deben transferirse a la nube, lo que podría generar problemas de privacidad de datos en algunos casos.

  • Accesibilidad y colaboración

    • Dispositivo local: el modelo y los datos solo son accesibles desde el dispositivo, a menos que se compartan manualmente. Esto puede suponer que la colaboración en los datos del modelo sea más difícil.
    • Nube: se puede acceder al modelo y a los datos desde cualquier lugar con conectividad a Internet. Esto puede ser mejor para escenarios de colaboración.

  • Coste

    • Dispositivo local: no hay ningún coste adicional más allá de la inversión inicial en el dispositivo.
    • Nube: mientras que las plataformas en la nube funcionan según un modelo de pago por uso, los costes pueden acumularse en función de los recursos usados y la duración del uso.

  • Mantenimiento y actualizaciones

    • Dispositivo local: el usuario es responsable de mantener el sistema e instalar las actualizaciones.
    • Nube: el proveedor de servicios en la nube controla el mantenimiento, las actualizaciones del sistema y las nuevas actualizaciones de características, lo que reduce la sobrecarga de mantenimiento para el usuario.

Consulte Ejecución de un modelo de lenguaje pequeño localmente frente a modelos de lenguaje grande en la nube para obtener más información sobre las diferencias que supone ejecutar localmente un modelo de lenguaje pequeño (SLM) y ejecutar un modelo de lenguaje grande (LLM) en la nube.