Diseño de arquitectura de IA
La inteligencia artificial es una tecnología que permite a las máquinas imitar el comportamiento humano inteligente. Las máquinas pueden usar IA para:
- Analice los datos para crear imágenes y vídeos.
- Analizar y sintetizar voz.
- Interactúe verbalmente de maneras naturales.
- Realice predicciones y genere nuevos datos.
Puede incorporar inteligencia artificial en aplicaciones para realizar funciones o tomar decisiones que la lógica tradicional o el procesamiento no pueden controlar de forma eficaz. Como arquitecto que diseña soluciones, es importante comprender el panorama de inteligencia artificial y aprendizaje automático y cómo puede integrar soluciones de Azure en el diseño de la carga de trabajo.
Introducción
El Centro de arquitectura de Azure proporciona arquitecturas de ejemplo, guías de arquitectura, líneas base arquitectónicas e ideas que puede aplicar a su escenario. Las cargas de trabajo que implican componentes de inteligencia artificial y aprendizaje automático deben seguir las instrucciones de Azure Well-Architected Framework AI workloads. Esta guía incluye principios y guías de diseño que influyen en la carga de trabajo de inteligencia artificial y aprendizaje automático en los cinco pilares de la arquitectura. Debe implementar esas recomendaciones en los escenarios y el contenido del Centro de arquitectura de Azure.
Conceptos de inteligencia artificial
Los conceptos de inteligencia artificial abarcan una amplia gama de tecnologías y metodologías que permiten a las máquinas realizar tareas que normalmente requieren inteligencia humana. En las secciones siguientes se proporciona información general sobre los conceptos clave de inteligencia artificial.
Algoritmos
algoritmos o algoritmos de aprendizaje automático son fragmentos de código que ayudan a las personas a explorar, analizar y encontrar significado en conjuntos de datos complejos. Cada algoritmo es un conjunto finito de instrucciones paso a paso inequívocas que una máquina puede seguir para lograr un objetivo específico. El objetivo de un modelo de aprendizaje automático es establecer o detectar patrones que los humanos pueden usar para realizar predicciones o clasificar información. Un algoritmo puede describir cómo determinar si una mascota es un gato, un perro, un pez, un pájaro o un reptil. Otro algoritmo mucho más complicado podría describir cómo identificar un lenguaje escrito o hablado, analizar sus palabras, traducirlas a un idioma diferente y, a continuación, comprobar la traducción para ver si es correcta.
Elija una familia de algoritmos que mejor se adapte a su tarea. Evalúe los distintos algoritmos del grupo para identificar la mejor opción para su tarea. Para obtener más información, consulte ¿Qué son los algoritmos de aprendizaje automático?.
Machine Learning
El aprendizaje automático es una técnica de inteligencia artificial que usa algoritmos para crear modelos predictivos. Estos algoritmos analizan los campos de datos y "aprenden" de los patrones de los datos para generar modelos. A continuación, los modelos pueden tomar predicciones o decisiones informadas basadas en nuevos datos.
Los modelos predictivos se validan con datos conocidos, medidos por métricas de rendimiento para escenarios empresariales específicos y, a continuación, se ajustan según sea necesario. Este proceso de aprendizaje y validación se denomina entrenamiento. Mediante el reentrenamiento periódico, los modelos de aprendizaje automático mejoran con el tiempo.
En el diseño de la carga de trabajo, puede usar el aprendizaje automático si el escenario incluye observaciones anteriores que puede usar de forma confiable para predecir situaciones futuras. Estas observaciones pueden ser verdades universales, como la visión por computadora que detecta una forma de animal de otra. O estas observaciones pueden ser específicas de su situación, como la visión por computadora que detecta un posible error de ensamblaje en las líneas de ensamblaje en función de los datos de reclamación de garantía anteriores.
Para obtener más información, consulte ¿Qué es el aprendizaje automático?.
Aprendizaje profundo
El aprendizaje profundo es un tipo de aprendizaje automático que puede aprender a través de su propio procesamiento de datos. Al igual que el aprendizaje automático, también usa algoritmos para analizar datos. Pero analiza los datos a través de redes neuronales artificiales que contienen muchas entradas, salidas y capas de procesamiento. Cada capa puede procesar los datos de una manera diferente. La salida de una capa se convierte en la entrada para el siguiente. Este proceso permite que el aprendizaje profundo cree modelos más complejos que el aprendizaje automático tradicional.
El aprendizaje profundo requiere una gran inversión para generar modelos altamente personalizados o exploratorios. Puede considerar otras soluciones de este artículo antes de agregar aprendizaje profundo a la carga de trabajo.
Para obtener más información, consulte ¿Qué es el aprendizaje profundo?.
Inteligencia artificial generativa
inteligencia artificial generativa entrena modelos para generar contenido original basado en muchas formas de contenido, como lenguaje natural, visión informática, audio o entrada de imagen. Con la inteligencia artificial generativa, puede describir una salida deseada en lenguaje cotidiano y el modelo puede responder creando el texto, la imagen y el código adecuados. Entre los ejemplos de aplicaciones de IA generativas se incluyen Microsoft Copilot y Azure OpenAI Service.
copilot es principalmente una interfaz de usuario que le ayuda a escribir código, documentos y otro contenido basado en texto. Se basa en modelos openAI populares y se integra en una amplia gama de aplicaciones de Microsoft y experiencias de usuario.
Azure OpenAI es una plataforma de desarrollo como servicio que proporciona acceso a los potentes modelos de lenguaje de OpenAI, como o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo with Vision, GPT-4, GPT-3.5-Turbo y la serie de modelos Embeddings. Puede adaptar estos modelos a sus tareas específicas, como:
- Generación de contenido.
- Resumen de contenido.
- Comprensión de imágenes.
- Búsqueda semántica.
- Lenguaje natural a la traducción de código.
Modelos de lenguaje
modelos de lenguaje son un subconjunto de inteligencia artificial generativa que se centran en tareas de procesamiento de lenguaje natural, como la generación de texto y el análisis de sentimiento. Estos modelos representan el lenguaje natural basándose en la probabilidad de que palabras o secuencias de palabras aparezcan en un contexto determinado.
Los modelos de lenguaje convencional se usan en la configuración supervisada para fines de investigación en los que los modelos se entrenan en conjuntos de datos de texto bien etiquetados para tareas específicas. Los modelos de lenguaje previamente entrenados ofrecen una manera accesible de empezar a trabajar con IA. Se usan más ampliamente en los últimos años. Estos modelos se entrenan en colecciones de texto a gran escala desde Internet a través de redes neuronales de aprendizaje profundo. Puede ajustarlos en conjuntos de datos más pequeños para tareas específicas.
El número de parámetros, o pesos, determina el tamaño de un modelo de lenguaje. Los parámetros influyen en cómo el modelo procesa los datos de entrada y genera la salida. Durante el entrenamiento, el modelo ajusta los pesos para minimizar la diferencia entre sus predicciones y los datos reales. Este proceso es cómo el modelo aprende parámetros. Cuantos más parámetros tenga un modelo, más complejo y expresivo es. Pero también es más computacionalmente costoso de entrenar y de usar.
En general, los modelos de lenguaje pequeño suelen tener menos de 10 mil millones de parámetros y los modelos de lenguaje grande tienen más de 10 mil millones de parámetros. Por ejemplo, la familia de modelos De Microsoft Phi-3 tiene tres versiones:
- Mini, 3,800 millones de parámetros
- Pequeños, 7 mil millones de parámetros
- Medio, 14 mil millones de parámetros
Para obtener más información, consulte catálogo de modelos de lenguaje.
Copilotos
La disponibilidad de los modelos de lenguaje llevó a la aparición de nuevas formas de interactuar con aplicaciones y sistemas a través de copilotos digitales y agentes conectados específicos del dominio. Copilots son asistentes de IA generativos que se integran en aplicaciones, a menudo como interfaces de chat. Proporcionan compatibilidad contextualizada con tareas comunes en esas aplicaciones.
microsoft Copilot se integra con una amplia gama de aplicaciones y experiencias de usuario de Microsoft. Se basa en una arquitectura abierta en la que los desarrolladores que no son de Microsoft pueden crear sus propios complementos para ampliar o personalizar la experiencia del usuario con Copilot. Los desarrolladores asociados también pueden crear sus propios copilotos mediante la misma arquitectura abierta.
Para obtener más información, consulte los siguientes recursos:
- Adopción, ampliación y compilación de experiencias de Copilot en Microsoft Cloud
- Copilot Studio
- Azure AI Foundry
Generación aumentada de recuperación
La generación aumentada de recuperación (RAG) es un patrón de arquitectura que aumenta las capacidades de un modelo de lenguaje grande (LLM), como ChatGPT, que está entrenado solo con datos públicos. Puede usar este patrón para agregar un sistema de recuperación que proporcione datos de base pertinentes en el contexto con la solicitud del usuario. Un sistema de recuperación de información proporciona control sobre los datos de base que usa un modelo de lenguaje cuando formula una respuesta. La arquitectura RAG le ayuda a definir el ámbito de la inteligencia artificial generativa al contenido que se origina a partir de documentos vectorizados, imágenes y otros formatos de datos. RAG no se limita al almacenamiento de búsqueda vectorial. Puede usar cualquier tecnología de almacén de datos.
Para más información, consulte Diseño y desarrollo de una solución RAG y Elegir un servicio de Azure para la búsqueda de vectores.
Servicios de Azure AI
Con los servicios de Azure AI, los desarrolladores y las organizaciones pueden utilizar API y modelos hechos, precompilados y personalizables para crear aplicaciones inteligentes, listas para el mercado y responsables. Entre los casos de uso se incluyen el procesamiento de lenguaje natural para conversaciones, búsqueda, supervisión, traducción, voz, visión y toma de decisiones.
Para obtener más información, consulte los siguientes recursos:
- Elección de una tecnología de Servicios de Azure AI
- Documentación de los servicios de Azure AI
- Elegir una tecnología de procesamiento de lenguaje natural en Azure
Modelos de lenguaje de IA
Los LLM, como los modelos GPT de OpenAI, son herramientas muy potentes que pueden generar lenguaje natural en varios dominios y tareas. Para elegir un modelo, considere factores como la privacidad de los datos, el uso ético, la precisión y el sesgo.
Los modelos abiertos phi son modelos pequeños y menos intensivos de proceso para soluciones de inteligencia artificial generativa. Un modelo de lenguaje pequeño podría ser más eficaz, interpretable y explicable que un LLM.
Al diseñar una carga de trabajo, puede usar modelos de lenguaje como una solución alojada detrás de una API con tarifa basada en el uso. Como alternativa, para muchos modelos de lenguaje pequeños, es posible hospedar los modelos de lenguaje dentro del mismo proceso o al menos en el mismo entorno computacional que el consumidor. Al usar modelos de lenguaje en la solución, tenga en cuenta la elección del modelo de lenguaje y sus opciones de hospedaje disponibles para ayudar a garantizar una solución optimizada para su caso de uso.
Herramientas y plataformas de desarrollo de IA
Las siguientes herramientas y plataformas de desarrollo de IA pueden ayudarle a crear, implementar y administrar modelos de aprendizaje automático e inteligencia artificial.
Azure Machine Learning
Azure Machine Learning es un servicio de aprendizaje automático que puede usar para compilar e implementar modelos. Machine Learning ofrece interfaces web y SDK para que pueda entrenar e implementar los modelos y canalizaciones de Machine Learning a gran escala. Use estas funcionalidades con plataformas de Python de código abierto, como PyTorch, TensorFlow y scikit-learn.
Para obtener más información, consulte los siguientes recursos:
- Comparación de productos y tecnologías de aprendizaje automático de Microsoft
- Documentación de Machine Learning
- ¿Qué es el aprendizaje automático?
Arquitecturas de referencia de Machine Learning para Azure
Arquitectura de línea de base de chat de Azure OpenAI en una zona de aterrizaje de Azure
Puntuación por lotes de los modelos de Machine Learning para Spark en Azure Databricks
La arquitectura de referencia de chat de un extremo a otro de línea de base de OpenAI es una arquitectura de referencia que describe cómo crear una arquitectura de chat de un extremo a otro utilizando los modelos GPT de OpenAI.
Automated Machine Learning
El aprendizaje automático automatizado (AutoML) es el proceso de automatizar las tareas iterativas y lentas del desarrollo de modelos de aprendizaje automático. Los científicos de datos, los analistas y los desarrolladores pueden usar AutoML para crear modelos de aprendizaje automático que tengan una gran escala, eficiencia y productividad al tiempo que mantienen la calidad del modelo.
Para obtener más información, consulte los siguientes recursos:
- ¿Qué es AutoML?
- Tutorial: Entrenamiento de un modelo de clasificación con AutoML en Machine Learning Studio
- Configurar experimentos de AutoML en Python
- Uso de la extensión de la CLI para Machine Learning
MLflow
Las áreas de trabajo de Machine Learning son compatibles con MLflow, lo que significa que puede usar un área de trabajo de Machine Learning de la misma manera que se usa un servidor MLflow. Esta compatibilidad proporciona las siguientes ventajas:
- Machine Learning no hospeda instancias de servidor de MLflow, pero puede usar las API de MLflow directamente.
- Puede usar un área de trabajo de Aprendizaje Automático como servidor de seguimiento para cualquier código de MLflow, independientemente de si se ejecuta bajo Aprendizaje Automático o no. Debe configurar MLflow para que apunte al área de trabajo donde debe producirse el seguimiento.
- Puede ejecutar rutinas de entrenamiento que usan MLflow en Machine Learning sin realizar ningún cambio.
Para obtener más información, consulte MLflow y Machine Learning y MLflow.
Herramientas de inteligencia artificial generativa
El flujo de avisos es un conjunto de herramientas de desarrollo que puede utilizar para optimizar el ciclo de desarrollo integral de aplicaciones de IA generativa, desde la conceptualización, la creación de prototipos, las pruebas y la evaluación hasta la implementación y la supervisión de la producción. Admite la ingeniería rápida mediante la expresión de acciones en un motor de flujo y orquestación modulares.
Azure AI Foundry le ayuda a experimentar, desarrollar e implementar aplicaciones y API de IA generativa de forma responsable con una plataforma completa. El portal de AI Foundry proporciona acceso a los servicios de Azure AI, modelos básicos, un área de juegos y recursos para ayudarle a crear, entrenar, ajustar e implementar modelos de IA. También puede evaluar las respuestas del modelo y orquestar los componentes de la aplicación de solicitudes con un flujo de avisos para mejorar el rendimiento.
Copilot Studio amplía Copilot en Microsoft 365. Puede usar Copilot Studio para crear copilotos personalizados para escenarios internos y externos. Utiliza un lienzo de creación completo para el diseño, prueba y publicación de copilotos. Puede crear fácilmente conversaciones que utilizan IA generativa, proporcionar un mayor control de las respuestas para los copilotos existentes y acelerar la productividad mediante el uso de flujos de trabajo automatizados.
Plataformas de datos para ia
Las siguientes plataformas ofrecen soluciones completas para el movimiento, el procesamiento, la ingesta, la transformación, el análisis en tiempo real y los informes.
Microsoft Fabric
Microsoft Fabric es una plataforma de datos y análisis de un extremo a otro para empresas que requieren una solución unificada. Puede conceder a los equipos de cargas de trabajo acceso a los datos de Fabric. La plataforma abarca el movimiento de datos, el procesamiento, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Ofrece un conjunto completo de servicios, como Fabric Data Engineer, Fabric Data Factory, Fabric Data Science, Fabric Real-Time Intelligence, Fabric Data Warehouse y Fabric Database.
Fabric integra componentes independientes en una pila cohesiva. En lugar de depender de bases de datos o almacenes de datos diferentes, puede centralizar el almacenamiento de datos con OneLake. Las funcionalidades de inteligencia artificial se insertan en Fabric, lo que elimina la necesidad de integración manual.
Para obtener más información, consulte los siguientes recursos:
- ¿Qué es Fabric?
- ruta de aprendizaje de : Introducción a Fabric
- Servicios de IA en Fabric
- Uso de Azure OpenAI en Fabric con la API REST
- Usar Fabric para la inteligencia artificial generativa: guía para crear y mejorar los sistemas RAG
- Crear aplicaciones de IA personalizadas con Fabric: Implementar RAG para modelos de lenguaje mejorados
Copilots in Fabric
Puede usar Copilot y otras características de IA generativas para transformar y analizar datos, generar información y crear visualizaciones e informes en Fabric y Power BI. Puede crear su propio copiloto o elegir uno de los siguientes copilotos precompilados:
- Copilot en Fabric
- Copilot para ciencia de datos e ingeniería de datos
- Copilot para Data Factory
- Copilot para almacenamiento de datos
- Copilot para Power BI
- Copilot para inteligencia en tiempo real
Aptitudes de inteligencia artificial en Fabric
Puede usar la característica de aptitud Fabric AI para configurar un sistema de inteligencia artificial generativa para generar consultas que respondan a preguntas sobre los datos. Después de configurar una aptitud de inteligencia artificial, puede compartirla con sus compañeros, que luego pueden formular sus preguntas en un lenguaje sencillo. En función de sus preguntas, la inteligencia artificial genera consultas sobre los datos que responden a esas preguntas.
Para obtener más información, consulte los siguientes recursos:
- ¿Cuál es la funcionalidad de habilidades de inteligencia artificial en Fabric?
- Cómo crear una habilidad de IA
- Ejemplo de aptitud de IA
- Diferencia entre una aptitud de inteligencia artificial y un copiloto
Plataformas de datos basadas en Apache Spark para ia
Apache Spark es una plataforma de procesamiento paralelo que admite el procesamiento en memoria para mejorar el rendimiento de aplicaciones de análisis de macrodatos. Spark proporciona bloques de creación básicos para la computación en clústeres en memoria. Un trabajo de Spark puede cargar y almacenar en caché datos en memoria y consultarlos repetidamente, lo que es más rápido que las aplicaciones basadas en disco, como Hadoop.
Apache Spark en Microsoft Fabric
Fabric Runtime es una plataforma integrada de Azure basada en Apache Spark que permite la implementación y administración de experiencias de ingeniería de datos y ciencia de datos. Fabric Runtime combina componentes clave de orígenes internos y de código abierto, que proporciona una solución completa.
Fabric Runtime tiene los siguientes componentes clave:
apache Spark es una potente biblioteca informática distribuida de código abierto que permite tareas de análisis y procesamiento de datos a gran escala. Apache Spark proporciona una plataforma versátil y de alto rendimiento para experiencias de ingeniería de datos y ciencia de datos.
Delta Lake es una capa de almacenamiento de código abierto que integra transacciones de atomicidad, coherencia, aislamiento y durabilidad (ACID) y otras características de confiabilidad de datos con Apache Spark. Integrado en Fabric Runtime, Delta Lake mejora las funcionalidades de procesamiento de datos y ayuda a garantizar la coherencia de los datos en varias operaciones simultáneas.
paquetes de nivel predeterminado para Java, Scala, Python y R son paquetes que admiten diversos lenguajes de programación y entornos. Estos paquetes se instalan y configuran automáticamente, por lo que los desarrolladores pueden aplicar sus lenguajes de programación preferidos para las tareas de procesamiento de datos.
Fabric Runtime se basa en un sólido sistema operativo de código abierto para ayudar a garantizar la compatibilidad con diversas configuraciones de hardware y requisitos del sistema.
Para obtener más información, consulte Entornos de ejecución de Apache Spark en Fabric.
Azure Databricks Runtime para Machine Learning
azure Databricks es una plataforma de análisis basada en Apache Spark que tiene una configuración de un solo clic, flujos de trabajo simplificados y un área de trabajo interactiva para la colaboración entre científicos de datos, ingenieros y analistas de negocios.
Puede usar Databricks Runtime para Machine Learning para iniciar un clúster de Databricks con todas las bibliotecas necesarias para el entrenamiento distribuido. Esta característica proporciona un entorno para el aprendizaje automático y la ciencia de datos. Contiene varias bibliotecas populares, como TensorFlow, PyTorch, Keras y XGBoost. También admite el entrenamiento distribuido a través de Horovod.
Para obtener más información, consulte los siguientes recursos:
- Documentación de Azure Databricks
- Funcionalidades de Machine Learning en Azure Databricks
- Puntuación por lotes de los modelos de Machine Learning para Spark en Azure Databricks
- Introducción al aprendizaje profundo en Azure Databricks
Apache Spark en Azure HDInsight
Apache Spark en Azure HDInsight es la implementación que hace Microsoft de Apache Spark en la nube. Los clústeres de Spark en HDInsight son compatibles con Azure Storage y Azure Data Lake Storage, por lo que puede usar clústeres de HDInsight Spark para procesar los datos que se almacenan en Azure.
SynapseML, anteriormente conocido como MMLSpark, es la biblioteca de aprendizaje automático de Microsoft para Apache Spark. Esta biblioteca de código abierto agrega muchas herramientas de ciencia de datos y aprendizaje profundo, funcionalidades de red y rendimiento de nivel de producción al ecosistema de Spark.
Para obtener más información, consulte los siguientes recursos:
- características y funcionalidades de SynapseML
- información general de HDInsight
- Tutorial de : Compilación de una aplicación de aprendizaje automático de Apache Spark en HDInsight
- Procedimientos recomendados de Apache Spark en HDInsight
- Configuración del clúster de Apache Spark de HDInsight
- Creación de una canalización de aprendizaje automático de Apache Spark en HDInsight
Almacenamiento de datos para ia
Puede usar las siguientes plataformas para almacenar, acceder y analizar grandes volúmenes de datos de forma eficaz.
Fabric OneLake
OneLake en Fabric es un lago de datos unificado y lógico que se puede adaptar para toda su organización. Actúa como núcleo central para todos los datos de analítica y se incluye con cada suscriptor de Fabric. OneLake en Fabric se basa en la base de Data Lake Storage.
OneLake en Fabric:
- Admite tipos de archivo estructurados y no estructurados.
- Almacena todos los datos tabulares en formato Delta-Parquet.
- Proporciona un único lago de datos dentro de los límites del inquilino que se rige de forma predeterminada.
- Admite la creación de áreas de trabajo dentro de un arrendatario para que tu organización pueda distribuir las directivas de propiedad y acceso.
- Admite la creación de varios elementos de datos, como lagos de datos y almacenes, desde los que puede acceder a los datos.
Para obtener más información, vea OneLake, OneDrive para datos.
Data Lake Storage
Data Lake Storage es un único repositorio centralizado en el que puede almacenar los datos estructurados y no estructurados. Use un lago de datos para almacenar, acceder y analizar de forma rápida y sencilla una amplia variedad de datos en una sola ubicación. No es necesario que los datos se ajusten a una estructura existente. En su lugar, puede almacenar los datos en su formato sin procesar o nativo, normalmente como archivos o como objetos binarios grandes o blobs.
Data Lake Storage proporciona semántica del sistema de archivos, seguridad de nivel de archivo y escala. Dado que estas funcionalidades se basan en Azure Blob Storage, también obtiene almacenamiento en capas de bajo costo que tiene funcionalidades de alta disponibilidad y recuperación ante desastres.
Data Lake Storage usa la infraestructura de Azure Storage para crear una base para crear lagos de datos empresariales en Azure. Data Lake Storage puede atender varios petabytes de información mientras mantiene cientos de gigabits de rendimiento para que pueda administrar grandes cantidades de datos.
Para obtener más información, consulte los siguientes recursos:
Procesamiento de datos para la inteligencia artificial
Puede usar las siguientes herramientas para preparar los datos para el aprendizaje automático y las aplicaciones de inteligencia artificial. Asegúrese de que los datos están limpios y estructurados para poder usarlos para el análisis avanzado.
Fábrica de Datos Fabric
Puede usar Fabric Data Factory para ingerir, preparar y transformar datos de varios orígenes de datos, como bases de datos, almacenes de datos, almacenes de lago y flujos de datos en tiempo real. Este servicio puede ayudarle a cumplir los requisitos de operaciones de datos al diseñar cargas de trabajo.
Fabric Data Factory admite soluciones de código y soluciones sin código o con poco código:
Use canalizaciones de datos para crear capacidades de flujo de trabajo a escala de la nube. Utiliza la interfaz de arrastrar y colocar para crear flujos de trabajo que puedan actualizar tus datos, mover datos del tamaño de petabytes y definir canalizaciones de control de flujo.
Use flujos de datos como una interfaz de bajo código para ingerir datos de cientos de fuentes de datos y transformarlos mediante el uso de más de 300 transformaciones de datos.
Para obtener más información, consulte Escenario integral de Data Factory: Introducción y arquitectura.
Azure Databricks
Puede usar Databricks Data Intelligence Platform para escribir código para crear un flujo de trabajo de aprendizaje automático mediante la ingeniería de características. Ingeniería de características es el proceso de transformar datos sin procesar en características que puede usar para entrenar modelos de aprendizaje automático. Databricks Data Intelligence Platform incluye características clave que admiten la ingeniería de características:
Las canalizaciones de datos ingieren datos sin procesar, crean tablas de características, entrenan modelos y realizan inferencia por lotes. Cuando se usa la ingeniería de características en el catálogo de Unity para entrenar y registrar un modelo, el modelo se empaqueta con metadatos de características. Cuando se usa el modelo para la puntuación por lotes o la inferencia en línea, se recuperan automáticamente los valores de características. El autor de la llamada no necesita conocer los valores ni incluir lógica para buscar o unir características para puntuar nuevos datos.
Los Puntos de conexión de servicio de modelos y características son accesibles al instante y proporcionan una latencia de milisegundos.
La supervisión ayuda a garantizar el rendimiento y la precisión de los datos y los modelos.
También puede usar Mosaic AI Vector Search para almacenar y recuperar incrustaciones. Las incrustaciones son cruciales para las aplicaciones que requieren búsquedas de similitud, como RAG, sistemas de recomendaciones y reconocimiento de imágenes.
Para más información, consulte Azure Databricks: Servir datos para el aprendizaje automático y la inteligencia artificial.
Conectores de datos para ia
Las canalizaciones de Azure Data Factory y Azure Synapse Analytics admiten muchos almacenes de datos y formatos a través de las actividades de copia, flujo de datos, búsqueda, obtención de metadatos y eliminación. Para ver los conectores de almacén de datos disponibles, las funcionalidades admitidas, incluidas las configuraciones correspondientes y las opciones genéricas de Conectividad abierta de bases de datos, consulte Información general sobre los conectores de Azure Data Factory y Azure Synapse Analytics.
Inteligencia artificial personalizada
Las soluciones de IA personalizadas le ayudan a abordar necesidades empresariales y desafíos específicos. En las secciones siguientes se proporciona información general sobre las diversas herramientas y servicios que puede usar para compilar y administrar modelos de IA personalizados.
Azure Machine Learning
Azure Machine Learning es un servicio en la nube que permite acelerar y administrar el ciclo de vida de los proyectos de aprendizaje automático. Los profesionales de aprendizaje automático, los científicos de datos y los ingenieros pueden usar este servicio en sus flujos de trabajo diarios para entrenar e implementar modelos y administrar operaciones de aprendizaje automático.
Machine Learning ofrece las siguientes funcionalidades:
Selección de algoritmos: Algunos algoritmos realizan suposiciones específicas sobre la estructura de datos o los resultados deseados. Elija un algoritmo que se adapte a sus necesidades para que pueda obtener resultados más útiles, predicciones más precisas y tiempos de entrenamiento más rápidos. Para obtener más información, consulte Selección de algoritmos para Machine Learning.
Ajuste o optimización de hiperparámetros: Puede usar este proceso manual para encontrar configuraciones de hiperparámetros que resulten en el mejor desempeño. Esta optimización incurre en costos computacionales significativos. Los hiperparámetros son parámetros ajustables que regulan el proceso de entrenamiento del modelo. Por ejemplo, puede elegir el número de capas ocultas y el número de nodos de cada capa de redes neuronales. El rendimiento de un modelo depende en gran medida de los hiperparámetros.
Puede usar Machine Learning para automatizar el ajuste de hiperparámetros y ejecutar experimentos en paralelo para optimizar de forma eficaz los hiperparámetros.
Para obtener más información, consulte los siguientes recursos:
Entrenamiento del modelo: Puede usar iterativamente un algoritmo para crear o enseñar modelos. Una vez entrenados los modelos, puede usarlos para analizar datos y realizar predicciones.
Durante la fase de entrenamiento:
Un conjunto de calidad de datos conocidos se etiqueta para que los campos individuales sean identificables.
Un algoritmo configurado para realizar una predicción determinada recibe los datos etiquetados.
El algoritmo genera un modelo que captura los patrones que identificó en los datos. El modelo usa un conjunto de parámetros para representar estos patrones.
Durante la validación:
Los datos nuevos se etiquetan y se usan para probar el modelo.
El algoritmo se ajusta según sea necesario y, posiblemente, realiza más entrenamiento.
La fase de prueba usa datos reales sin etiquetas ni destinos preseleccionados. Si los resultados del modelo son precisos, está listo para su uso y se puede implementar.
Para obtener más información, consulte los siguientes recursos:
AutoML: Este proceso automatiza las tareas iterativas y lentas del desarrollo de modelos de Machine Learning. Puede reducir significativamente el tiempo necesario para generar modelos de aprendizaje automático listos para producción. AutoML puede ayudar con la selección de modelos, la optimización de hiperparámetros, el entrenamiento del modelo y otras tareas, sin necesidad de un amplio conocimiento de programación o dominio.
Puede usar AutoML cuando quiera que Machine Learning use una métrica de destino especificada para entrenar y ajustar un modelo. No necesita experiencia en ciencia de datos para identificar una canalización completa de aprendizaje automático para resolver problemas.
Los profesionales y desarrolladores de Aprendizaje automático en todos los sectores pueden usar AutoML para:
- Implemente soluciones de aprendizaje automático sin un amplio conocimiento de programación o aprendizaje automático.
- Ahorre tiempo y recursos.
- Aplique los procedimientos recomendados de ciencia de datos.
- Proporcione una solución de problemas ágil.
Para obtener más información, consulte ¿Qué es AutoML?.
Puntuación: Este proceso, también denominado predicción, usa un modelo de aprendizaje automático entrenado para generar valores basados en nuevos datos de entrada. Los valores, o puntuaciones, pueden representar predicciones de valores futuros, pero también pueden representar una categoría o un resultado probables.
Para obtener más información, consulte los siguientes recursos:
Ingeniería de características y caracterización: los datos de entrenamiento constan de filas y columnas. Cada fila es una observación o registro, y las columnas de cada fila son las características que describen cada registro. Normalmente, las características que mejor caracterizan los patrones de los datos se seleccionan para crear modelos predictivos.
Aunque puede usar muchos de los campos de datos sin procesar para entrenar un modelo, es posible que tenga que crear otras características diseñadas que proporcionen información para diferenciar mejor los patrones de los datos. Este proceso se denomina ingeniería de características, donde se usa el conocimiento de dominio de los datos para crear características que ayudan a los algoritmos de aprendizaje automático a aprender mejor.
En Machine Learning, se aplican técnicas de escalado y normalización de datos para facilitar la ingeniería de características. El conjunto de estas técnicas y la ingeniería de características se conocen como caracterización en los experimentos de AutoML. Para obtener más información, consulte Featurización de datos en el aprendizaje automático automatizado.
Azure OpenAI
En Azure OpenAI, puede usar un proceso conocido como ajuste para adaptar los modelos de OpenAI a sus propios conjuntos de datos. Este paso de personalización optimiza el servicio proporcionando lo siguiente:
- Resultados de mayor calidad en comparación con ingeniería de solicitudes unicamente.
- La capacidad de entrenar con más ejemplos de los que permite normalmente el límite máximo de contexto de solicitudes de un modelo.
- Ahorros de tokens debido a avisos más cortos.
- Solicitudes de menor latencia, especialmente cuando se usan modelos más pequeños.
Para obtener más información, consulte los siguientes recursos:
- Personalización de un modelo con ajuste preciso
- Tutorial: Ajuste de Azure OpenAI GPT-4o-mini
- Arquitectura de referencia de chat de un extremo a otro de línea de base de OpenAI
Servicios de Azure AI para inteligencia artificial personalizada
servicios de Azure AI proporciona características para crear aplicaciones y modelos de IA personalizados. En las secciones siguientes se proporciona información general sobre estas características clave.
Voz personalizada
La voz personalizada es una característica del servicio De voz de Azure AI. Puede usar voz personalizada para evaluar y mejorar la precisión del reconocimiento de voz para sus aplicaciones y productos. Use un modelo de voz personalizado para la conversión de voz en tiempo real en texto, traducción de voz y transcripción por lotes.
De forma predeterminada, el reconocimiento de voz usa un modelo de lenguaje universal como modelo base. Este modelo se entrena con datos propiedad de Microsoft y refleja el lenguaje hablado usado habitualmente. El modelo base está entrenado previamente con dialectos y fonéticos que representan varios dominios comunes. Al realizar una solicitud de reconocimiento de voz, el modelo base más reciente para el lenguaje admitido se usa de forma predeterminada. El modelo base funciona bien en la mayoría de los escenarios de reconocimiento de voz.
Puede usar un modelo personalizado para aumentar el modelo base. Por ejemplo, puede mejorar el reconocimiento del vocabulario específico del dominio que es específico de una aplicación proporcionando datos de texto para entrenar el modelo. También puede mejorar el reconocimiento de condiciones de audio específicas de una aplicación proporcionando datos de audio, incluidas las transcripciones de referencia.
Si los datos siguen un patrón, puede usar texto estructurado para entrenar un modelo. Puede especificar pronunciaciones personalizadas y ajustar el formato de visualización del texto con normalización inversa de texto, reescritura, y filtrado de groserías, todo ello personalizado.
Traductor personalizado
Traductor personalizado es una característica del servicio Azure AI Translator. Las empresas, los desarrolladores de aplicaciones y los proveedores de servicios de lenguaje pueden usar traductor personalizado para crear sistemas de traducción automática neuronal (NMT) personalizados. Los sistemas de traducción personalizados se integran fácilmente en las aplicaciones, flujos de trabajo y sitios web existentes.
Puede usar esta característica para compilar y publicar sistemas de traducción personalizados en inglés y desde este. El traductor personalizado admite más de tres docenas de idiomas que corresponden directamente a los idiomas para tecnología de traducción automática neuronal (NMT). Para obtener una lista completa de los idiomas, consulte Idiomas admitidos en Translator.
Traductor personalizado ofrece las siguientes características.
Característica | Descripción |
---|---|
Aplicar tecnología NMT | Aplique NMT desde el traductor personalizado para mejorar la traducción. |
Desarrollar sistemas que conocen la terminología de su negocio | Personalice y cree sistemas de traducción mediante documentos paralelos que comprendan la terminología de su negocio y sector. |
Uso de un diccionario para compilar los modelos | Entrene un modelo con solo datos de diccionario si no tiene un conjunto de datos de entrenamiento. |
Colaboración con otros usuarios | Colabore con su equipo compartiendo su trabajo con varias personas. |
Acceso al modelo de traducción personalizado | Acceda al modelo de traducción personalizado en cualquier momento mediante las aplicaciones o programas existentes a través de Microsoft Translator Text API V3. |
Modelos personalizados de Inteligencia de documentos de Azure AI
Azure AI Document Intelligence usa tecnología avanzada de aprendizaje automático para identificar documentos, detectar y extraer información de formularios y documentos, y devolver los datos extraídos en una salida JSON estructurada. Utilice la Inteligencia de Documentos para aprovechar los modelos de análisis de documentos preentrenados o modelos personalizados independientes entrenados.
Modelos personalizados de Document Intelligence incluyen modelos de clasificación personalizados para escenarios en los que necesite identificar el tipo de documento antes de invocar el modelo de extracción. Puede emparejar un modelo de clasificación con un modelo de extracción personalizado para analizar y extraer campos de formularios y documentos específicos de su empresa. Combine modelos de extracción personalizados independientes para crear modelos compuestos.
Herramientas de IA personalizadas
Los modelos de inteligencia artificial precompilados son útiles y cada vez más flexibles, pero la mejor manera de optimizar la inteligencia artificial es adaptar un modelo a sus necesidades específicas. Dos herramientas principales para crear modelos de IA personalizados son ia generativa y el aprendizaje automático tradicional.
Azure Machine Learning Studio
Azure Machine Learning Studio es un servicio en la nube para acelerar y administrar el ciclo de vida del proyecto de aprendizaje automático. Los profesionales de aprendizaje automático, los científicos de datos y los ingenieros pueden usarlos en sus flujos de trabajo diarios para entrenar e implementar modelos y administrar operaciones de aprendizaje automático.
Compila y entrena modelos de Aprendizaje Automático utilizando cualquier tipo de cómputo, incluidas Spark y GPU para cargas de trabajo de inteligencia artificial de gran escala en la nube.
Ejecute AutoML y use la interfaz de usuario de arrastrar y colocar para machine Learning con poco código.
Implemente operaciones de aprendizaje automático extremo a extremo y canalizaciones repetibles.
Use el panel de inteligencia artificial responsable para la detección de sesgos y el análisis de errores.
Organiza y administra ingeniería de solicitudes y flujos de LLM.
Implemente modelos a través de puntos de conexión de api REST, inferencia en tiempo real e inferencia por lotes.
Usa espacios de trabajo centralizados para compartir el cómputo, la cuota, la seguridad y la conectividad con los recursos de la empresa, al tiempo que se centraliza la gobernanza para las Tecnologías de la Información. Configure un centro una vez y cree áreas de trabajo seguras directamente desde Studio para cada proyecto. Use centros para administrar el trabajo del equipo en el estudio y el portal de AI Foundry.
AI Foundry
AI Foundry le ayuda a crear e implementar aplicaciones de inteligencia artificial generativas personalizadas de forma eficaz con la eficacia de las amplias ofertas de Azure AI.
Crear juntos como un equipo. El centro de AI Foundry proporciona seguridad de nivel empresarial y un entorno de colaboración que incluye recursos compartidos y conexiones a modelos, datos y proceso previamente entrenados.
Organiza tu trabajo. Su proyecto de AI Foundry le ayuda a guardar el estado para que pueda iterar desde la primera idea hasta el primer prototipo y la primera implementación de producción. Invite fácilmente a otros usuarios a colaborar con usted.
Use las plataformas y marcos de desarrollo preferidos, incluidos GitHub, Visual Studio Code, LangChain, Kernel semántico y AutoGen.
Descubre y haz pruebas comparativas de más de 1600 modelos.
Aprovisione modelos como servicio (MaaS) a través de API sin servidor y ajuste preciso hospedado.
Incorpora varios modelos, orígenes de datos y modalidades.
Compile RAG mediante los datos empresariales protegidos, sin necesidad de ajustarlos.
Organiza y administra ingeniería de solicitudes y flujos de LLM.
Diseñe y proteja aplicaciones y API a través de filtros y controles configurables.
Evalúe las respuestas del modelo mediante flujos de evaluación integrados y personalizados.
Implemente innovaciones de inteligencia artificial en la infraestructura administrada por Azure para proporcionar supervisión y gobernanza continuas en todos los entornos.
Supervise continuamente las aplicaciones implementadas para la seguridad, la calidad y el consumo de tokens en producción.
Para obtener más información, consulte Portal de Azure AI Foundry frente a Azure Machine Learning Studio.
Flujo de avisos en el portal de AI Foundry
El flujo de avisos en el portal de AI Foundry es una herramienta de desarrollo que puede usar para simplificar todo el ciclo de desarrollo de las aplicaciones de IA que funcionan con LLM. El flujo de avisos proporciona una solución completa que simplifica el proceso de creación de prototipos, experimentación, iteración e implementación de las aplicaciones de inteligencia artificial.
El flujo de avisos es una característica que puede usar para generar, personalizar o ejecutar un flujo.
Un flujo es un conjunto de instrucciones que puede implementar la lógica de la IA. Cree o ejecute flujos mediante herramientas, como un lienzo predefinido o LangChain. Puede guardar iteraciones de un flujo como recursos. Después de implementar un flujo, se convierte en una API. No todos los flujos son flujos inmediatos. El flujo de avisos es una manera de crear un flujo.
Una solicitud es un paquete de entrada que se envía a un modelo. Consta de la entrada del usuario, el mensaje del sistema y cualquier ejemplo. La entrada del usuario es texto que se envía en la ventana de chat. El mensaje del sistema es un conjunto de instrucciones para el modelo que limita sus comportamientos y funcionalidades.
Un flujo de ejemplo es un flujo de orquestación simple y precompilado que muestra cómo funcionan los flujos. Puede personalizar un flujo de ejemplo.
Un solicitud de ejemplo es una solicitud definida para un escenario específico que puede copiar desde una biblioteca y usar tal cual o modificarla en el diseño de la solicitud.
Lenguajes de código de IA personalizados
El concepto básico de inteligencia artificial es el uso de algoritmos para analizar datos y generar modelos para describir, o puntuar, de maneras útiles. Los desarrolladores y científicos de datos, y a veces otros algoritmos, usan código de programación para escribir algoritmos. Dos de los lenguajes de programación más populares para el desarrollo de inteligencia artificial son Python y R.
Python es un lenguaje de programación con fines genéricos y de alto nivel. Tiene una sintaxis sencilla y fácil de aprender que hace hincapié en la legibilidad. No hay ningún paso de compilación. Python tiene una biblioteca estándar grande y admite la capacidad de agregar módulos y paquetes. Esta característica fomenta la modularidad y le permite expandir las funcionalidades cuando sea necesario. Hay un ecosistema grande y creciente de bibliotecas de inteligencia artificial y aprendizaje automático para Python, incluidos muchos en Azure.
Para obtener más información, consulte los siguientes recursos:
- Página principal del producto Python en Azure
- Azure para desarrolladores de Python
- SDK de Azure Machine Learning para Python
- Introducción al aprendizaje automático con Python y cuadernos
- biblioteca de aprendizaje automático de código abierto scikit-learn para python
- Biblioteca de Python de código abierto PyTorch
- biblioteca matemática simbólica de código abierto de TensorFlow
- Tutorial: Aplicación de modelos de aprendizaje automático en Azure Functions con Python y TensorFlow
R es un lenguaje y entorno para computación estadística y gráficos. Puede usarlo para todo, desde el mapeo de amplias tendencias sociales y de marketing en línea hasta el desarrollo de modelos financieros y climáticos.
Microsoft adopta completamente el lenguaje de programación R y proporciona muchas opciones para que los desarrolladores de R ejecuten su código en Azure.
Para obtener más información, consulte Uso de R de forma interactiva en Machine Learning.
Para obtener información general sobre la inteligencia artificial personalizada en Azure, consulte los siguientes recursos:
- Microsoft AI en GitHub: ejemplos, arquitecturas de referencia y procedimientos recomendados
- SDK de Machine Learning para Python
- repositorio de ejemplos de Machine Learning
- Entrenar modelos de R mediante la CLI de Machine Learning v2
Testimonios de clientes
Muchos sectores aplican ia de maneras innovadoras e inspiradoras. Tenga en cuenta los siguientes casos prácticos de clientes y casos de éxito:
- Volkswagen: Traducción automática de Volkswagen en 60 idiomas
- Atención médica para todos con Kry mediante Azure OpenAI
- PIMCO aumenta el servicio de cliente con una plataforma de búsqueda con tecnología de inteligencia artificial basada en Azure AI
- Legrand y Azure OpenAI: impulsando soluciones más inteligentes con herramientas impulsadas por IA
- C.H. Robinson supera barreras de décadas para automatizar la industria de la logística mediante Azure AI
Examinar más historias de clientes sobre inteligencia artificial
Información general sobre Microsoft AI
Obtenga más información sobre Microsoft AI y manténgase al día de las noticias relacionadas:
- IA de Microsoft
- centro de aprendizaje de IA
- Azure AI
- noticias de Inteligencia artificial de Microsoft
- Microsoft AI en GitHub: ejemplos, arquitecturas de referencia y procedimientos recomendados
- Centro de arquitectura de Azure