Diseño de arquitectura de la inteligencia artificial (IA)
La inteligencia artificial (IA) es una tecnología que permite a las máquinas imitar el comportamiento humano inteligente. Con la inteligencia artificial, las máquinas pueden:
- Analice los datos para crear imágenes y vídeos.
- Analizar y sintetizar voz.
- Interactúe verbalmente de maneras naturales.
- Realice predicciones y genere nuevos datos.
Los arquitectos diseñan cargas de trabajo que usan inteligencia artificial para realizar funciones o tomar decisiones en las que la lógica o el procesamiento tradicionales serían prohibitivos, o incluso casi imposibles, para implementar. Como arquitecto que diseña una solución, es importante comprender el panorama de inteligencia artificial y aprendizaje automático y cómo Azure ofrece soluciones para la integración en el diseño de la carga de trabajo.
Conceptos de inteligencia artificial
Algoritmos
Los algoritmos o algoritmos de aprendizaje automático son fragmentos de código que ayudan a los humanos a explorar, analizar y encontrar significado en conjuntos de datos complejos. Cada algoritmo es un conjunto finito de instrucciones paso a paso inequívocas que puede seguir una máquina para lograr un determinado objetivo. En un modelo de aprendizaje automático, el objetivo es establecer o detectar patrones que los humanos pueden usar para realizar predicciones o clasificar información. Un algoritmo puede describir cómo determinar si una mascota es un gato, un perro, un pez, un pájaro o un reptil. Otro algoritmo mucho más complicado puede describir cómo identificar un lenguaje escrito o hablado, analizar sus palabras, traducirlas a un idioma diferente y, a continuación, comprobar la traducción para ver si es correcta.
Al diseñar una carga de trabajo, deberá seleccionar una familia de algoritmos que sea adecuada para la tarea y evaluar los distintos algoritmos disponibles para encontrar el ajuste adecuado.
Machine Learning
El aprendizaje automático es una técnica de inteligencia artificial que usa algoritmos para crear modelos predictivos. El algoritmo se usa para analizar campos de datos y para "aprender" de esos datos mediante patrones que se encuentran en él para generar modelos. Estos modelos se usan para realizar predicciones o tomar decisiones fundamentadas sobre nuevos datos.
Los modelos predictivos se validan en comparación con datos conocidos, se miden mediante las métricas de rendimiento seleccionadas para escenarios empresariales específicos y, posteriormente, se ajustan según sea necesario. Este proceso de aprendizaje y validación se denomina entrenamiento. Mediante el reentrenamiento periódico, los modelos de aprendizaje automático mejoran con el tiempo.
En lo que respecta al diseño de cargas de trabajo, considere la posibilidad de usar el aprendizaje automático cuando tenga una situación en la que las observaciones anteriores se puedan usar de forma confiable para predecir situaciones futuras. Estas observaciones pueden ser verdades universales, como computer vision, que detectan una forma de animal de otro, o estas observaciones pueden ser específicas de su situación, como computer vision, que detecta un posible error de montaje en las líneas de montaje en función de los datos de reclamación de garantía anteriores.
Aprendizaje profundo
El aprendizaje profundo es un tipo de APRENDIZAJE automático que puede aprender a través de su propio procesamiento de datos. Al igual que el aprendizaje automático, también usa algoritmos para analizar datos, pero lo hace mediante redes neuronales artificiales que contienen muchas entradas, salidas y capas de procesamiento. Cada capa puede procesar los datos de una manera diferente y la salida de una capa se convierte en la entrada para la siguiente. Esto permite que el aprendizaje profundo cree modelos más complejos que el aprendizaje automático tradicional.
Como diseñador de cargas de trabajo, esta opción requiere una gran inversión en generar modelos altamente personalizados o exploratorios. Por lo general, tendrá en cuenta otras soluciones presentadas en este artículo antes de agregar aprendizaje profundo a la carga de trabajo.
Inteligencia artificial generativa
La inteligencia artificial generativa es una forma de inteligencia artificial en la que se entrenan modelos para generar contenido original nuevo basado en muchas formas de contenido, como lenguaje natural, visión informática, audio o entrada de imagen. Con la inteligencia artificial generativa, puede describir una salida deseada en lenguaje cotidiano normal y el modelo puede responder creando texto, imagen, código y mucho más. Algunos ejemplos de aplicaciones de IA generativas son:
Microsoft Copilot es principalmente una interfaz de usuario que puede ayudar a los usuarios a escribir código, documentos y otro contenido basado en texto. Se basa en modelos openAI populares y se integra en una amplia gama de aplicaciones de Microsoft y experiencias de usuario.
Azure OpenAI es una plataforma de desarrollo como servicio que proporciona acceso a los potentes modelos de lenguaje de OpenAI , como o1-preview, o1-mini, GPT-4o, GPT-4o mini, GPT-4 Turbo con Vision, GPT-4, GPT-3.5-Turbo y series de modelos Embeddings. Estos modelos se pueden adaptar a su tarea específica, como:
- Generación de contenido
- Resumen de contenido
- Reconocimiento de imágenes
- Búsqueda semántica
- Lenguaje natural a la traducción de código.
Modelos de lenguaje
Los modelos de lenguaje son un subconjunto de ia generativa que se centra en tareas de procesamiento de lenguaje natural (NLP), como la generación de texto y el análisis de sentimiento. Estos modelos representan el lenguaje natural basándose en la probabilidad de que palabras o secuencias de palabras aparezcan en un contexto determinado.
Los modelos de lenguaje convencional se han usado en la configuración supervisada para fines de investigación en los que los modelos se entrenan en conjuntos de datos de texto bien etiquetados para tareas específicas. Los modelos de lenguaje previamente entrenados ofrecen una manera accesible de empezar a trabajar con inteligencia artificial y se han vuelto más usados en los últimos años. Estos modelos se entrenan en corpora de texto a gran escala desde Internet mediante redes neuronales de aprendizaje profundo y se pueden ajustar en conjuntos de datos más pequeños para tareas específicas.
El tamaño de un modelo de lenguaje viene determinado por su número de parámetros, o ponderaciones, que determinan la forma en que el modelo procesa los datos de entrada y genera la salida. Los parámetros se aprenden durante el proceso de entrenamiento ajustando las ponderaciones dentro de las capas del modelo para minimizar la diferencia entre las predicciones del modelo y los datos reales. Cuantos más parámetros tenga un modelo, más complejo y expresivo es, pero también resulta más caro de entrenar y utilizar desde el punto de vista computacional.
En general, los modelos de lenguaje pequeño tienen menos de 10 mil millones de parámetros y los modelos de lenguaje grandes tienen más de 10 mil millones de parámetros. Por ejemplo, la familia de modelos De Microsoft Phi-3 tiene tres versiones con diferentes tamaños: mini (3,800 millones de parámetros), pequeño (7 mil millones de parámetros) y medio (14 mil millones de parámetros).
Copilotos
La disponibilidad de los modelos de lenguaje llevó a la aparición de nuevas formas de interactuar con aplicaciones y sistemas a través de copilotos digitales y agentes específicos del dominio, conectados. Los copilotos son asistentes de IA generativa que se integran en aplicaciones a menudo como interfaces de chat. Proporcionan compatibilidad contextualizada con tareas comunes en esas aplicaciones.
Microsoft Copilot se integra en una amplia gama de aplicaciones y experiencias de usuario de Microsoft. Se basa en una arquitectura abierta que permite a los desarrolladores de terceros crear sus propios complementos para ampliar o personalizar la experiencia del usuario con Microsoft Copilot. Además, los desarrolladores externos pueden crear sus propios copilotos con la misma arquitectura abierta.
Generación aumentada de recuperación (RAG)
La generación aumentada de recuperación (RAG) es un patrón de arquitectura que aumenta las funcionalidades de un modelo de lenguaje grande (LLM), como ChatGPT, que se entrenó solo en datos públicos. Este patrón permite agregar un sistema de recuperación que proporcione datos de base pertinentes en el contexto con la solicitud del usuario. Agregar un sistema de recuperación de información le proporciona control sobre los datos de puesta a tierra utilizados por un modelo de lenguaje cuando formula una respuesta. La arquitectura RAG le ayuda a definir el ámbito de la inteligencia artificial generativa al contenido que se origina a partir de documentos vectorizados, imágenes y otros formatos de datos. RAG no se limita al almacenamiento de búsqueda vectorial, pero el patrón es aplicable junto con cualquier tecnología de almacén de datos.
- Diseño y desarrollo de una solución de RAG
- Elección de un servicio de Azure para el vector de búsqueda
Aprendizaje automático automatizado (AutoML)
El aprendizaje automático automatizado, también conocido como ML automatizado o AutoML, es el proceso de automatizar las tareas iterativas y lentas del desarrollo de modelos de aprendizaje automático. Permite que los desarrolladores, analistas y científicos de datos creen modelos de aprendizaje automático con un escalado, eficiencia y productividad altos, al mismo tiempo que mantiene la calidad del modelo.
Servicios de inteligencia artificial
Con los desarrolladores y organizaciones de servicios de Azure AI pueden crear aplicaciones inteligentes, listas para el mercado y responsables con api y modelos predefinidos y personalizables. Entre los usos se incluyen el procesamiento de lenguaje natural para conversaciones, búsqueda, supervisión, traducción, voz, visión y toma de decisiones.
Elección de una tecnología de procesamiento de lenguaje natural en Azure
MLflow es un marco de código abierto diseñado para gestionar el ciclo de vida completo del aprendizaje automático.
Modelos de lenguaje de IA
Los modelos de lenguaje grande (LLM), como los modelos GPT de OpenAI, son herramientas eficaces que pueden generar lenguaje natural en varios dominios y tareas. Al considerar el uso de estos modelos, considere factores como la privacidad de los datos, el uso ético, la precisión y el sesgo.
Los modelos abiertos phi son modelos pequeños y menos intensivos de proceso para soluciones de inteligencia artificial generativa. Un modelo de lenguaje pequeño (SLM) puede ser más eficaz, interpretable y explicable que un modelo de lenguaje grande.
Al diseñar una carga de trabajo, puede usar modelos de lenguaje como una solución hospedada, detrás de una API de uso medido o para muchos modelos de lenguaje pequeños, puede hospedarlos en proceso o al menos en el mismo proceso que el consumidor. Al usar modelos de lenguaje en la solución, tenga en cuenta la elección del modelo de lenguaje y sus opciones de hospedaje disponibles para asegurarse de que usa una solución optimizada para su caso de uso.
Herramientas y plataformas de desarrollo de IA
Azure Machine Learning Service
Azure Machine Learning es un servicio de aprendizaje automático para compilar e implementar modelos. Azure Machine Learning ofrece interfaces web y SDK para que pueda entrenar e implementar los modelos y canalizaciones de Machine Learning a escala. Use estas funcionalidades con plataformas de Python de código abierto, como PyTorch, TensorFlow y scikit-learn.
¿Cuáles son los productos de aprendizaje automático de Microsoft?
¿Qué es Azure Machine Learning? Orientación general con vínculos a muchos recursos de aprendizaje, SDK, documentación, etc.
Arquitecturas de referencia de Machine Learning para Azure
La arquitectura de referencia de chat de un extremo a otro de Línea de base de OpenAI es una arquitectura de referencia que muestra cómo crear una arquitectura de chat de un extremo a otro con los modelos GPT de OpenAI.
La arquitectura de línea de base de chat de Azure OpenAI en una zona de aterrizaje de Azure muestra cómo basarse en la arquitectura de línea de base de Azure OpenAI para abordar los cambios y expectativas al implementarlo en una zona de aterrizaje de Azure.
Puntuación por lotes de los modelos de Machine Learning para Spark en Azure Databricks
Aprendizaje automático automatizado (AutoML)
Cree modelos de ML a escala mediante la funcionalidad AutoML de Azure Machine Learning para automatizar las tareas.
Página principal del producto de aprendizaje automático automatizado de Azure
Infografía sobre el aprendizaje automático automatizado de Azure (PDF)
Automatización de las actividades de aprendizaje automático con la CLI de Azure Machine Learning
MLflow
Las áreas de trabajo de Azure Machine Learning son compatibles con MLflow, lo que significa que puede usar un área de trabajo de Azure Machine Learning de la misma manera que usa un servidor MLflow. Esta compatibilidad tiene las siguientes ventajas:
- Azure Machine Learning no hospeda instancias de servidor de MLflow, pero puede usar las API de MLflow directamente.
- Puede usar un área de trabajo de Azure Machine Learning como servidor de seguimiento para cualquier código de MLflow, tanto si se ejecuta en Azure Machine Learning como si no. Solo tiene que configurar MLflow para que apunte al área de trabajo donde debe producirse el seguimiento.
- Puede ejecutar cualquier rutina de entrenamiento que use MLflow en Azure Machine Learning sin realizar ningún cambio.
Para más información, consulte MLflow y Azure Machine Learning.
Herramientas de inteligencia artificial generativa
Prompt flow es un conjunto de herramientas de desarrollo diseñadas para simplificar el ciclo de desarrollo de un extremo a otro de aplicaciones de IA generativas, desde la ideación, la creación de prototipos, las pruebas, la evaluación hasta la implementación y supervisión de producción. Admite la ingeniería rápida mediante la expresión de acciones en un motor de flujo y orquestación modulares.
Azure AI Studio le ayuda a experimentar, desarrollar e implementar aplicaciones y API de inteligencia artificial generativas de forma responsable con una plataforma completa. Con Azure AI Studio, tiene acceso a los servicios de Azure AI, los modelos básicos, el área de juegos y los recursos para ayudarle a crear, entrenar, ajustar e implementar modelos de INTELIGENCIA ARTIFICIAL. Además, puede evaluar las respuestas del modelo y organizar los componentes de la aplicación de solicitud con un flujo de solicitud para mejorar el rendimiento.
Azure Copilot Studio se usa para ampliar Microsoft Copilot en Microsoft 365 y crear copilots personalizados para escenarios internos y externos. Con Copilot Studio, los usuarios pueden diseñar, probar y publicar copilots mediante el lienzo de creación completo. Los usuarios pueden crear fácilmente conversaciones habilitadas para ia generativa, proporcionar un mayor control a las respuestas de los copilotos existentes y acelerar la productividad con flujos de trabajo automatizados específicos.
Plataformas de datos para ia
Microsoft Fabric
Microsoft Fabric es una plataforma de datos y análisis integral diseñada para empresas que requieren una solución unificada. A los equipos de carga de trabajo se les puede conceder acceso a los datos de estos sistemas. Abarca el movimiento de datos, el procesamiento, la ingesta, la transformación, el enrutamiento de eventos en tiempo real y la creación de informes. Ofrece un conjunto completo de servicios, como Data Engineering, Data Factory, Ciencia de datos, Real-Time Analytics, Data Warehouse y Bases de datos.
Microsoft Fabric integra componentes independientes en una pila cohesiva. En lugar de depender de bases de datos o almacenes de datos diferentes, puede centralizar el almacenamiento de datos con OneLake. Las funcionalidades de inteligencia artificial se insertan en Fabric, lo que elimina la necesidad de integración manual.
Copilots in Fabric
Copilot y otras características de inteligencia artificial generativa le permiten transformar y analizar datos, generar información y crear visualizaciones e informes en Microsoft Fabric y Power BI. Puede crear su propio copiloto o elegir uno de los siguientes copilotos precompilados:
Aptitudes de inteligencia artificial en Fabric
Con una aptitud de inteligencia artificial de Microsoft Fabric, puede configurar un sistema de inteligencia artificial generativa para generar consultas que respondan a preguntas sobre los datos. Después de configurar la habilidad de IA, puede compartirla con sus compañeros, que luego pueden formular sus preguntas en inglés sencillo. En función de sus preguntas, la IA genera consultas sobre los datos que responden a esas preguntas.
- ¿Cuál es la aptitud de inteligencia artificial en Fabric? (versión preliminar)
- Creación de una aptitud de IA
- Ejemplo de aptitud de IA
- Diferencia entre una aptitud de inteligencia artificial y un copiloto
Plataformas de datos basadas en Apache Spark para ia
Apache Spark es una plataforma de procesamiento paralelo que admite el procesamiento en memoria para mejorar el rendimiento de aplicaciones de análisis de macrodatos. Spark proporciona primitivas de computación de clúster en memoria. Un trabajo de Spark puede cargar y almacenar en caché datos en memoria y consultarlos repetidamente, lo que es más rápido que las aplicaciones basadas en disco, como Hadoop.
Apache Spark en Azure Fabric
Microsoft Fabric Runtime es una plataforma integrada en Azure basada en Apache Spark que permite la ejecución y administración de experiencias de ingeniería de datos y ciencia de datos. Combina componentes clave de orígenes internos y de código abierto, lo que proporciona a los clientes una solución completa.
Principales componentes de Fabric Runtime:
Apache Spark: una potente biblioteca informática distribuida de código abierto que permite realizar tareas de análisis y procesamiento de datos a gran escala. Apache Spark proporciona una plataforma versátil y de alto rendimiento para experiencias de ingeniería de datos y ciencia de datos.
Delta Lake : una capa de almacenamiento de código abierto que aporta transacciones ACID y otras características de confiabilidad de datos a Apache Spark. Integrado en Fabric Runtime, Delta Lake mejora las capacidades de procesamiento de datos y garantiza la coherencia de los datos en múltiples operaciones simultáneas.
Paquetes por defecto para Java/Scala, Python y R: paquetes compatibles con diversos lenguajes y entornos de programación. Estos paquetes se instalan y configuran automáticamente, lo que permite a los desarrolladores aplicar sus lenguajes de programación preferidos para las tareas de procesamiento de datos.
Microsoft Fabric Runtime se basa en un sólido sistema operativo de código abierto, lo que garantiza la compatibilidad con diversas configuraciones de hardware y requisitos del sistema.
Azure Databricks Runtime para Machine Learning
Azure Databricks es una plataforma de análisis basada en Apache Spark que ofrece una configuración con un clic, simplifica los flujos de trabajo y ofrece un espacio de trabajo interactivo para la colaboración entre científicos de datos, ingenieros y analistas empresariales.
Databricks Runtime para Machine Learning (Databricks Runtime ML) le permite iniciar un clúster de Databricks con todas las bibliotecas necesarias para el entrenamiento distribuido. Proporciona un entorno para el aprendizaje automático y la ciencia de datos. Además, contiene varias bibliotecas conocidas, como TensorFlow, PyTorch, Keras y XGBoost. También admite el entrenamiento distribuido mediante Horovod.
Apache Spark en Azure HDInsight
Apache Spark en Azure HDInsight es la implementación que hace Microsoft de Apache Spark en la nube. Los clústeres de Spark en HDInsight son compatibles con Azure Storage y Azure Data Lake Storage, por lo que puede usar los clústeres de HDInsight Spark para procesar los datos almacenados en Azure.
La Microsoft Machine Learning Library para Apache Spark es SynapseML (anteriormente denominada MMLSpark). Esta biblioteca de código abierto agrega muchas herramientas de ciencia de datos y aprendizaje profundo, funcionalidades de red y rendimiento de nivel de producción al ecosistema de Spark. Obtenga más información sobre las características y funcionalidades de SynapseML.
Introducción a Azure HDInsight. Información básica sobre características, arquitectura de clústeres y casos de uso, con vínculos a inicios rápidos y tutoriales.
Tutorial: Compilación de aplicaciones de aprendizaje automático de Apache Spark en Azure HDInsight
Repositorio de GitHub para SynapseML: Microsoft Machine Learning Library para Apache Spark
Creación de una canalización de aprendizaje automático de Apache Spark en HDInsight
Almacenamiento de datos para ia
Microsoft Fabric OneLake
OneLake en Fabric es un lago de datos unificado y lógico que se adapta a toda la organización. Actúa como centro central para todos los datos de análisis y se incluye con cada inquilino de Microsoft Fabric. OneLake en Fabric se basa en la base de Data Lake Storage Gen2.
OneLake en Fabric:
- Admite tipos de archivo estructurados y no estructurados.
- Almacena todos los datos tabulares en formato Delta Parquet.
- Proporciona un único lago de datos dentro de los límites del inquilino que se rige de forma predeterminada.
- Admite la creación de áreas de trabajo dentro de un inquilino para que una organización pueda distribuir las directivas de propiedad y acceso.
- Admite la creación de varios elementos de datos, como lagos de datos y almacenes, desde los que puede acceder a los datos.
Para obtener más información, vea OneLake, OneDrive para datos.
Azure Data Lake Storage Gen2
Azure Data Lake Storage es un único repositorio centralizado en el que puede almacenar todos los datos, tanto estructurados como no estructurados. Un lago de datos permite a su organización almacenar y analizar una amplia variedad de datos, y acceder a ellos, en una sola ubicación, de forma rápida y sencilla. Con un lago de datos, no es necesario adecuar los datos para que se ajusten a una estructura existente. En su lugar, puede almacenar los datos en su formato nativo o sin formato, normalmente como archivos o como objetos binarios grandes (blobs).
Data Lake Storage Gen2 proporciona semántica del sistema de archivos, seguridad de nivel de archivo y escala. Debido a que estas funcionalidades se basan en Blob Storage, también disfrutará de un almacenamiento por niveles de bajo coste, con funcionalidades de alta disponibilidad y recuperación ante desastres.
Data Lake Storage Gen2 convierte a Azure Storage en los cimientos para crear lagos de datos empresariales en Azure. Diseñado desde el principio para servir varios petabytes de información y mantener cientos de gigabits de rendimiento, Data Lake Storage Gen2 le ofrece una forma fácil de administrar cantidades masivas de datos.
Procesamiento de datos para la inteligencia artificial
Microsoft Fabric Data Factory
Con Data Factory, puede ingerir, preparar y transformar datos de varios orígenes de datos (por ejemplo, bases de datos, almacenamiento de datos, Lakehouse, datos en tiempo real, etc.). Al diseñar cargas de trabajo, se trata de una herramienta que puede ser fundamental para cumplir los requisitos de DataOps.
Data Factory admite soluciones de código y sin código bajo:
Las canalizaciones de datos permiten crear funcionalidades de flujo de trabajo a escala en la nube. Con las canalizaciones de datos, puede usar la interfaz de arrastrar y colocar para crear flujos de trabajo que puedan actualizar el flujo de datos, mover datos de tamaño de petabyte y definir canalizaciones de flujo de control.
Los flujos de datos proporcionan una interfaz de código bajo para ingerir datos de cientos de orígenes de datos, transformando los datos mediante transformaciones de datos de más de 300.
Consulte también:
Azure Databricks
Con Databricks Data Intelligence Platform, puede escribir código para crear un flujo de trabajo de aprendizaje automático mediante la ingeniería de características:
- Las canalizaciones de datos ingieren datos sin procesar, crean tablas de características, entrenan modelos y realizan la inferencia por lotes. Al entrenar y registrar un modelo mediante la ingeniería de características en Unity Catalog, el modelo se empaqueta con metadatos de características. Cuando se usa el modelo para la puntuación por lotes o la inferencia en línea, se recuperan automáticamente los valores de características. El autor de la llamada no necesita conocerlos ni incluir lógica para buscar o unir características para puntuar nuevos datos.
- Los puntos de conexión de servicio de modelos y características están disponibles con un solo clic y proporcionan milisegundos de latencia.
- Supervisión de datos y modelos.
También puede usar mosaic AI Vector Search, que está optimizado para almacenar y recuperar incrustaciones. Las inserciones son cruciales para las aplicaciones que requieren búsquedas de similitud, como RAG (generación aumentada de recuperación), sistemas de recomendaciones y reconocimiento de imágenes.
- Azure Databricks: servicio de datos para aprendizaje automático e inteligencia artificial
- Búsqueda de vectores de IA de mosaico
Conectores de datos para ia
Las canalizaciones de Azure Data Factory y Azure Synapse Analytics admiten muchos almacenes de datos y formatos mediante las actividades Copy, Data Flow, Look up, Get Metadata y Delete. Para ver los conectores de almacén de datos disponibles, las funcionalidades admitidas y las configuraciones correspondientes y las opciones de conexión ODBC genéricas, consulte Introducción al conector de Azure Data Factory y Azure Synapse Analytics.
Inteligencia artificial personalizada
Azure Machine Learning
Azure Machine Learning es un servicio en la nube para acelerar y administrar el ciclo de vida del proyecto de aprendizaje automático (ML). Los profesionales del aprendizaje automático, científicos de datos e ingenieros pueden usarlo en sus flujos de trabajo diarios para entrenar e implementar modelos, y administrar operaciones de aprendizaje automático (MLOps).
Azure Machine Learning ofrece las siguientes funcionalidades:
Selección de algoritmos Algunos algoritmos realizan suposiciones concretas sobre la estructura de los datos o los resultados deseados. Si encuentra uno que se ajuste a sus necesidades, este puede ofrecerle resultados más útiles, predicciones más precisas o tiempos de entrenamiento más cortos.
El ajuste o optimización de hiperparámetros es el proceso de búsqueda de la configuración de hiperparámetros que da como resultado el mejor rendimiento. El proceso es computacionalmente costoso y manual. Los hiperparámetros son parámetros ajustables que permiten controlar el proceso de entrenamiento de un modelo. Por ejemplo, con redes neuronales, puede decidir el número de capas ocultas y el número de nodos de cada capa. El rendimiento de un modelo depende en gran medida de los hiperparámetros.
Azure Machine Learning permite automatizar el ajuste de hiperparámetros y ejecutar experimentos en paralelo para optimizar los hiperparámetros de forma eficaz.
Entrenamiento de modelos Con Azure Machine Learning, puede usar iterativamente un algoritmo para crear o "enseñar" modelos. Una vez entrenado, estos modelos se pueden usar para analizar los datos desde los que se pueden realizar predicciones. Durante la fase de entrenamiento, se etiqueta un conjunto de datos conocidos de calidad para que los campos individuales sean identificables. Los datos etiquetados alimentan a un algoritmo configurado para realizar una predicción determinada. Cuando finaliza, el algoritmo genera un modelo que describe los patrones encontrados como un conjunto de parámetros. Durante la validación, los datos nuevos se etiquetan y se usan para probar el modelo. El algoritmo se ajusta según sea necesario y, posiblemente, se realiza más entrenamiento. Por último, la fase de prueba utiliza datos reales sin etiquetas ni destinos preseleccionados. Suponiendo que los resultados del modelo son precisos, se considera listo para su uso y se puede implementar.
El aprendizaje automático automatizado (AutoML) es el proceso de automatizar las tareas iterativas y lentas del desarrollo de modelos de aprendizaje automático. Puede reducir significativamente el tiempo necesario para obtener modelos de aprendizaje automático listos para producción. El aprendizaje automático automatizado puede ayudar con la selección de modelos, el ajuste de hiperparámetros, el entrenamiento de modelos y otras tareas, sin necesidad de un amplio conocimiento sobre programación o dominios.
Puede usar ml automatizado cuando quiera que Azure Machine Learning entrene y ajuste un modelo automáticamente mediante una métrica de destino especificada. El aprendizaje automático automatizado se puede usar independientemente de la experiencia en ciencia de datos para identificar una canalización de aprendizaje automático de un extremo a otro para cualquier problema.
Los profesionales y desarrolladores de ML de todos los sectores pueden usar el aprendizaje automático para:
Implementación de soluciones de ML sin un amplio conocimiento de programación o aprendizaje automático
Ahorrar tiempo y recursos.
Aplicar procedimientos recomendados de la ciencia de datos
Proporcionar soluciones ágiles a los problemas.
La puntuación también se denomina predicción y es el proceso de generar valores basados en un modelo de Machine Learning entrenado a partir de algunos datos de entrada nuevos. Los valores, o puntuaciones, que se crean pueden representar predicciones de valores futuros, pero también pueden representar una categoría o un resultado probables.
Ingeniería de características y caracterización. Los datos de entrenamiento constan de filas y columnas. Cada fila es una observación o registro, y las columnas de cada fila son las características que describen cada registro. Normalmente, las características que mejor caracterizan los patrones de los datos se seleccionan para crear modelos predictivos.
Aunque muchos de los campos de datos sin procesar se pueden usar directamente para entrenar un modelo, a menudo es necesario crear otras características (diseñadas) que proporcionan información que diferencia mejor los patrones de los datos. Este proceso se denomina ingeniería de características, donde el uso de conocimientos de dominio de los datos se usa para crear características que, a su vez, ayudan a los algoritmos de aprendizaje automático a aprender mejor.
En Azure Machine Learning, se aplican técnicas de escalado de datos y normalización para facilitar la ingeniería de características. En conjunto, estas técnicas y esta ingeniería de características se denominan caracterización en experimentos de aprendizaje automático automatizado (ML).
Azure OpenAI
El servicio Azure OpenAI le permite adaptar los modelos de OpenAI a los conjuntos de datos personales mediante un proceso conocido como ajuste preciso. Este paso de personalización le permite sacar más provecho del servicio al proporcionarle:
- Resultados de mayor calidad que los que puede obtener solo con la ingeniería de una solicitud
- La capacidad de formarse con más ejemplos de los que caben en el límite máximo de contexto de solicitud de un modelo.
- Ahorro de tokens debido a solicitudes más cortas
- Solicitudes de baja latencia, especialmente cuando se usan modelos más pequeños.
Para más información, vea:
- Personalización de un modelo con ajuste preciso
- Tutorial de ajuste preciso de GPT-4o-mini de Azure OpenAI
- Arquitectura de referencia de chat de un extremo a otro de línea de base de OpenAI
Servicios de Azure AI para inteligencia artificial personalizada
Los servicios de Azure AI ofrecen características que permiten crear aplicaciones y modelos de IA personalizados. En esta sección se proporciona información general sobre algunas de estas características clave.
Habla personalizada
La voz personalizada es una característica del servicio De voz de Azure AI. Con Habla personalizada puede evaluar y mejorar la precisión del reconocimiento de voz de sus aplicaciones y productos. Se puede usar un modelo de voz personalizado para la conversión de voz en texto en tiempo real, la traducción de voz y la transcripción por lotes.
De forma predeterminada, el reconocimiento de voz utiliza un modelo de lenguaje universal como modelo base que se entrena con datos que son propiedad de Microsoft y refleja el idioma hablado que se usa habitualmente. El modelo base está entrenado previamente con dialectos y fonética que representan varios dominios comunes. Al hacer una solicitud de reconocimiento de voz, el modelo base más reciente para cada idioma admitido se usa de manera predeterminada. El modelo base funciona bien en la mayoría de los escenarios de reconocimiento de voz.
Se puede usar un modelo personalizado para aumentar el modelo base para mejorar el reconocimiento del vocabulario concreto del dominio específico de la aplicación proporcionando datos de texto para entrenar el modelo. También se puede usar para mejorar el reconocimiento basado en las condiciones de audio específicas de la aplicación proporcionando datos de audio con transcripciones de referencia.
También puede entrenar un modelo con texto estructurado cuando los datos siguen un patrón, especificar pronunciaciones personalizadas y personalizar el formato de texto para mostrar con normalización de texto inversa personalizada, reescritura personalizada y filtrado de palabras soeces personalizado.
Custom Translator
Custom Translator es una característica del servicio Azure AI Translator . Con Custom Translator, las empresas, los desarrolladores de aplicaciones y los proveedores de servicios de lenguaje pueden crear sistemas de traducción automática neuronal (NMT) personalizados. Los sistemas de traducción personalizados se integran fácilmente en las aplicaciones, flujos de trabajo y sitios web existentes.
La plataforma permite a los usuarios compilar y publicar sistemas de traducción personalizados desde y al inglés. Custom Translator admite más de 36 idiomas que asigna directamente a los idiomas disponibles para NMT. Para obtener una lista completa, consulte Compatibilidad con idiomas de Translator.
Custom Translator ofrece las siguientes características:
Característica | Descripción |
---|---|
Aplicación de la tecnología de traducción automática neuronal | Mejore la traducción mediante la aplicación de la traducción automática neuronal (NMT) que proporciona Traductor personalizado. |
Creación de sistemas que conocen la terminología del negocio | Personalice y compile sistemas de traducción mediante documentos paralelos que comprendan la terminología usada en su propia empresa y sector. |
Uso de un diccionario para compilar los modelos | Si no tiene un conjunto de datos de aprendizaje, puede entrenar un modelo solo con datos de diccionario. |
Colaboración con otros usuarios | Colabore con su equipo compartiendo su trabajo con diferentes personas. |
Acceso al modelo de traducción personalizado | Puede acceder al modelo de traducción personalizado en cualquier momento mediante las aplicaciones y programas existentes a través de Microsoft Translator Text API V3. |
Modelos personalizados del documento de inteligencia
Azure AI Document Intelligence usa tecnología avanzada de aprendizaje automático para identificar documentos, detectar y extraer información de formularios y documentos, y devolver los datos extraídos en una salida JSON estructurada. Con La inteligencia de documentos, puede usar modelos de análisis de documentos, precompilados o entrenados previamente o los modelos personalizados independientes entrenados.
Los modelos personalizados de Document Intelligence ahora incluyen modelos de clasificación personalizados para escenarios en los que necesita identificar el tipo de documento antes de invocar el modelo de extracción. Un modelo de clasificación se puede emparejar con un modelo de extracción personalizado para analizar y extraer campos de formularios y documentos específicos de su empresa. Los modelos de extracción personalizados independientes se pueden combinar para crear modelos compuestos.
Herramientas de IA personalizadas
Aunque los modelos de IA precompilados son útiles y cada vez más flexibles, la mejor manera de obtener lo que necesita de la inteligencia artificial es crear un modelo adaptado a sus necesidades específicas. Hay dos herramientas principales para crear modelos de IA personalizados: ia generativa y aprendizaje automático tradicional:
Azure Machine Learning Studio
Estudio de Azure Machine Learning es un servicio en la nube para acelerar y administrar el ciclo de vida del proyecto de aprendizaje automático (ML). Los profesionales de aprendizaje automático, los científicos de datos y los ingenieros pueden usarlos en sus flujos de trabajo diarios para entrenar e implementar modelos y administrar operaciones de aprendizaje automático (MLOps).:
- Compila y entrena un modelo de Azure Machine Learning con cualquier tipo de proceso, incluidos Spark y GPU, para grandes cargas de trabajo de IA a escala en la nube.
- Ejecuta Azure Machine Learning automatizado (AutoML) y arrastra y coloca la interfaz de usuario para Azure Machine Learning de código bajo.
- Implementa canalizaciones de Azure Machine LearningOps de un extremo a otro y de Azure Machine Learning repetibles.
- Usa el panel de IA responsable para la detección de sesgos y el análisis de errores.
- Organiza y administra ingeniería de solicitudes y flujos de LLM.
- Implementa modelos con puntos de conexión de API de REST, inferencia en tiempo real y por lotes.
- Use Hubs (versión preliminar) para compartir el proceso, la cuota, la seguridad y la conectividad a los recursos de la empresa con un grupo de áreas de trabajo, al tiempo que centraliza la gobernanza para TI. Configure un centro una vez y cree áreas de trabajo seguras directamente desde Studio para cada proyecto. Use centros para administrar el trabajo del equipo tanto en ML Studio como en AI Studio.
Azure AI Studio
Azure AI Studio está diseñado para ayudarle a crear e implementar de forma eficaz aplicaciones de inteligencia artificial generativas personalizadas con la eficacia de las ofertas de inteligencia artificial amplia de Azure:
- Crear juntos como un equipo. El centro de conectividad de AI Studio proporciona seguridad de nivel empresarial y un entorno de colaboración con recursos compartidos y conexiones a modelos, datos y procesos previamente entrenados.
- Organiza tu trabajo. El Proyecto de AI Studio te ayuda a guardar el estado, lo que te permite iterar desde la primera idea, al primer prototipo y, después, a la primera implementación de producción. También puede invitar fácilmente a otros usuarios a colaborar a lo largo del recorrido.
- Usa tus plataformas y marcos de desarrollo preferidos, como GitHub, Visual Studio Code, LangChain, Kernel semántico, AutoGen, etc.
- Descubre y haz pruebas comparativas de más de 1600 modelos.
- Aprovisiona Modelos como servicio (MaaS) a través de API sin servidor y ajuste preciso hospedado.
- Incorpora varios modelos, orígenes de datos y modalidades.
- Compila la generación aumentada de recuperación (RAG) mediante los datos empresariales protegidos sin necesidad de ajustarlos.
- Organiza y administra ingeniería de solicitudes y flujos de modelo de lenguaje grande (LLM).
- Diseña y protege las aplicaciones y API con filtros y controles configurables.
- Evalúa las respuestas del modelo con flujos de evaluación integrados y personalizados.
- Implemente innovaciones de inteligencia artificial en la infraestructura administrada de Azure con supervisión y gobernanza continuas en todos los entornos.
- Supervise continuamente las aplicaciones implementadas para la seguridad, la calidad y el consumo de tokens en producción.|
Para obtener una comparación detallada entre Azure Machine Learning y Azure AI Studio, consulte Azure Machine Learning frente a Azure AI Studio.
Flujo de avisos en Inteligencia artificial de Azure Studio
Flujo de avisos en Azure AI Studio es una herramienta de desarrollo diseñada para simplificar todo el ciclo de desarrollo de aplicaciones de inteligencia artificial con tecnología de modelos de lenguaje grandes (LLM). El flujo de avisos proporciona una solución completa que simplifica el proceso de creación de prototipos, experimentación, iteración e implementación de las aplicaciones de inteligencia artificial.
- El flujo de avisos es una característica que se puede usar para generar, personalizar o ejecutar un flujo.
- Un flujo es un conjunto de instrucciones ejecutable que puede implementar la lógica de ia. Los flujos se pueden crear o ejecutar a través de varias herramientas, como un lienzo precompilado, LangChain, etcetera. Las iteraciones de un flujo se pueden guardar como recursos; una vez implementado un flujo, se convierte en una API. No todos los flujos son flujos de avisos, sino que el flujo de avisos es una forma de crear un flujo.
- Un aviso es un paquete de entrada enviado a un modelo, que consta de la entrada del usuario, el mensaje del sistema y cualquier ejemplo. La entrada del usuario es el texto enviado en la ventana de chat. El mensaje del sistema es un conjunto de instrucciones para determinar el ámbito de sus comportamientos y funcionalidades.
- Un flujo de ejemplo es un flujo de orquestación simple y precompilado que muestra cómo funcionan los flujos y se puede personalizar.
- Un mensaje de ejemplo es una solicitud definida para un escenario específico que se puede copiar de una biblioteca y usar tal como está o modificarse en el diseño del aviso.
Lenguajes de código de IA personalizados
El concepto básico de la inteligencia artificial es el uso de algoritmos para analizar datos y generar modelos para describirlos (o puntuarlos) de forma que resulten útiles. Los desarrolladores y los científicos de datos (e, incluso, otros algoritmos) escriben los algoritmos mediante un código de programación. Dos de los lenguajes de programación más populares para el desarrollo de inteligencia artificial son Python y R actualmente.
Python es un lenguaje de programación con fines genéricos y de alto nivel. Tiene una sintaxis sencilla y fácil de aprender que hace hincapié en la legibilidad. No hay ningún paso de compilación. Python tiene una biblioteca estándar grande, pero también admite la posibilidad de agregar módulos y paquetes. Esto fomenta la modularidad y permite expandir las funcionalidades cuando es necesario. Hay un ecosistema grande y en aumento de bibliotecas de inteligencia artificial y de aprendizaje automático para Python, incluidas muchas que están disponibles en Azure.
Introducción al aprendizaje automático con Python y Azure Notebooks
scikit-learn
. Una biblioteca de aprendizaje automático de código abierto para PythonPyTorch. Una biblioteca de Python de código abierto con un completo ecosistema que se puede usar para aprendizaje profundo, visión artificial, procesamiento de lenguaje natural, etc.
TensorFlow. Una biblioteca matemática simbólica de código abierto que también se usa para aplicaciones de aprendizaje automático y redes neuronales
Tutorial: Aplicación de modelos de aprendizaje automático en Azure Functions con Python y TensorFlow
R es un entorno y lenguaje para computación estadística y gráficos. Se puede usar para todo, desde la asignación de amplias tendencias de marketing y redes sociales en línea hasta el desarrollo de modelos financieros y climáticos.
Microsoft ha adoptado completamente el lenguaje de programación R y proporciona muchas opciones diferentes para que los desarrolladores de R ejecuten su código en Azure.
Información general sobre inteligencia artificial personalizada en Azure
Microsoft AI en GitHub: ejemplos, arquitecturas de referencia y procedimientos recomendados
Cuadernos del SDK de Azure Machine Learning para Python. Un repositorio de GitHub de cuadernos de ejemplo que muestran el SDK de Azure Machine Learning para Python.
Entrenamiento de modelos de R mediante la CLI de Azure Machine Learning (v2)
Testimonios de clientes
Los distintos sectores están aplicando inteligencia artificial de maneras innovadoras e inspiradoras. A continuación se muestran algunos casos prácticos de clientes y casos de éxito:
- Volkswagen: Traducción automática de Volkswagen en 40 idiomas
- Healthcare for All con Kry mediante Azure Open AI
- PIMCO aumenta el servicio de cliente con una plataforma de búsqueda con tecnología de inteligencia artificial basada en Azure AI
- Legrand y Azure OpenAI Service: Potenciación de soluciones más inteligentes con herramientas controladas por IA
- C.H. Robinson supera las barreras antiguas de décadas para automatizar la industria logística mediante Azure AI
Examinar más historias de clientes sobre inteligencia artificial
Información general sobre Microsoft AI
Obtenga más información sobre Microsoft AI y manténgase al día con las noticias relacionadas:
Centro de aprendizaje de IA.
Microsoft AI en GitHub: ejemplos, arquitecturas de referencia y procedimientos recomendados
Pasos siguientes
Para obtener información sobre los productos de desarrollo de inteligencia artificial disponibles en Microsoft, vaya a Inteligencia artificial de Microsoft.
Para obtener información sobre cómo desarrollar soluciones de inteligencia artificial, vaya al centro de aprendizaje de IA.
Microsoft AI en GitHub: Los ejemplos, arquitecturas de referencia y procedimientos recomendados organizan los repositorios basados en inteligencia artificial de código abierto de Microsoft y proporcionan tutoriales y materiales de aprendizaje.
Busque diagramas de arquitectura y descripciones de tecnología para arquitecturas de referencia de soluciones de IA.