Catálogo de modelos y colecciones
El catálogo de modelos de Estudio de Azure Machine Learning es un centro en el que podrá descubrir y usar una amplia gama de modelos que le permitirán crear aplicaciones de inteligencia artificial generativa. El catálogo de modelos incluye cientos de modelos de proveedores de modelos como el servicio Azure OpenAI, Mistral, Meta, Cohere, Nvidia, Hugging Face, incluidos los modelos entrenados por Microsoft. Los modelos de proveedores distintos de Microsoft son Productos que no son de Microsoft, tal como se define en los Términos de producto de Microsoft, y están sujetos a los términos proporcionados con el modelo.
Colecciones de modelos
Los modelos se organizan mediante Colecciones en el catálogo de modelos. Hay tres tipos de colecciones en el catálogo de modelos:
- Modelos mantenidos por Azure AI: Los modelos de peso abierto y propiedades de terceros más populares empaquetados y optimizados para funcionar sin problemas en la plataforma de Azure AI. El uso de estos modelos está sujeto a los términos de licencia del proveedor de modelos proporcionados con el modelo. Cuando la implementación se realiza en Azure Machine Learning, la disponibilidad del modelo está sujeta al contrato de nivel de servicio de Azure aplicable y Microsoft proporciona soporte para los problemas de implementación. Los modelos de asociados como Meta, NVIDIA, Mistral AI son ejemplos de modelos disponibles en la colección "Mantenido por Azure AI" en el catálogo. Estos modelos se pueden identificar mediante una marca de verificación verde en los iconos del modelo del catálogo o puede filtrar por la colección "Mantenido por Azure AI".
- Modelos de Azure OpenAI, disponibles exclusivamente en Azure: modelos insignia de Azure OpenAI a través de la colección "Azure OpenAI" mediante una integración con Azure OpenAI Service. Microsoft admite estos modelos y su uso está sujeto a los términos del producto y al contrato de nivel de servicio de Azure OpenAI Service.
- Modelos abiertos de Hugging Face Hub: se puede acceder a cientos de modelos de Hugging Face Hub a través de la colección "Hugging Face" para la inferencia en tiempo real con puntos de conexión en línea. Hugging face crea y mantiene modelos enumerados en la colección HuggingFace. Use el foro de HuggingFace o el soporte técnico de HuggingFace para obtener ayuda. Obtenga más información sobre cómo implementar modelos de Hugging Face.
Sugerencias de adiciones al catálogo de modelos: puede enviar una solicitud para agregar un modelo al catálogo de modelos mediante este formulario.
Introducción a las funcionalidades del catálogo de modelos
Para obtener información sobre los modelos de Azure OpenAI, consulte Azure OpenAI Service.
En el caso de los modelos mantenidos por Azure AI y los modelos abiertos del centro Hugging Face, algunos de ellos se pueden implementar con una opción de proceso administrado y algunos de ellos están disponibles para implementarse mediante API sin servidor con facturación de pago por uso. Estos modelos se pueden detectar, comparar, evaluar, ajustar (cuando se admita), implementarse a escala e integrarse en las aplicaciones de inteligencia artificial generativa con seguridad y gobernanza de datos de nivel empresarial.
- Descubrir: Revisar tarjetas de modelo, probar la inferencia de ejemplo y examinar ejemplos de código para evaluar, ajustar o implementar el modelo.
- Comparar: Comparar pruebas comparativas entre modelos y conjuntos de datos disponibles en el sector para evaluar cuál cumple su escenario empresarial.
- Evaluar: evalúe si el modelo es adecuado para su carga de trabajo específica al proporcionar sus propios datos de prueba. Las métricas de evaluación facilitan la visualización del rendimiento del modelo seleccionado en su escenario.
- Ajuste: personalice modelos ajustables mediante sus propios datos de entrenamiento y elija el mejor modelo comparando las métricas de todos los ajustes. Las optimizaciones integradas aceleran el ajuste preciso y reducen la memoria y el proceso necesarios para realizar el ajuste.
- Implementación: implemente modelos entrenados previamente o modelos optimizados sin problemas para la inferencia. Los modelos que se pueden implementar en el proceso administrado también se pueden descargar.
Implementación de modelos: API de proceso administrada y sin servidor (pago por uso)
Catálogo de modelos ofrece dos maneras distintas de implementar modelos desde el catálogo para su uso: API de proceso administradas y sin servidor. Cada modelo tiene diferentes opciones de implementación disponibles; obtenga más información sobre las características de las opciones de implementación y las opciones disponibles para modelos específicos en las tablas siguientes. Obtenga más información sobre el procesamiento de datos con las opciones de implementación.
| Características | Proceso administrado | API sin servidor (pago por uso) |
|---|---|---|
| Experiencia de implementación y facturación | Los pesos del modelo se implementan en máquinas virtuales dedicadas con puntos de conexión en línea administrados. El punto de conexión en línea administrado, que puede tener una o varias implementaciones, pone a disposición una API de REST para la inferencia. Se le facturan las horas principales de la máquina virtual usadas por las implementaciones. | El acceso a los modelos se realiza a través de una implementación que aprovisiona una API para acceder al modelo. La API proporciona acceso al modelo hospedado en un grupo de GPU central, administrado por Microsoft, para la inferencia. Este modo de acceso se conoce como "Modelos como servicio". Se le facturan entradas y salidas a las API, normalmente en tokens; se proporciona información de precios antes de implementar. |
| Autenticación de API | Autenticación de Microsoft Entra ID y claves. Más información. | Solo claves. |
| Seguridad del contenido | Use las API del servicio Azure Content Safety. | Los filtros de seguridad de contenido de Azure AI están disponibles integrados con las API de inferencia. Los filtros de seguridad de contenido de Azure AI se pueden facturar por separado. |
| Aislamiento de red avanzado | Red virtual administrada con puntos de conexión en línea. Más información. |
Opciones de implementación
| Modelo | Proceso administrado | API sin servidor (pago por uso) |
|---|---|---|
| Modelos de familia llama | Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat Llama-3-8B-Instruct Llama-3-70B-Instruct Llama-3-8B Llama-3-70B |
Llama-3-70B-Instruct Llama-3-8B-Instruct Llama-2-7b Llama-2-7b-chat Llama-2-13b Llama-2-13b-chat Llama-2-70b Llama-2-70b-chat |
| Modelos de familia Mistral | mistralai-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x22B-Instruct-v0-1 mistral-community-Mixtral-8x22B-v0-1 mistralai-Mixtral-8x7B-v01 mistralai-Mistral-7B-Instruct-v0-2 mistralai-Mistral-7B-v01 mistralai-Mixtral-8x7B-Instruct-v01 mistralai-Mistral-7B-Instruct-v01 |
Mistral-large (2402) Mistral-large (2407) Mistral-small Ministral-3B Mistral-Nemo |
| Modelos de familia Cohere | No disponible | Cohere-command-r-plus-08-2024 Cohere-command-r-08-2024 Cohere-command-r-plus Cohere-command-r Cohere-embed-v3-english Cohere-embed-v3-multilingual Cohere-rerank-v3-english Cohere-rerank-v3-multilingual |
| JAIS | No disponible | jais-30b-chat |
| Modelos de familia Phi-3 | Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3-vision-128k-Instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
Phi-3-mini-4k-Instruct Phi-3-mini-128k-Instruct Phi-3-small-8k-Instruct Phi-3-small-128k-Instruct Phi-3-medium-4k-instruct Phi-3-medium-128k-instruct Phi-3.5-mini-Instruct Phi-3.5-vision-Instruct Phi-3.5-MoE-Instruct |
| Nixtla | No disponible | TimeGEN-1 |
| Otros modelos | Disponible | No disponible |
Proceso administrado
La capacidad de implementar modelos con procesos administrados se basa en funcionalidades de plataforma de Azure Machine Learning para habilitar la integración sin problemas, en todo el ciclo de vida de LLMOps, de la amplia colección de modelos del catálogo de modelos.
¿Cómo están disponibles los modelos para el proceso administrado?
Los modelos se ponen a su disposición a través de los registros de Azure Machine Learning que permiten el primer enfoque de ML para recursos de hospedaje y distribución de Machine Learning, como pesos de modelos, entornos de ejecución de contenedor para ejecutar los modelos, canalizaciones para evaluar y ajustar los modelos y conjuntos de datos para puntos de referencia y ejemplos. Estos registros de ML se basan en una infraestructura altamente escalable y lista para la empresa que ofrece las siguientes ventajas:
Ofrece artefactos de modelo de acceso de baja latencia a todas las regiones de Azure con replicación geográfica integrada.
Admite requisitos de seguridad empresarial, como la limitación del acceso a los modelos con Azure Policy y la implementación segura con redes virtuales administradas.
Evaluación y ajuste de modelos implementados con proceso administrado
Puede evaluar y ajustar la recopilación "Mantenido por Azure AI" en Azure Machine Learning mediante canalizaciones de Azure Machine Learning. Puede optar por traer su propio código de evaluación y ajuste y simplemente acceder a los pesos del modelo o usar componentes de Azure Machine Learning que ofrecen funcionalidades integradas de evaluación y ajuste. Para obtener más información, haga clic en este vínculo.
Implementación de modelos para la inferencia con proceso administrado
Los modelos disponibles para la implementación con proceso administrado se pueden implementar en puntos de conexión en línea de Azure Machine Learning para la inferencia en tiempo real o se pueden usar para la inferencia por lotes de Azure Machine Learning para procesar por lotes los datos. La implementación en un proceso administrado requiere que tenga cuota de máquina virtual en la suscripción de Azure para las SKU específicas necesarias para ejecutar el modelo de forma óptima. Algunos modelos le permiten realizar la implementación en una cuota compartida temporalmente para probar el modelo. Más información sobre la implementación de modelos:
- Implementación de modelos Meta Llama
- Implementación de modelos abiertos creados por Azure AI
- Implementación de modelos de Hugging Face
Creación de aplicaciones de IA generativas con proceso administrado
Flujo de avisos ofrece funcionalidades para crear prototipos, experimentar, iterar e implementar las aplicaciones de IA. Puede usar modelos implementados con proceso administrado en Prompt Flow con la herramienta Open Model LLM. También puede usar la API de REST expuesta por los procesos administrados en herramientas de LLM populares como LangChain con la Extensión de Azure Machine Learning.
Seguridad del contenido para los modelos implementados con proceso administrado
El servicio de seguridad de contenido de Azure AI (AACS) está disponible para su uso con modelos implementados para el proceso administrado para detectar diversas categorías de contenido perjudicial, como contenido sexual, violencia, odio y autolesión y amenazas avanzadas, como la detección de riesgos de Jailbreak y la detección de texto de material protegido. Puede consultar este cuaderno para la integración de referencias con AACS para Llama 2 o usar la herramienta Seguridad del contenido (texto) del Flujo de avisos para pasar respuestas del modelo a AACS para su filtrado. Se le facturará por separado según los precios de AACS para dicho uso.
Trabajar con modelos que no están en el catálogo de modelos
Para los modelos que no están disponibles en el catálogo de modelos, Azure Machine Learning proporciona una plataforma abierta y extensible para trabajar con modelos de su elección. Puede traer un modelo con cualquier marco o entorno de ejecución mediante las funcionalidades de la plataforma abierta y extensible de Azure Machine Learning, como los entornos de Azure Machine Learning para contenedores que pueden empaquetar marcos y entornos de ejecución y las canalizaciones de Azure Machine Learning para que el código evalúe o ajuste los modelos. Consulte este cuaderno para obtener una referencia de ejemplo para importar modelos y trabajar con los entornos de ejecución y las canalizaciones integrados.
API sin servidor con facturación de pago por uso
Algunos modelos del catálogo de modelos se pueden implementar como API sin servidor con facturación de pago por uso; este método de implementación se denomina Models-as-a Service (MaaS). Los modelos disponibles a través de MaaS se hospedan en la infraestructura administrada por Microsoft, lo que permite el acceso basado en API al modelo del proveedor de modelos. El acceso basado en API puede reducir drásticamente el costo de acceder a un modelo y simplificar significativamente la experiencia de aprovisionamiento. La mayoría de los modelos MaaS incluyen precios basados en tokens.
¿Cómo están disponibles los modelos de terceros en MaaS?
El proveedor de modelos ofrece modelos disponibles para la implementación como API sin servidor con facturación de pago por uso, pero hospedados en la infraestructura de Azure administrada por Microsoft y a los que se accede a través de la API. Los proveedores de modelos definen los términos de licencia y establecen el precio para su uso de sus modelos, mientras que Azure Machine Learning Service administra la infraestructura de hospedaje, hace que las API de inferencia estén disponibles y actúe como el procesador de datos para solicitar solicitudes enviadas y salidas de contenido por modelos implementados a través de MaaS. Obtenga más información sobre el procesamiento de datos para MaaS en el artículo privacidad de datos.
Pago por el uso del modelo en MaaS
La experiencia de detección, suscripción y consumo de los modelos implementados a través de MaaS se encuentra en Azure AI Studio y Azure Machine Learning Studio. Los usuarios aceptan los términos de licencia para el uso de los modelos y se proporciona información de precios para el consumo durante la implementación. Los modelos de proveedores de terceros se facturan a través de Azure Marketplace, de acuerdo con las Condiciones de uso de Marketplace comercial; los modelos de Microsoft se facturan mediante medidores de Azure como servicios de consumo de primera entidad. Tal y como se describe en los Términos del producto, los servicios de consumo de primera entidad se compran mediante medidores de Azure, pero no están sujetos a los términos del servicio de Azure; el uso de estos modelos está sujeto a los términos de licencia proporcionados.
Implementación de modelos para la inferencia a través de MaaS
La implementación de un modelo a través de MaaS permite a los usuarios acceder a las API de inferencia listas para usar las API de inferencia sin necesidad de configurar la infraestructura ni aprovisionar GPU, lo que ahorra tiempo y recursos de ingeniería. Estas API se pueden integrar con varias herramientas de LLM y el uso se facturan como se describe en la sección anterior.
Ajuste de modelos a través de MaaS con pago por uso
Para los modelos que están disponibles a través de MaaS y admiten ajustes, los usuarios pueden aprovechar el ajuste hospedado con facturación de pago por uso para adaptar los modelos utilizando los datos que proporcionan. Para más información, consulte Ajuste de un modelo Llama 2 en Inteligencia artificial de Azure Studio.
RAG con modelos implementados a través de MaaS
Azure AI Studio permite a los usuarios usar los índices vectoriales y la generación aumentada de recuperación. Los modelos que se pueden implementar a través de la API sin servidor se pueden usar para generar inserciones e inferencias basadas en datos personalizados para generar respuestas específicas de su caso de uso. Para obtener más información, consulte Generación aumentada de recuperación e índices.
Disponibilidad regional de ofertas y modelos
La facturación de pago por uso solo está disponible para los usuarios cuya suscripción de Azure pertenece a una cuenta de facturación en un país en el que el proveedor de modelos ha puesto la oferta disponible. Si la oferta está disponible en la región pertinente, el usuario debe tener un centro o proyecto en la región de Azure donde el modelo esté disponible para la implementación o ajuste, según corresponda. Para obtener más información, consulte Disponibilidad de regiones para modelos en puntos de conexión de API sin servidor.
Seguridad del contenido para los modelos implementados a través de MaaS
Importante
Esta característica actualmente está en su versión preliminar pública. Esta versión preliminar se ofrece sin un Acuerdo de Nivel de Servicio y no se recomienda para cargas de trabajo de producción. Es posible que algunas características no sean compatibles o que tengan sus funcionalidades limitadas.
Para más información, consulte Términos de uso complementarios de las Versiones Preliminares de Microsoft Azure.
En el caso de los modelos de lenguaje implementados a través de API sin servidor, Azure AI implementa una configuración predeterminada de filtros de moderación de texto de Seguridad del contenido de Azure AI que detectan contenido dañino, como odio, autolesión, contenido sexual y violento. Para más información sobre el filtrado de contenido (versión preliminar), consulte Categorías de daños en Azure AI Content Safety.
Sugerencia
Filtrado de contenido (versión preliminar) no está disponible para determinados tipos de modelo que se implementan a través de API sin servidor. Estos tipos de modelo incluyen la inserción de modelos y modelos de serie temporal.
El filtrado de contenido (versión preliminar) se produce de forma sincrónica a medida que el servicio procesa las solicitudes para generar contenido. Es posible que se le facture por separado según los precios de seguridad de contenido de Azure AI para este uso. Puede deshabilitar el filtrado de contenido (versión preliminar) para puntos de conexión individuales sin servidor:
- En el momento en que se implementa por primera vez un modelo de lenguaje
- Más adelante, seleccionando el botón de alternancia filtrado de contenido en la página de detalles de implementación
Supongamos que decide usar una API distinta de la API de inferencia de modelo de Azure AI para trabajar con un modelo implementado a través de una API sin servidor. En tal situación, el filtrado de contenido (versión preliminar) no está habilitado a menos que lo implemente por separado mediante Seguridad del contenido de Azure AI.
Para empezar a usar Seguridad del contenido de Azure AI, consulte Inicio rápido: analizar contenido de texto. Si no usa el filtrado de contenido (versión preliminar) al trabajar con modelos que se implementan a través de API sin servidor, corre un mayor riesgo de exponer a los usuarios a contenido perjudicial.
Aislamiento de red para los modelos implementados a través de API sin servidor
Los puntos de conexión de los modelos implementados como API sin servidor siguen la configuración de la marca de acceso a la red pública (PNA) del área de trabajo en la que existe la implementación. Para proteger el punto de conexión de MaaS, deshabilite la marca PNA en el área de trabajo. Puede proteger la comunicación entrante de un cliente al punto de conexión mediante un punto de conexión privado para el área de trabajo.
Para establecer la marca PNA para el área de trabajo:
- Vaya a Azure Portal.
- Busque Azure Machine Learning y seleccione el área de trabajo en la lista de áreas de trabajo.
- En la página Información general, use el panel de navegación izquierdo para ir a Configuración>Redes.
- En la pestaña Acceso público, puede configurar las opciones de la marca de acceso de red pública.
- Guarde los cambios. Los cambios pueden tardar hasta cinco minutos en propagarse.
Limitaciones
- Si tiene un área de trabajo con un punto de conexión privado creado antes del 11 de julio de 2024, los nuevos puntos de conexión de MaaS agregados a esta área de trabajo no seguirán su configuración de red. En su lugar, debe crear un nuevo punto de conexión privado para el área de trabajo y crear nuevas implementaciones de API sin servidor en el área de trabajo para que las nuevas implementaciones puedan seguir la configuración de red del área de trabajo.
- Si tiene un área de trabajo con implementaciones de MaaS creadas antes del 11 de julio de 2024 y habilita un punto de conexión privado en esta área de trabajo, las implementaciones de MaaS existentes no seguirán la configuración de red del área de trabajo. En el caso de las implementaciones de API sin servidor en el área de trabajo para seguir la configuración del área de trabajo, debe volver a crear las implementaciones.
- Actualmente, la compatibilidad con los datos no está disponible para las implementaciones de MaaS en áreas de trabajo privadas, ya que las áreas de trabajo privadas tienen deshabilitada la marca PNA.
- Cualquier cambio de configuración de red (por ejemplo, habilitar o deshabilitar la marca de PNA) puede tardar hasta cinco minutos en propagarse.
Saber más
- Obtenga información sobre cómo usar modelos fundacionales en Azure Machine Learning para ajustar, evaluar e implementar estos modelos mediante la interfaz de usuario de Estudio de Azure Machine Learning o métodos basados en código.
- Explore el Catálogo de modelo en Estudio de Azure Machine Learning. Necesita un área de trabajo de Azure Machine Learning para explorar el catálogo.
- Evalúe, ajuste e implemente modelos mantenidos por Azure Machine Learning.