Compartir vía


Implementación de modelos como API sin servidor

En este artículo, aprenderá a implementar un modelo desde el catálogo de modelos como una API sin servidor con facturación basada en tokens de pago por uso.

Importante

Los modelos que están en versión preliminar se marcan como versión preliminar en sus tarjetas de modelo en el catálogo de modelos.

Algunos modelos del catálogo de modelo se pueden implementar como una API sin servidor con la facturación de pago por uso. Este tipo de implementación proporciona una manera de consumir modelos como una API sin hospedarlos en la suscripción, a la vez que mantiene la seguridad empresarial y el cumplimiento que necesitan las organizaciones. Esta opción de implementación no requiere cuota de la suscripción.

En este artículo se usa una implementación de modelos de Meta Llama para ilustrarlo. Sin embargo, puede usar los mismos pasos para implementar cualquiera de los modelos en el catálogo de modelos que están disponibles para la implementación de API sin servidor.

Requisitos previos

  • Una suscripción de Azure con un método de pago válido. Las suscripciones gratuitas o de evaluación de Azure no funcionarán. Si no tiene una suscripción de Azure, cree una cuenta de Azure de pago para comenzar.

  • Un centro de Azure AI Foundry.

  • Un proyecto Azure AI Foundry.

  • Los controles de acceso basado en roles de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en el portal de Azure AI Foundry. Para realizar los pasos descritos en este artículo, la cuenta de usuario debe tener asignado el rol Desarrollador de Azure AI en el grupo de recursos. Para más información sobre los permisos, consulte control de acceso basado en roles en el portal de Azure AI Foundry.

  • Necesita instalar el siguiente software para trabajar con Azure AI Foundry:

    Puede usar cualquier explorador web compatible para navegar por Azure AI Foundry.

Busque el modelo y el identificador del modelo en el catálogo de modelos

  1. Inicie sesión en Azure AI Foundry.
  2. Si aún no está en el proyecto, selecciónelo.
  3. Seleccione Catálogo de modelos en el panel de navegación izquierdo.

Nota:

En el caso de los modelos ofrecidos a través de Azure Marketplace, asegúrese de que la cuenta tenga permisos de rol de Desarrollador de Azure AI en el grupo de recursos o que cumpla con los permisos necesarios para suscribirse a las ofertas de modelos.

Los modelos que ofrecen los proveedores que no son de Microsoft (por ejemplo: los modelos Llama y Mistral) se facturan a través de Azure Marketplace. Para estos modelos, es necesario suscribir el proyecto a la oferta de modelos concreta. Los modelos que ofrece Microsoft (por ejemplo: los modelos Phi-3) no tienen este requisito, ya que la facturación se realiza de forma diferente. Para obtener más información sobre la facturación de la implementación sin servidor de modelos en el catálogo de modelos, consulte Facturación de LAS APIsin servidor.

  1. Seleccione la tarjeta de modelo del modelo que desea implementar. En este artículo, seleccionará un modelo Meta-Llama-3-8B-Instruct.

    1. Si va a implementar el modelo mediante la CLI de Azure, Python o ARM, copie el identificador de modelo.

      Importante

      No incluya la versión al copiar el Identificador del modelo. Los puntos de conexión de API sin servidor siempre implementan la versión más reciente del modelo disponible. Por ejemplo, para el identificador de modelo azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3, copie azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct.

    Captura de pantalla que muestra la página de detalles de un modelo.

En la sección siguiente se describen los pasos para suscribir el proyecto a una oferta de modelos. Omita esta sección y vaya a Implementar el modelo en un punto de conexión de API sin servidor si va a implementar un modelo de Microsoft.

Suscripción del proyecto a la oferta del modelo

Los puntos de conexión de API sin servidor pueden implementar modelos ofrecidos por Microsoft y que no son de Microsoft. En el caso de los modelos de Microsoft (como los modelos Phi-3), no es necesario crear una suscripción de Azure Marketplace y puede implementarlos en puntos de conexión de API sin servidor directamente para consumir sus predicciones. Para los modelos que no son de Microsoft, primero debe crear la suscripción. Si es la primera vez que implementa el modelo en el proyecto, tendrá que suscribirse al proyecto para la oferta de modelo concreta de Azure Marketplace. Cada proyecto tiene su propia suscripción a la oferta concreta de Azure Marketplace del modelo, lo que te permite controlar y supervisar los gastos.

Sugerencia

Omita este paso si va a implementar modelos de la familia de modelos Phi-3. Implemente directamente el modelo en un punto de conexión de API sin servidor.

Nota:

Los modelos que se ofrecen a través de Azure Marketplace están disponibles para la implementación en puntos de conexión de API sin servidor en regiones específicas. Compruebe disponibilidad de modelo y región para las implementaciones de API sin servidor para comprobar qué modelos y regiones están disponibles. Si no se muestra el que necesita, puede implementar en un área de trabajo en una región admitida y, a continuación, consumir puntos de conexión de API sin servidor desde otra área de trabajo.

  1. Cree la suscripción de Marketplace del modelo. Al crear una suscripción, acepta los términos y condiciones asociados a la oferta del modelo.

    1. En la página Detalles del modelo, seleccione Implementar. Se abre una ventana de Opciones de implementación, que le permite elegir entre la implementación de API sin servidor y la implementación usando un equipo administrado.

      Nota:

      En el caso de los modelos que solo se pueden implementar a través de la implementación de API sin servidor, el Asistente para la implementación de API sin servidor se abre justo después de seleccionar Implementar en la página de detalles del modelo.

    2. Seleccione API sin servidor con Seguridad del contenido de Azure AI (versión preliminar) para abrir el Asistente para la implementación de API sin servidor.

    3. Seleccione el proyecto en el que desea implementar los modelos. Para usar la oferta de implementación de modelos de API sin servidor, el proyecto debe pertenecer a una de las regiones compatibles con la implementación sin servidor para el modelo determinado.

      Captura de pantalla que muestra cómo implementar un modelo con la opción API sin servidor.

    4. Si ve la nota Ya tiene una suscripción de Azure Marketplace para este proyecto, no es necesario crear la suscripción, ya que ya tiene una. Puede proceder a Implementar el modelo en un punto de conexión de API sin servidor.

    5. En el Asistente para la implementación, selecciona el vínculo a Términos de Azure Marketplace para obtener más información sobre los términos de uso. También puede seleccionar la pestaña Precios y términos para obtener información sobre los precios del modelo seleccionado.

    6. Seleccione Suscribir e implementar.

  2. Una vez que suscribas el proyecto para la oferta concreta de Azure Marketplace, las implementaciones posteriores de la misma oferta en el mismo proyecto no requieren la suscripción de nuevo.

  3. En cualquier momento, puede ver las ofertas del modelo a las que el proyecto está suscrito actualmente:

    1. Vaya a Azure Portal.

    2. Vaya al grupo de recursos al que pertenece el proyecto.

    3. En el filtroTipo, seleccione SaaS.

    4. Verá todas las ofertas a las que está suscrito actualmente.

    5. Seleccione cualquier recurso para ver los detalles.

Implementación del modelo en un punto de conexión de API sin servidor

Una vez que se cree la suscripción para un modelo que no sea de Microsoft, implemente el modelo asociado en un punto de conexión de API sin servidor. Para los modelos de Microsoft (como los modelos Phi-3) no es necesario crear una suscripción.

El punto de conexión de API sin servidor proporciona una manera de consumir modelos como UNA API sin hospedarlos en su suscripción, a la vez que mantiene las necesidades de las organizaciones de seguridad y cumplimiento empresariales. Esta opción de implementación no requiere cuota de la suscripción.

En esta sección, creará un punto de conexión con el nombre meta-llama3-8b-qwerty.

  1. Creación del punto de conexión sin servidor

    1. Para implementar un modelo de Microsoft que no requiera suscribirse a una oferta de modelos:

      1. Seleccione Implementar y, a continuación, seleccione API sin servidor con Seguridad del contenido de Azure AI (versión preliminar) para abrir el asistente de implementación.
      2. Selecciona el proyecto en el que deseas implementar el modelo. Observe que no se admiten todas las regiones.
    2. Como alternativa, para un modelo que no sea de Microsoft que requiera una suscripción de modelo, si acaba de suscribir el proyecto a la oferta del modelo en la sección anterior, continúe seleccionando Implementar. Como alternativa, seleccione Continuar para implementar (si el asistente de implementación tenía la nota Ya tiene una suscripción de Azure Marketplace para este proyecto).

      Captura de pantalla en la que se que muestra un proyecto que ya está suscrito a la oferta.

    3. Asigne un nombre a la implementación. Este nombre forma parte de la dirección URL de la API de implementación. Esta dirección URL debe ser única en cada región de Azure.

      Captura de pantalla que muestra cómo especificar el nombre de la implementación que desea crear.

      Sugerencia

      La opción Filtro de contenido (versión preliminar) está habilitada de manera predeterminada. Deje la configuración predeterminada para que el servicio detecte contenido dañino, como odio, autolesión, contenido sexual y violento. Para más información sobre el filtrado de contenido (versión preliminar), consulte Filtrado de contenido en el portal Azure AI Foundry.

    4. Seleccione Implementar. Espere hasta que la implementación esté lista y se le redirigirá a la página Implementaciones.

  2. En cualquier momento, puede ver los puntos de conexión implementados en el proyecto:

    1. Vaya a su proyecto.

    2. En la sección Mis recursos, seleccione Modelos y puntos de conexión.

    3. Se muestran los puntos de conexión de API sin servidor.

  3. El punto de conexión creado usa la autenticación de clave para la autorización. Siga estos pasos para obtener las claves asociadas a un punto de conexión determinado.

    Puede seleccionar la implementación y anotar el URI de destino y la clave del punto de conexión. Úselos para llamar a la implementación y generar predicciones.

    Nota:

    Al usar Azure Portal, los puntos de conexión de API sin servidor no se muestran de manera predeterminada en el grupo de recursos. Use la opciónMostrar tipos ocultos para mostrarlos en el grupo de recursos.

  4. En este momento, el punto de conexión está listo para usarse.

  5. Si necesita consumir esta implementación desde otro proyecto o centro de conectividad, o planea usar el flujo de solicitud para compilar aplicaciones inteligentes, debe crear una conexión a la implementación de API sin servidor. Para obtener información sobre cómo configurar un punto de conexión de API sin servidor existente en un nuevo proyecto o centro de conectividad, consulte Consumo de puntos de conexión de API sin servidor implementados desde un proyecto diferente o desde el flujo de solicitud.

    Sugerencia

    Si usa el flujo de solicitud en el mismo proyecto o centro donde se implementó la implementación, deberá crear la conexión.

Use el punto de conexión de API sin servidor

Los modelos implementados en Azure Machine Learning y Azure AI Foundry en puntos de conexión de API sin servidor admiten la API de inferencia de modelos de Azure AI que expone un conjunto común de funcionalidades para modelos fundamentales y que los desarrolladores pueden usar para consumir predicciones de un conjunto diverso de modelos de forma uniforme y coherente.

Obtenga más información sobre las Funcionalidades de esta API y cómo usarla al compilar aplicaciones.

Aislamiento de red avanzado

Los puntos de conexión de los modelos implementados como API sin servidor siguen la configuración de la marca de acceso a la red pública (PNA) del centro del portal AI Foundry que tiene el proyecto en el que existe la implementación. Para proteger el punto de conexión de MaaS, deshabilite la marca PNA en el centro de AI Foundry. Puede proteger la comunicación entrante de un cliente al punto de conexión mediante un punto de conexión privado para el centro.

Para establecer la marca PNA para el centro de Azure AI Foundry:

  1. Vaya a Azure Portal.
  2. Busque el grupo de recursos al que pertenece el centro de conectividad y seleccione el Centro de Azure AI en los recursos enumerados para este grupo de recursos.
  3. En la página Información general del centro en el menú de la izquierda, seleccione Configuración>Redes.
  4. En la pestaña Acceso público, puede configurar las opciones de la marca de acceso de red pública.
  5. Guarde los cambios. Los cambios pueden tardar hasta cinco minutos en propagarse.

Eliminación de puntos de conexión y suscripciones

Puede eliminar suscripciones y puntos de conexión del modelo. La eliminación de una suscripción modelo hace que cualquier punto de conexión asociado se convierta en Incorrecto e inutilizable.

Para eliminar un punto de conexión de API sin servidor:

  1. Vaya al Azure AI Foundry.

  2. Vaya a su proyecto.

  3. En la sección Mis recursos, seleccione Modelos y puntos de conexión.

  4. Abra la implementación que desea eliminar.

  5. Seleccione Eliminar.

Para eliminar la suscripción del modelo asociado:

  1. Vaya a Azure Portal.

  2. Vaya al grupo de recursos al que pertenece el proyecto.

  3. En el filtroTipo, seleccione SaaS.

  4. Seleccione la suscripción que quiere eliminar.

  5. Seleccione Eliminar.

Consideraciones de costo y cuota para los modelos implementados como puntos de conexión de API sin servidor

La cuota se administra por implementación. Cada implementación tiene un límite de velocidad de 200 000 tokens por minuto y 1000 solicitudes de API por minuto. Sin embargo, actualmente limitamos una implementación por modelo por proyecto. Póngase en contacto con el Soporte técnico de Microsoft Azure si los límites de velocidad actuales no son suficientes para sus escenarios.

Coste de los modelos de Microsoft

Encontrará información sobre los precios en la pestaña Precios y términos del Asistente para la implementación al implementar modelos de Microsoft (como modelos Phi-3) como puntos de conexión de API sin servidor.

Coste de los modelos que no son de Microsoft

Los modelos que no sean de Microsoft implementados como puntos de conexión de API sin servidor se ofrecen a través de Azure Marketplace e integrados con Inteligencia artificial de Azure AI Foundry para su uso. Encontrará los precios de Azure Marketplace al implementar o ajustar estos modelos.

Cada vez que un proyecto se suscribe a una oferta determinada de Azure Marketplace, se crea un nuevo recurso para realizar un seguimiento de los costos asociados a su consumo. El mismo recurso se usa para hacer un seguimiento de los costos asociados con la inferencia y la optimización. Sin embargo, hay varios medidores disponibles para hacer un seguimiento de cada escenario de forma independiente.

Para más información sobre cómo realizar un seguimiento de los costos, consulte Supervisión de los costos de los modelos ofrecidos en Azure Marketplace.

Captura de pantalla en la que se muestran varios recursos correspondientes a diferentes ofertas de modelos y los medidores asociados.

Permisos necesarios para suscribirse a ofertas de modelo

Los controles de acceso basado en roles de Azure (RBAC de Azure) se usan para conceder acceso a las operaciones en el portal de Azure AI Foundry. Para realizar los pasos descritos en este artículo, se debe asignar a la cuenta de usuario el rol de Propietario, Colaborador o Rol de desarrollador de Inteligencia artificial de Azure para la suscripción de Azure. Como alternativa, a la cuenta se le puede asignar un rol personalizado que tenga los permisos siguientes:

  • En la suscripción de Azure: para suscribir el área de trabajo a la oferta de Azure Marketplace, una vez para cada área de trabajo, por oferta:

    • Microsoft.MarketplaceOrdering/agreements/offers/plans/read
    • Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
    • Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
    • Microsoft.SaaS/register/action
  • En el grupo de recursos, para crear y usar el recurso de SaaS:

    • Microsoft.SaaS/resources/read
    • Microsoft.SaaS/resources/write
  • En el área de trabajo, para implementar puntos de conexión (el rol científico de datos de Azure Machine Learning ya contiene estos permisos):

    • Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
    • Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*

Para más información sobre los permisos, consulte control de acceso basado en roles en el portal de Azure AI Foundry.