Implantar modelos como APIs sem servidor
Neste artigo, você aprenderá a implantar um modelo do catálogo de modelos como uma API sem servidor com faturamento baseado em token pré-pago.
Importante
Os modelos que estão em pré-visualização são marcados como pré-visualização nos respetivos cartões de modelo no catálogo de modelos.
Certos modelos no catálogo de modelos podem ser implantados como uma API sem servidor com faturamento pré-pago. Esse tipo de implantação fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança e a conformidade corporativas de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.
Este artigo usa uma implantação de modelo Meta Llama para ilustração. No entanto, você pode usar as mesmas etapas para implantar qualquer um dos modelos no catálogo de modelos que estão disponíveis para implantação de API sem servidor.
Pré-requisitos
Uma subscrição do Azure com um método de pagamento válido. As subscrições gratuitas ou de avaliação do Azure não funcionarão. Se você não tiver uma assinatura do Azure, crie uma conta paga do Azure para começar.
Um hub do Azure AI Studio.
Um projeto do Azure AI Studio.
Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso a operações no Azure AI Studio. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Desenvolvedor do Azure AI no grupo de recursos. Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure AI Studio.
Você precisa instalar o seguinte software para trabalhar com o Azure AI Studio:
Você pode usar qualquer navegador da Web compatível para navegar no Azure AI Studio.
Encontre o seu modelo e ID de modelo no catálogo de modelos
- Entre no Azure AI Studio.
- Se ainda não estiver no seu projeto, selecione-o.
- Selecione Catálogo de modelos no painel de navegação esquerdo.
Nota
Para modelos oferecidos através do Azure Marketplace, certifique-se de que a sua conta tem as permissões de função Azure AI Developer no grupo de recursos ou que cumpre as permissões necessárias para subscrever ofertas de modelos.
Os modelos oferecidos por fornecedores que não são da Microsoft (por exemplo, modelos Llama e Mistral) são faturados através do Azure Marketplace. Para esses modelos, é necessário inscrever seu projeto na oferta de modelo específica. Os modelos oferecidos pela Microsoft (por exemplo, modelos Phi-3) não têm esse requisito, pois a cobrança é feita de forma diferente. Para obter detalhes sobre a cobrança da implantação sem servidor de modelos no catálogo de modelos, consulte Cobrança de APIs sem servidor.
Selecione o cartão modelo do modelo que você deseja implantar. Neste artigo, você seleciona um modelo Meta-Llama-3-8B-Instruct .
Se você estiver implantando o modelo usando a CLI do Azure, Python ou ARM, copie a ID do modelo.
Importante
Não inclua a versão ao copiar a ID do modelo. Os pontos de extremidade de API sem servidor sempre implantam a versão mais recente disponível do modelo. Por exemplo, para o ID
azureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct/versions/3
do modelo , copieazureml://registries/azureml-meta/models/Meta-Llama-3-8B-Instruct
.
A próxima seção aborda as etapas para inscrever seu projeto em uma oferta de modelo. Você pode pular esta seção e ir para Implantar o modelo em um ponto de extremidade de API sem servidor, se estiver implantando um modelo da Microsoft.
Subscreva o seu projeto na oferta modelo
Os pontos de extremidade de API sem servidor podem implantar modelos oferecidos pela Microsoft e não Microsoft. Para modelos da Microsoft (como modelos Phi-3), você não precisa criar uma assinatura do Azure Marketplace e pode implantá-los em pontos de extremidade de API sem servidor diretamente para consumir suas previsões. Para modelos que não sejam da Microsoft, você precisa criar a assinatura primeiro. Se for a primeira vez que implementa o modelo no projeto, tem de subscrever o seu projeto para a oferta de modelo específica do Azure Marketplace. Cada projeto tem a sua própria subscrição para a oferta específica do Azure Marketplace do modelo, que lhe permite controlar e monitorizar os gastos.
Gorjeta
Ignore esta etapa se estiver implantando modelos da família de modelos Phi-3. Implante diretamente o modelo em um ponto de extremidade de API sem servidor.
Nota
Os modelos oferecidos por meio do Azure Marketplace estão disponíveis para implantação em pontos de extremidade de API sem servidor em regiões específicas. Verifique a disponibilidade de modelo e região para implantações de API sem servidor para verificar quais modelos e regiões estão disponíveis. Se o que você precisa não estiver listado, você poderá implantar em um espaço de trabalho em uma região suportada e, em seguida , consumir pontos de extremidade de API sem servidor de um espaço de trabalho diferente.
Crie a assinatura do marketplace do modelo. Ao criar uma assinatura, você aceita os termos e condições associados à oferta modelo.
Na página Detalhes do modelo, selecione Implantar. Uma janela Opções de implantação é aberta, oferecendo a você a opção entre implantação de API sem servidor e implantação usando uma computação gerenciada.
Nota
Para modelos que podem ser implantados somente por meio da implantação de API sem servidor, o assistente de implantação de API sem servidor é aberto logo após você selecionar Implantar na página de detalhes do modelo.
Selecione Serverless API with Azure AI Content Safety (visualização) para abrir o assistente de implantação de API sem servidor.
Selecione o projeto no qual você deseja implantar seus modelos. Para usar a oferta de implantação de modelo de API sem servidor, seu projeto deve pertencer a uma das regiões com suporte para implantação sem servidor para o modelo específico.
Se vir a nota Já tem uma subscrição do Azure Marketplace para este projeto, não precisa de criar a subscrição, uma vez que já tem uma. Você pode prosseguir para Implantar o modelo em um ponto de extremidade de API sem servidor.
No assistente de implantação, selecione o link para Termos do Azure Marketplace para saber mais sobre os termos de uso. Você também pode selecionar a guia Preços e termos para saber mais sobre os preços do modelo selecionado.
Selecione Inscrever-se e Implantar.
Depois de inscrever o projeto para a oferta específica do Azure Marketplace, as implantações subsequentes da mesma oferta no mesmo projeto não exigem assinatura novamente.
A qualquer momento, você pode ver as ofertas modelo às quais seu projeto está inscrito no momento:
Aceda ao portal do Azure.
Navegue até o grupo de recursos ao qual o projeto pertence.
No filtro Tipo, selecione SaaS.
Você vê todas as ofertas às quais está inscrito no momento.
Selecione qualquer recurso para ver os detalhes.
Implantar o modelo em um ponto de extremidade de API sem servidor
Depois de criar uma assinatura para um modelo que não seja da Microsoft, você pode implantar o modelo associado em um ponto de extremidade de API sem servidor. Para modelos Microsoft (como modelos Phi-3), não é necessário criar uma assinatura.
O ponto de extremidade da API sem servidor fornece uma maneira de consumir modelos como uma API sem hospedá-los em sua assinatura, mantendo a segurança corporativa e a conformidade de que as organizações precisam. Essa opção de implantação não exige cota da sua assinatura.
Nesta seção, você cria um ponto de extremidade com o nome meta-llama3-8b-qwerty.
Criar o ponto de extremidade sem servidor
Para implantar um modelo da Microsoft que não exija a assinatura de uma oferta de modelo:
- Selecione Implantar e, em seguida, selecione API sem servidor com Segurança de Conteúdo do Azure AI (visualização) para abrir o assistente de implantação.
- Selecione o projeto no qual você deseja implantar seu modelo. Observe que nem todas as regiões são suportadas.
Como alternativa, para um modelo que não seja da Microsoft que exija uma assinatura de modelo, se você acabou de inscrever seu projeto na oferta de modelo na seção anterior, continue a selecionar Implantar. Como alternativa, selecione Continuar a implantar (se o assistente de implantação tiver a observação Você já tem uma assinatura do Azure Marketplace para este projeto).
Dê um nome à implantação. Esse nome se torna parte da URL da API de implantação. Essa URL deve ser exclusiva em cada região do Azure.
Gorjeta
A opção Filtro de conteúdo (visualização) está ativada por padrão. Deixe a configuração padrão para o serviço detetar conteúdo nocivo, como conteúdo de ódio, automutilação, sexual e violento. Para obter mais informações sobre filtragem de conteúdo (visualização), consulte Filtragem de conteúdo no Azure AI Studio.
Selecione Implementar. Aguarde até que a implantação esteja pronta e você seja redirecionado para a página Implantações.
A qualquer momento, você pode ver os pontos de extremidade implantados em seu projeto:
Vá para o seu projeto.
Na seção Meus ativos, selecione Modelos + pontos de extremidade.
Pontos de extremidade de API sem servidor são exibidos.
O ponto de extremidade criado usa autenticação de chave para autorização. Use as etapas a seguir para obter as chaves associadas a um determinado ponto de extremidade.
Você pode selecionar a implantação e anotar o URI e a chave de destino do ponto de extremidade. Use-os para chamar a implantação e gerar previsões.
Nota
Ao usar o portal do Azure, os pontos de extremidade de API sem servidor não são exibidos por padrão no grupo de recursos. Use a opção Mostrar tipos ocultos para exibi-los no grupo de recursos.
Neste ponto, seu endpoint está pronto para ser usado.
Se você precisar consumir essa implantação de um projeto ou hub diferente, ou se planeja usar o fluxo de prompt para criar aplicativos inteligentes, precisará criar uma conexão com a implantação de API sem servidor. Para saber como configurar um ponto de extremidade de API sem servidor existente em um novo projeto ou hub, consulte Consumir pontos de extremidade de API sem servidor implantados de um projeto diferente ou do fluxo de prompt.
Gorjeta
Se você estiver usando o fluxo de prompt no mesmo projeto ou hub em que a implantação foi implantada, ainda precisará criar a conexão.
Usar o ponto de extremidade da API sem servidor
Os modelos implantados no Azure Machine Learning e no Azure AI Studio em pontos de extremidade de API sem servidor dão suporte à API de Inferência de Modelo de IA do Azure que expõe um conjunto comum de recursos para modelos fundamentais e que pode ser usada por desenvolvedores para consumir previsões de um conjunto diversificado de modelos de maneira uniforme e consistente.
Leia mais sobre os recursos dessa API e como você pode usá-la ao criar aplicativos.
Isolamento da rede
Os pontos de extremidade para modelos implantados como APIs sem servidor seguem a configuração de sinalizador de acesso à rede pública (PNA) do AI Studio Hub que tem o projeto no qual a implantação existe. Para proteger seu endpoint MaaS, desative o sinalizador PNA no AI Studio Hub. Você pode proteger a comunicação de entrada de um cliente para seu ponto de extremidade usando um ponto de extremidade privado para o hub.
Para definir o sinalizador PNA para o hub do Azure AI Studio:
- Aceda ao portal do Azure.
- Procure o grupo de Recursos ao qual o hub pertence e selecione o hub de IA do Azure nos recursos listados para esse grupo de recursos.
- Na página Visão geral do hub no menu à esquerda, selecione Configurações>de rede.
- Na guia Acesso público, você pode definir configurações para o sinalizador de acesso à rede pública.
- Guardar as suas alterações. Suas alterações podem levar até cinco minutos para serem propagadas.
Excluir pontos de extremidade e assinaturas
Você pode excluir assinaturas de modelo e pontos de extremidade. A exclusão de uma assinatura de modelo faz com que qualquer ponto de extremidade associado se torne não íntegro e inutilizável.
Para excluir um ponto de extremidade de API sem servidor:
Vá para o Azure AI Studio.
Vá para o seu projeto.
Na seção Meus ativos, selecione Modelos + pontos de extremidade.
Abra a implantação que você deseja excluir.
Selecione Eliminar.
Para excluir a assinatura de modelo associada:
Aceda ao Portal do Azure
Navegue até o grupo de recursos ao qual o projeto pertence.
No filtro Tipo, selecione SaaS.
Selecione a subscrição que quer eliminar.
Selecione Eliminar.
Considerações sobre custo e cota para modelos implantados como pontos de extremidade de API sem servidor
A quota é gerida por implementação. Cada implementação tem um limite de taxa de 200 000 tokens por minuto e 1000 pedidos de API por minuto. No entanto, atualmente, limitamos uma implementação por modelo por projeto. Contacte o Suporte do Microsoft Azure se os limites de taxa atuais não forem suficientes para os seus cenários.
Custo para modelos Microsoft
Você pode encontrar as informações de preços na guia Preços e termos do assistente de implantação ao implantar modelos da Microsoft (como modelos Phi-3) como pontos de extremidade de API sem servidor.
Custo para modelos que não sejam da Microsoft
Os modelos que não são da Microsoft implantados como pontos de extremidade de API sem servidor são oferecidos por meio do Azure Marketplace e integrados ao Azure AI Studio para uso. Você pode encontrar os preços do Azure Marketplace ao implantar ou ajustar esses modelos.
Sempre que um projeto subscreve uma determinada oferta do Azure Marketplace, é criado um novo recurso para controlar os custos associados ao seu consumo. O mesmo recurso é usado para monitorizar os custos associados à inferência e à otimização; no entanto, estão disponíveis vários medidores para monitorizar cada cenário de forma independente.
Para obter mais informações sobre como controlar os custos, consulte Monitorizar custos dos modelos oferecidos através do Azure Marketplace.
Permissões necessárias para subscrever ofertas de modelos
Os controles de acesso baseados em função do Azure (Azure RBAC) são usados para conceder acesso a operações no Azure AI Studio. Para executar as etapas neste artigo, sua conta de usuário deve receber a função de Proprietário, Colaborador ou Desenvolvedor do Azure AI para a assinatura do Azure. Em alternativa, pode ser atribuída à sua conta uma função personalizada com as seguintes permissões:
Na subscrição do Azure — para subscrever o espaço de trabalho na oferta do Azure Marketplace, uma vez para cada espaço de trabalho, por oferta:
Microsoft.MarketplaceOrdering/agreements/offers/plans/read
Microsoft.MarketplaceOrdering/agreements/offers/plans/sign/action
Microsoft.MarketplaceOrdering/offerTypes/publishers/offers/plans/agreements/read
Microsoft.Marketplace/offerTypes/publishers/offers/plans/agreements/read
Microsoft.SaaS/register/action
No grupo de recursos — para criar e utilizar o recurso SaaS:
Microsoft.SaaS/resources/read
Microsoft.SaaS/resources/write
No espaço de trabalho — para implementar pontos finais (a função de cientista de dados do Azure Machine Learning já contém essas permissões):
Microsoft.MachineLearningServices/workspaces/marketplaceModelSubscriptions/*
Microsoft.MachineLearningServices/workspaces/serverlessEndpoints/*
Para obter mais informações sobre permissões, consulte Controle de acesso baseado em função no Azure AI Studio.