Perguntas frequentes sobre o serviço de inferência do modelo de IA do Azure

O serviço OpenAI do Azure fornece aos clientes acesso a modelos de idioma avançados do OpenAI. O serviço de inferência de modelos de IA do Azure fornece aos clientes acesso a todos os modelos principais da IA do Azure, incluindo laboratórios do Azure OpenAI, Cohere, Mistral AI, Meta Llama, AI21 etc. Esse acesso está sob o mesmo serviço, ponto de extremidade e credenciais. Os clientes podem alternar perfeitamente entre modelos sem alterar o código.

O Serviço OpenAI do Azure e o serviço de inferência de modelo de IA do Azure fazem parte da família de serviços de IA do Azure e se baseiam na mesma promessa de segurança e empresa do Azure.

Embora o serviço de inferência do modelo de IA do Azure se concentre na inferência, o Serviço OpenAI do Azure pode ser usado com APIs mais avançadas, como lote, ajuste fino, assistentes e arquivos.

Os Modelos de IA do Azure e o Serviço Azure OpenAI fornecem aos clientes acesso a modelos de idioma avançados do OpenAI com a promessa de segurança e empresa do Azure. O OpenAI do Azure desenvolve as APIs em conjunto com a OpenAI, garantindo a compatibilidade e uma transição suave de uma para a outra.

Os clientes obtêm os recursos de segurança do Microsoft Azure enquanto executam os mesmos modelos que o OpenAI. Ele oferece rede privada, disponibilidade regional e filtragem de conteúdo de IA responsável.

Saiba mais sobre o serviço do Azure OpenAI.

Os serviços de IA do Azure são um conjunto de serviços de IA que fornecem APIs predefinidas para cenários comuns de IA. Um deles é o serviço de inferência de modelo de IA do Azure que se concentra no serviço de inferência de diferentes modelos de última geração. O Estúdio de IA do Azure é uma ferramenta baseada na Web que permite criar, treinar e implantar modelos de machine learning. Os serviços de IA do Azure podem ser usados no estúdio de IA do Azure para aprimorar seus modelos com recursos de IA predefinidos.

Ambas as tecnologias permitem implantar modelos sem a necessidade de recursos de computação, pois são baseados na ideia Modelos como Serviço. As implantações de modelo de API sem servidor permitem implantar um único modelo em um ponto de extremidade e credenciais exclusivos. Você precisa criar um ponto de extremidade diferente para cada modelo que deseja implantar. Além disso, eles são sempre criados no contexto do projeto e, embora possam ser compartilhados criando conexões de outros projetos, eles residem no contexto de um determinado projeto.

O serviço de inferência de modelo de IA do Azure permite implantar vários modelos no mesmo ponto de extremidade e credenciais. Você pode alternar entre modelos sem alterar seu código. Eles também estão no contexto de um recurso compartilhado, o recurso dos Serviços de IA do Azure, o que implica que você pode conectar o recurso a qualquer projeto ou hub que exija consumir os modelos disponibilizados. O serviço de inferência de modelo de IA do Azure vem com um recurso de roteamento de modelo interno que roteia a solicitação para o modelo certo com base no nome do modelo que você passa na solicitação.

Essas duas opções de implantação de modelo também têm algumas diferenças em termos de seus recursos. Você pode ler sobre eles em [.. /concepts/deployment-overview.md]

O serviço de inferência de modelo de IA do Azure nos serviços de IA dá suporte a todos os modelos no catálogo de IA do Azure com cobrança paga conforme o uso (por token). Para obter mais informações, consulte a seção Modelos.

O catálogo de modelos de IA do Azure contém uma lista mais ampla de modelos, no entanto, esses modelos exigem cota de computação de sua assinatura. Eles também precisam ter um projeto ou hub de IA onde hospedar a implantação. Para obter mais informações, consulte opções de implantação no Estúdio de IA do Azure.

Os modelos do Azure OpenAI Service o1 exigem registro e são qualificados apenas para clientes na Oferta de Contrato Enterprise. As assinaturas não sob a Oferta do Contrato Enterprise estão sujeitas à negação. Integramos clientes qualificados à medida que temos espaço. Devido à alta demanda, os clientes qualificados podem permanecer na lista de espera até que o espaço esteja disponível.

Outros modelos (veja lista) não exigem registro. Saiba mais sobre o acesso limitado ao Serviço OpenAI do Azure.

Você pode usar o SDK de Inferência do Azure com qualquer modelo compatível com:

• O SDK de Inferência de IA do Azure
• A classe AzureOpenAI no SDK do OpenAI
• O SDK do Azure OpenAI

O SDK do Cohere, o SDK do Mistral e os SDKs específicos do provedor de modelos não têm suporte quando conectados ao serviço de inferência de modelo de IA do Azure.

Para obter mais informações, consulte SDKs e linguagens de programação com suporte.

A versão mais recente da biblioteca OpenAI Python (versão>=1.0) dá suporte aos serviços de IA do Azure.

Verifique se você criou uma implantação para o modelo fornecido e se o nome da implantação corresponde exatamente ao valor que você está passando no parâmetro model. Embora o roteamento não diferencia maiúsculas de minúsculas, verifique se não há pontuação especial ou erros de digitação de espaços.

O recurso dos Serviços de IA do Azure requer a versão azure-ai-inference>=1.0.0b5 para Python. Verifique se você está usando essa versão.

Verifique se você está usando o ponto de extremidade correto para o serviço Azure OpenAI e o conjunto certo de credenciais. Além disso, verifique se você está usando a classe AzureOpenAI do SDK do OpenAI, pois o mecanismo de autenticação e as URLs usadas são diferentes.

Nossas APIs atuais permitem até 10 cabeçalhos personalizados, que são passados pelo pipeline e retornados. Percebemos que alguns clientes agora excedem essa contagem de cabeçalhos, resultando em erros HTTP 431. Não há solução para esse erro, além de reduzir o volume de cabeçalho. Recomendamos que os clientes não dependam de cabeçalhos personalizados nas futuras arquiteturas do sistema.

Você será cobrado por entradas e saídas para as APIs, normalmente em tokens. Não há nenhum custo associado ao recurso em si ou às implantações.

O preço do token varia de acordo com cada modelo e você é cobrado por 1.000 tokens. Você pode ver os detalhes de preços antes de implantar um determinado modelo.

A cobrança e os custos são exibidos no Gerenciamento de Custos da Microsoft + Cobrança. Você pode ver os detalhes de uso no Portal do Azure.

A cobrança não é mostrada no estúdio de IA do Azure.

Você pode configurar um limite de gastos no Portal do Azure em Gerenciamento de Custos. Esse limite impede que você gaste mais do que o valor definido. Depois que o limite de gastos é atingido, a assinatura é desabilitada e você não pode usar o ponto de extremidade até o próximo ciclo de cobrança. Para obter mais informações, confira o Tutorial: criar e gerenciar orçamentos.

A inferência do modelo de IA do Azure não usa dados do cliente para treinar modelos novamente. Seus dados nunca são compartilhados com provedores de modelo.