Perguntas frequentes sobre o serviço de inferência de modelo de IA do Azure

O serviço Azure OpenAI dá aos clientes acesso a modelos de linguagem avançados da OpenAI. O serviço de inferência de modelo de IA do Azure dá aos clientes acesso a todos os modelos emblemáticos da IA do Azure, incluindo Azure OpenAI, Cohere, Mistral AI, Meta Llama, laboratórios AI21, etc. Esse acesso está sob o mesmo serviço, ponto de extremidade e credenciais. Os clientes podem alternar perfeitamente entre modelos sem alterar o código.

O Serviço OpenAI do Azure e o serviço de inferência de modelo de IA do Azure fazem parte da família de serviços de IA do Azure e são construídos com base na mesma promessa empresarial e de segurança do Azure.

Enquanto o serviço de inferência de modelo de IA do Azure se concentra na inferência, o Serviço OpenAI do Azure pode ser usado com APIs mais avançadas, como lote, ajuste fino, assistentes e arquivos.

Os Modelos de IA do Azure e o Serviço OpenAI do Azure dão aos clientes acesso a modelos de linguagem avançados da OpenAI com a promessa de segurança e empresarial do Azure. O Azure OpenAI codesenvolve as APIs com a OpenAI, garantindo compatibilidade e uma transição suave de uma para a outra.

Os clientes obtêm os recursos de segurança do Microsoft Azure enquanto executam os mesmos modelos do OpenAI. Ele oferece rede privada, disponibilidade regional e filtragem responsável de conteúdo de IA.

Saiba mais sobre o serviço Azure OpenAI.

Os serviços de IA do Azure são um conjunto de serviços de IA que fornecem APIs pré-criadas para cenários comuns de IA. Um deles é o serviço de inferência de modelo de IA do Azure, que se concentra no serviço de inferência de diferentes modelos de última geração. O Azure AI studio é uma ferramenta baseada na Web que permite criar, treinar e implantar modelos de aprendizado de máquina. Os serviços de IA do Azure podem ser usados no estúdio de IA do Azure para aprimorar seus modelos com recursos de IA pré-criados.

Ambas as tecnologias permitem que você implante modelos sem a necessidade de recursos de computação, pois eles são baseados na ideia de Modelos como um Serviço. As implantações de modelo de API sem servidor permitem implantar um único modelo sob um ponto de extremidade e credenciais exclusivos. Você precisa criar um ponto de extremidade diferente para cada modelo que deseja implantar. Além disso, eles são sempre criados no contexto do projeto e, embora possam ser compartilhados criando conexões de outros projetos, eles vivem no contexto de um determinado projeto.

O serviço de inferência de modelo de IA do Azure permite implantar vários modelos sob o mesmo ponto de extremidade e credenciais. Você pode alternar entre modelos sem alterar seu código. Eles também estão no contexto de um recurso compartilhado, o recurso Serviços de IA do Azure, o que implica que você pode conectar o recurso a qualquer projeto ou hub que exija consumir os modelos disponibilizados. O serviço de inferência de modelo de IA do Azure vem com um recurso de roteamento de modelo interno que roteia a solicitação para o modelo certo com base no nome do modelo que você passa na solicitação.

Essas duas opções de implantação de modelo também têm algumas diferenças em termos de recursos. Você pode ler sobre eles em [.. /conceitos/deployment-overview.md]

O serviço de inferência de modelo de IA do Azure em serviços de IA dá suporte a todos os modelos no catálogo de IA do Azure com cobrança paga conforme o uso (por token). Para obter mais informações, consulte a seção Modelos.

O catálogo de modelos da IA do Azure contém uma lista mais ampla de modelos, no entanto, esses modelos exigem cota de computação da sua assinatura. Eles também precisam ter um projeto ou hub de IA onde hospedar a implantação. Para obter mais informações, consulte Opções de implantação no Azure AI studio.

Os modelos o1 do Serviço OpenAI do Azure requerem registo e são elegíveis apenas para clientes na Oferta Enterprise Agreement. As subscrições que não estejam ao abrigo da Oferta Enterprise Agreement estão sujeitas a recusa. Embarcamos clientes elegíveis à medida que temos espaço. Devido à alta demanda, os clientes elegíveis podem permanecer na lista de espera até que haja espaço disponível.

Outros modelos (ver lista) não necessitam de registo. Saiba mais sobre o acesso limitado ao Serviço OpenAI do Azure.

Você pode usar o SDK de Inferência do Azure com qualquer modelo suportado por:

• O SDK de Inferência de IA do Azure
• A AzureOpenAI classe no OpenAI SDK
• O SDK do Azure OpenAI

Cohere SDK, Mistral SDK e SDKs específicos do provedor de modelo não são suportados quando conectados ao serviço de inferência de modelo de IA do Azure.

Para obter mais informações, consulte SDKs e linguagens de programação suportados.

A versão mais recente da biblioteca OpenAI Python (version>=1.0) suporta serviços de IA do Azure.

Certifique-se de que criou uma implementação para um determinado modelo e que o nome da implementação corresponde exatamente ao valor que está a passar no model parâmetro. Embora o roteamento não diferencie maiúsculas de minúsculas, certifique-se de que não haja pontuação especial ou erros de digitação de espaços.

O recurso Serviços de IA do Azure requer a versão azure-ai-inference>=1.0.0b5 para Python. Certifique-se de que está a utilizar essa versão.

Verifique se você está usando o ponto de extremidade correto para o serviço Azure OpenAI e o conjunto certo de credenciais. Além disso, certifique-se de que você está usando a classe AzureOpenAI do SDK do OpenAI, pois o mecanismo de autenticação e as URLs usadas são diferentes.

Nossas APIs atuais permitem até 10 cabeçalhos personalizados, que são passados pelo pipeline e retornados. Observamos que alguns clientes agora excedem essa contagem de cabeçalhos, resultando em erros HTTP 431. Não há solução para esse erro, a não ser reduzir o volume do cabeçalho. Recomendamos que os clientes não dependam de cabeçalhos personalizados em futuras arquiteturas de sistema.

Você é cobrado pelas entradas e saídas para as APIs, geralmente em tokens. Não há nenhum custo associado ao recurso em si ou às implantações.

O preço do token varia por cada modelo e você é cobrado por 1.000 tokens. Você pode ver os detalhes de preços antes de implantar um determinado modelo.

A faturação e os custos são apresentados no Microsoft Cost Management + Billing. Você pode ver os detalhes de uso no portal do Azure.

A cobrança não é mostrada no estúdio de IA do Azure.

Você pode configurar um limite de gastos no portal do Azure em Gerenciamento de Custos. Esse limite impede que você gaste mais do que o valor definido. Quando o limite de gastos for atingido, a assinatura será desativada e você não poderá usar o ponto de extremidade até o próximo ciclo de cobrança. Para obter mais informações, consulte Tutorial: Criar e gerenciar orçamentos.

A inferência de modelo de IA do Azure não usa dados do cliente para treinar novamente os modelos. Os seus dados nunca são partilhados com fornecedores de modelos.