Como avaliar o desempenho de modelos no portal do Azure AI Foundry
Importante
Os itens marcados (versão prévia) neste artigo estão atualmente em versão prévia pública. Essa versão prévia é fornecida sem um contrato de nível de serviço e não recomendamos isso para cargas de trabalho de produção. Alguns recursos podem não ter suporte ou podem ter restrição de recursos. Para obter mais informações, consulte Termos de Uso Complementares de Versões Prévias do Microsoft Azure.
Neste artigo, você aprenderá a comparar parâmetros de comparação de diferentes modelos e conjuntos de dados, usando a ferramenta de parâmetros de comparação de modelo no portal do Azure AI Foundry. Você também aprenderá a analisar os resultados do parâmetro de comparação e a executar o parâmetro de comparação com seus dados. O parâmetro de comparação pode ajudar você a tomar decisões informadas sobre quais modelos atendem aos requisitos para seu caso de uso específico ou aplicativo.
Pré-requisitos
Uma assinatura do Azure com uma forma de pagamento válida. As assinaturas gratuitas ou de avaliação do Azure não funcionarão. Caso você não tenha uma assinatura do Azure, crie uma conta paga do Azure para começar.
Acessar modelos de parâmetro de comparação por meio do catálogo de modelos
A IA do Azure oferece suporte ao modelo de parâmetro de comparação para modelos selecionados que são populares e usados com mais frequência. Siga essas etapas para usar resultados de benchmarking detalhados para comparar e selecionar modelos diretamente do catálogo de modelos do IA do Azure Foundry:
- Entre no Azure AI Foundry.
- Se você ainda não estiver em seu projeto, selecione-o.
- Selecione Catálogo de modelos no painel de navegação à esquerda.
Selecione o modelo no qual você está interessado. Por exemplo, selecione gpt-4o. Essa ação abre a página de visão geral do modelo.
Dica
No catálogo de modelos, você pode mostrar os modelos que têm o parâmetro de comparação disponível usando o filtro Coleções e selecionando Resultados do parâmetro de comparação. Esses modelos têm um ícone de parâmetros de comparação que se parece com um histograma.
Vá para a guia Parâmetros de Comparação para verificar os resultados do parâmetro de comparação para o modelo.
Retorne à página inicial do catálogo de modelos.
Selecione Comparar modelos na página inicial do catálogo de modelos para explorar modelos com suporte de parâmetro de comparação, exibir suas métricas e analisar as compensações entre diferentes modelos. Essa análise pode informar a seleção do modelo que melhor atende às suas necessidades.
Selecione as tarefas desejadas e especifique as dimensões de interesse, como Qualidade de IA versus Custo, para avaliar as compensações entre os diferentes modelos.
Você pode alternar para a Exibição de lista para acessar resultados mais detalhados de cada modelo.
Analisar os resultados do parâmetro de comparação
Quando estiver na guia "Parâmetros de comparação" para um modelo específico, você poderá coletar informações abrangentes para entender melhor e interpretar os resultados do parâmetro de comparação, incluindo:
Pontuações agregadas de alto nível: essas pontuações de qualidade, custo, latência e taxa de transferência da IA fornecem uma visão geral rápida do desempenho do modelo.
Gráficos comparativos: esses gráficos exibem a posição relativa do modelo em comparação com os modelos relacionados.
Tabela de comparação de métricas: essa tabela apresenta resultados detalhados para cada métrica.
Por padrão, a IA do Azure Foundry exibe um índice médio em várias métricas e conjuntos de dados para fornecer uma visão geral de alto nível do desempenho do modelo.
Para acessar os resultados de parâmetro de comparação para uma métrica e um conjunto de dados específicos:
Selecione o botão Expandir no gráfico. O gráfico de comparação pop-up revela informações detalhadas e oferece maior flexibilidade para comparação.
Selecione a métrica de interesse e escolha conjuntos de dados diferentes, com base em seu cenário específico. Para obter definições mais detalhadas das métricas e descrições dos conjuntos de dados públicos usados para calcular os resultados, selecione Leia mais.
Avaliar os resultados do parâmetro de comparação com seus dados
As seções anteriores mostraram os resultados do parâmetro de comparação calculados pela Microsoft, usando conjuntos de dados públicos. No entanto, você pode tentar gerar novamente o mesmo conjunto de métricas com seus dados.
Retorne à guia Parâmetros de Comparação no cartão de modelo.
Selecione Experimentar com seus próprios dados para avaliar o modelo com seus dados. A avaliação em seus dados ajudará você a ver como o modelo será executado em seus cenários específicos.
