Avalie o painel de IA responsável
Quando seu painel de IA Responsável é gerado, você pode explorar seu conteúdo no estúdio de Aprendizado de Máquina do Azure para avaliar seu modelo.
Quando você abre o painel de IA responsável, o estúdio tenta conectá-lo automaticamente a uma instância de computação. A instância de computação fornece a computação necessária para exploração interativa dentro do painel.
A saída de cada componente adicionado ao pipeline é refletida no painel. Dependendo dos componentes selecionados, você pode encontrar os seguintes insights no painel de IA responsável:
- Análise de erros
- Explicações
- Cenários em situação de ausência de intervenção
- Análise causal
Vamos explorar o que podemos analisar para cada um desses insights.
Explore a análise de erros
Espera-se que um modelo faça previsões falsas ou erros. Com o recurso de análise de erros no painel de IA responsável, você pode revisar e entender como os erros são distribuídos em seu conjunto de dados. Por exemplo, existem subgrupos específicos, ou coortes, em seu conjunto de dados para os quais o modelo faz mais previsões falsas?
Quando você inclui a análise de erros, há dois tipos de elementos visuais que você pode explorar no painel de IA responsável:
- Mapa da árvore de erros: Permite explorar qual combinação de subgrupos resulta no modelo fazendo mais previsões falsas.
- Mapa de calor de erro: apresenta uma visão geral da grade dos erros de um modelo na escala de um ou dois recursos.
Explore as explicações
Sempre que você usa um modelo para a tomada de decisão, você quer entender como um modelo atinge uma determinada previsão. Sempre que você treinou um modelo que é muito complexo para entender, você pode executar explicadores de modelo para calcular a importância do recurso. Em outras palavras, você quer entender como cada um dos recursos de entrada influencia a previsão do modelo.
Existem várias técnicas estatísticas que você pode usar como explicadores de modelo. Mais comumente, o explicador de mímica treina um modelo interpretável simples sobre os mesmos dados e tarefas. Como resultado, você pode explorar dois tipos de importância de recursos:
- Importância do recurso agregado: mostra como cada recurso nos dados de teste influencia as previsões do modelo em geral.
- Importância do recurso individual: mostra como cada recurso afeta uma previsão individual .
Explorar cenários em situação de ausência de intervenção
As explicações podem fornecer informações sobre a importância relativa dos recursos nas previsões do modelo. Às vezes, você pode querer dar um passo adiante e entender se as previsões do modelo mudariam se a entrada fosse diferente. Para explorar como a saída do modelo mudaria com base em uma alteração na entrada, você pode usar contrafactuais.
Você pode optar por explorar exemplos hipotéticos contrafactuais selecionando um ponto de dados e a previsão do modelo desejado para esse ponto. Quando você cria um cenário contrafactual hipotético, o painel abre um painel para ajudá-lo a entender qual entrada resultaria na previsão desejada.
Explore a análise causal
Explicações e contrafactuais ajudam a entender as previsões do modelo e os efeitos dos recursos nas previsões. Embora a interpretabilidade do modelo já possa ser um objetivo por si só, você também pode precisar de mais informações para ajudá-lo a melhorar a tomada de decisões.
A análise causal usa técnicas estatísticas para estimar o efeito médio de uma característica em uma previsão desejada. Ele analisa como certas intervenções ou tratamentos podem resultar em um melhor resultado, em toda uma população ou para um indivíduo específico.
Há três guias disponíveis no painel de IA responsável ao incluir a análise causal:
- Efeitos causais agregados: Mostra os efeitos causais médios para recursos de tratamento predefinidos (os recursos que você deseja alterar para otimizar as previsões do modelo).
- Efeitos causais individuais: Mostra pontos de dados individuais e permite alterar as características do tratamento para explorar a sua influência na previsão.
- Política de tratamento: mostra quais partes dos seus pontos de dados se beneficiam mais de um tratamento.