Desempenho e equidade do modelo

Este artigo descreve métodos que você pode usar para entender o desempenho e a equidade do seu modelo no Azure Machine Learning.

O que é equidade de aprendizado de máquina?

A inteligência artificial e os sistemas de aprendizagem automática podem apresentar comportamentos injustos. Uma forma de definir o comportamento injusto é pelo seu dano, ou pelo seu impacto nas pessoas. Os sistemas de IA podem dar origem a muitos tipos de danos. Para saber mais, consulte a palestra NeurIPS 2017 de Kate Crawford.

Dois tipos comuns de danos causados pela IA são:

• Danos da alocação: um sistema de IA estende ou retém oportunidades, recursos ou informações para determinados grupos. Exemplos incluem contratação, admissões escolares e empréstimos, onde um modelo pode ser melhor para escolher bons candidatos entre um grupo específico de pessoas do que entre outros grupos.

• Danos da qualidade de serviço: um sistema de IA não funciona tão bem para um grupo de pessoas como funciona para outro. Por exemplo, um sistema de reconhecimento de voz pode não funcionar tão bem para as mulheres como para os homens.

Para reduzir o comportamento injusto em sistemas de IA, é preciso avaliar e mitigar esses danos. O componente de visão geral do modelo do painel de IA responsável contribui para o estágio de identificação do ciclo de vida do modelo, gerando métricas de desempenho do modelo para todo o seu conjunto de dados e suas coortes de dados identificadas. Ele gera essas métricas em subgrupos identificados em termos de recursos ou atributos confidenciais.

Nota

A equidade é um desafio sociotécnico. As métricas quantitativas de equidade não capturam muitos aspetos da equidade, como justiça e devido processo legal. Além disso, muitas métricas quantitativas de equidade não podem ser todas satisfeitas simultaneamente.

O objetivo do pacote de código aberto Fairlearn é permitir que os seres humanos avaliem o impacto e as estratégias de mitigação. Em última análise, cabe aos humanos que constroem modelos de IA e aprendizado de máquina fazer compensações que sejam apropriadas para seus cenários.

Neste componente do painel de IA responsável, a equidade é conceituada por meio de uma abordagem conhecida como equidade de grupo. Esta abordagem pergunta: "Que grupos de indivíduos estão em risco de sofrer danos?" O termo características sensíveis sugere que o designer de sistemas deve ser sensível a essas características ao avaliar a equidade do grupo.

Durante a fase de avaliação, a equidade é quantificada através de métricas de disparidade. Essas métricas podem avaliar e comparar o comportamento do modelo entre grupos como proporções ou diferenças. O painel de IA Responsável suporta duas classes de métricas de disparidade:

• Disparidade no desempenho do modelo: esses conjuntos de métricas calculam a disparidade (diferença) nos valores da métrica de desempenho selecionada entre subgrupos de dados. Eis alguns exemplos:

  • Disparidade na taxa de precisão
  • Disparidade na taxa de erro
  • Disparidade na precisão
  • Disparidade na recolha
  • Disparidade no erro absoluto médio (MAE)

• Disparidade na taxa de seleção: Esta métrica contém a diferença na taxa de seleção (previsão favorável) entre os subgrupos. Um exemplo disso é a disparidade na taxa de aprovação de empréstimos. Taxa de seleção significa a fração de pontos de dados em cada classe classificada como 1 (em classificação binária) ou distribuição de valores de previsão (em regressão).

As capacidades de avaliação de equidade deste componente vêm do pacote Fairlearn . O Fairlearn fornece uma coleção de métricas de avaliação de equidade de modelos e algoritmos de mitigação de injustiças.

Nota

Uma avaliação da equidade não é um exercício puramente técnico. O pacote de código aberto Fairlearn pode identificar métricas quantitativas para ajudá-lo a avaliar a equidade de um modelo, mas não realizará a avaliação para você. Você deve realizar uma análise qualitativa para avaliar a equidade de seus próprios modelos. As características sensíveis mencionadas anteriormente são um exemplo deste tipo de análise qualitativa.

Restrições de paridade para mitigar injustiças

Depois de entender os problemas de equidade do seu modelo, você pode usar os algoritmos de mitigação no pacote de código aberto Fairlearn para mitigar esses problemas. Esses algoritmos suportam um conjunto de restrições no comportamento do preditor chamado restrições ou critérios de paridade.

As restrições de paridade exigem que alguns aspetos do comportamento do preditor sejam comparáveis entre os grupos que as características sensíveis definem (por exemplo, raças diferentes). Os algoritmos de mitigação no pacote de código aberto Fairlearn usam essas restrições de paridade para mitigar os problemas de equidade observados.

Nota

Os algoritmos de mitigação de injustiça no pacote de código aberto Fairlearn podem fornecer estratégias de mitigação sugeridas para reduzir a injustiça em um modelo de aprendizado de máquina, mas essas estratégias não eliminam a injustiça. Os desenvolvedores podem precisar considerar outras restrições ou critérios de paridade para seus modelos de aprendizado de máquina. Os desenvolvedores que usam o Azure Machine Learning devem determinar por si mesmos se a mitigação reduz suficientemente a injustiça no uso pretendido e na implantação de modelos de aprendizado de máquina.

O pacote Fairlearn suporta os seguintes tipos de restrições de paridade:

Restrição de paridade	Propósito	Tarefa de aprendizado de máquina
Paridade demográfica	Mitigar os danos de alocação	Classificação binária, regressão
Odds equalizadas	Diagnosticar danos à alocação e à qualidade do serviço	Classificação binária
Igualdade de oportunidades	Diagnosticar danos à alocação e à qualidade do serviço	Classificação binária
Perda de grupo limitada	Mitigar os danos à qualidade do serviço	Regressão

Algoritmos de mitigação

O pacote de código aberto Fairlearn fornece dois tipos de algoritmos de mitigação de injustiça:

• Redução: Esses algoritmos usam um estimador de aprendizado de máquina de caixa preta padrão (por exemplo, um modelo LightGBM) e geram um conjunto de modelos retreinados usando uma sequência de conjuntos de dados de treinamento reponderados.

  Por exemplo, os candidatos de um determinado género podem ser sujeitos a um maior ou menor peso para reciclar os modelos e reduzir as disparidades entre grupos de género. Os usuários podem escolher um modelo que forneça a melhor compensação entre precisão (ou outra métrica de desempenho) e disparidade, com base em suas regras de negócios e cálculos de custo.

• Pós-processamento: Esses algoritmos usam um classificador existente e um recurso sensível como entrada. Em seguida, derivam uma transformação da previsão do classificador para impor as restrições de equidade especificadas. A maior vantagem de um algoritmo de pós-processamento, a otimização de limites, é sua simplicidade e flexibilidade, porque não precisa treinar novamente o modelo.

Algoritmo	Description	Tarefa de aprendizado de máquina	Recursos sensíveis	Restrições de paridade suportadas	Tipo de algoritmo
ExponentiatedGradient	Abordagem da caixa negra para a classificação equitativa descrita em A Reductions Approach to Fair Classification.	Classificação binária	Categórico	Paridade demográfica, odds equalizadas	Redução
GridSearch	Abordagem da caixa preta descrita em A Reductions Approach to Fair Classification.	Classificação binária	Binário	Paridade demográfica, odds equalizadas	Redução
GridSearch	Abordagem de caixa preta que implementa uma variante de pesquisa de grade de regressão justa com o algoritmo para perda de grupo limitado descrito em Regressão justa: definições quantitativas e algoritmos baseados em redução.	Regressão	Binário	Perda de grupo limitada	Redução
ThresholdOptimizer	Algoritmo de pós-processamento baseado no artigo Equality of Opportunity in Supervised Learning. Esta técnica toma como entrada um classificador existente e um recurso sensível. Em seguida, ele deriva uma transformação monótona da previsão do classificador para impor as restrições de paridade especificadas.	Classificação binária	Categórico	Paridade demográfica, odds equalizadas	Pós-processamento

Próximos passos

• Saiba como gerar o painel de IA Responsável por meio de CLI e SDK ou da interface do usuário do estúdio Azure Machine Learning.
• Explore a visão geral do modelo suportado e as visualizações de avaliação de equidade do painel de IA responsável.
• Saiba como gerar um scorecard de IA Responsável com base nos insights observados no painel de IA Responsável.
• Saiba como usar os componentes verificando o repositório GitHub do Fairlearn, o guia do usuário, exemplos e exemplos de blocos de anotações.