Monitore a equidade e a parcialidade dos modelos de classificação
Com o Databricks Lakehouse Monitoring, você pode monitorar as previsões de um modelo de classificação para ver se o modelo tem desempenho semelhante em dados associados a diferentes grupos. Por exemplo, você pode investigar se um classificador de inadimplência gera a mesma taxa de falsos positivos para candidatos de diferentes demografias.
Trabalhe com métricas de equidade e parcialidade
Para monitorar a equidade e a parcialidade, crie uma expressão de fatia booleana. O grupo definido pela expressão de fatia que avalia a True é considerado o grupo protegido (ou seja, o grupo contra o qual você está verificando se há parcialidade). Por exemplo, se você criar slicing_exprs=["age < 25"], a fatia identificada por slice_key = "idade < 25" e slice_value = True é considerada o grupo protegido, e a fatia identificada por slice_key = "idade < 25" e slice_value = False é considerada o grupo desprotegido.
O monitor calcula automaticamente métricas que comparam o desempenho do modelo de classificação entre grupos. As métricas a seguir são relatadas na tabela de métricas de perfil:
-
predictive_parity, que compara a precisão do modelo entre os grupos. -
predictive_equality, que compara as taxas de falsos positivos entre os grupos. -
equal_opportunity, que mede se um rótulo é igualmente bem previsto para ambos os grupos. -
statistical_parity, que mede a diferença nos resultados previstos entre os grupos.
Essas métricas são calculadas somente se o tipo de análise for InferenceLog e problem_type for classification.
Para obter definições dessas métricas, consulte as seguintes referências:
- Artigo da Wikipédia sobre equidade no aprendizado de máquina:
https://en.wikipedia.org/wiki/Fairness_(machine_learning) - Fairness Definitions Explained, Verma e Rubin, 2018
Saídas de métricas de equidade e parcialidade
Consulte a referência da API para obter detalhes sobre essas métricas e como visualizá-las nas tabelas de métricas. Todas as métricas de equidade e parcialidade compartilham o mesmo tipo de dados, conforme mostrado abaixo, mostrando pontuações de equidade calculadas em todas as classes previstas de uma maneira "um contra todos" como pares chave-valor.
Você pode criar um alerta sobre essas métricas. Por exemplo, o proprietário do modelo pode configurar um alerta quando a métrica de equidade exceder algum limite e, em seguida, encaminhar esse alerta para uma pessoa ou equipe de plantão para investigação.